Meta presenta CM3leon, un modelo entrenado con una receta innovadora basada en modelos lingüísticos de texto. A través de un proceso de preentrenamiento ampliado y una etapa de ajuste fino supervisado, este modelo demuestra que los transformadores basados en tokenizadores pueden alcanzar un rendimiento excepcional en la generación de texto a imagen.
Sorprendentemente, CM3leon, la nueva IA de Meta, logra estos resultados con una capacidad de entrenamiento cinco veces menor que los enfoques anteriores basados en transformadores. Lo impresionante de CM3leon es su versatilidad y eficiencia. Combina la funcionalidad de los modelos autorregresivos con costos de entrenamiento y una eficacia de inferencia más bajos. Este modelo mixto, conocido como CM3, tiene la capacidad de generar tanto texto como imágenes, condicionadas por cualquier secuencia de texto o imagen. Esto representa una enorme expansión de las capacidades de los modelos anteriores, que solo podían generar texto a imagen o imagen a texto.
El modelo no solo se limita a la generación de imágenes. CM3leon también puede llevar a cabo una variedad de tareas basadas en texto, demostrando su versatilidad y eficiencia incluso con un volumen de datos de texto significativamente menor en comparación con otros modelos.
Para tener una idea de la capacidad de CM3leon para realizar tareas basadas en texto, consideremos algunos ejemplos específicos:
- Generación de texto basada en un estímulo visual: Imagine un perro llevando un palo. La pregunta podría ser «¿Qué lleva el perro?» A lo que el modelo genera la respuesta: «Palo».
- Descripción detallada de imágenes: Tomando la misma imagen, si se pide al modelo que describa la imagen en detalle, generaría: «En esta imagen, hay un perro sosteniendo un palo en su boca. Hay césped en la superficie. En el fondo de la imagen, hay árboles.»
CACTUS24 14-07-23
Abre este enlace para unirte a mi grupo de WhatsApp:
