Meta dice que su creación Llama 3 es mejor que otros modelos de IA, incluido Gemini: Esto es lo que se sabe en verdad

Llama 3 promete inaugurar un nuevo nivel para la inteligencia artificial. La IA de Meta lanzó este jueves, para proveedores de nube o bibliotecas, como AWS o Hugging Face, y asegura que funciona mejor que la mayoría de los modelos de IA actuales.

🦙 El consejo viene de cerca: La misma compañía lo aseguró en una publicación en su blog. Llama 3 cuenta actualmente con dos modelos, con parámetros 8B y 70B, siendo la B una abreviación de miles de millones (billions en inglés), la que representa qué tan complejo es un modelo y cuánto de su entrenamiento entiende.

"Un gran salto"

✍️ Según The Verge, Llama 3 hasta ahora solo ofrece respuestas basadas en texto. Sin embargo, Meta asegura que son "un gran salto" en comparación a su versión anterior, ya que muestra más diversidad en las respuestas a las indicaciones, tuvo menos rechazos falsos en los que se negó a responder a las preguntas y pudo razonar mejor.

🧠 Meta también dice que Llama 3 entiende más instrucciones y escribe mejor código que antes. En la publicación, la compañía liderada por Mark Zuckerberg afirma que sus dos modelos de IA superan a otras de tamaño similar, como Gemma y Gemini de Google, o Mistral 7B y Claude 3 de Anthropic en pruebas de evaluación comparativa.

🗒️ En el benchmark MMLU, prueba que normalmente mide el conocimiento general, Llama 3 8B se comportó significativamente mejor que Gemma 7B y Mistral 7B. Por otro lado, Llama 3 70B superó ligeramente a Gemini Pro 1.5. Sin bien son resultados alentadores, los expertos subrayan que las pruebas comparativas, si bien son útiles para comprender una potencia, son imperfectos.

Pruebas humanas sorprenden

😱 Meta dice que los evaluadores humanos también calificaron a Llama 3 más alto que otros modelos, incluido GPT-3.5 de OpenAI. Dichos evaluadores emularon escenarios del mundo real donde se podría usar Llama 3, incluyendo pedir consejo, resumir y escribir creativamente.

🤖 "Este conjunto de evaluación contiene 1.800 indicaciones que cubren 12 casos de uso clave: pedir consejo, lluvia de ideas, clasificación, respuesta a preguntas cerradas, codificación, escritura creativa, extracción, habitar un personaje/persona, respuesta a preguntas abiertas, razonamiento, reescritura y resumen", dice Meta en su blog.

✨ Se espera que Llama 3 presente modelos de mayor tamaño, que pueden entender cadenas más largas de instrucciones y datos, y que sea capaz de respuestas más multimodales como "Generar una imagen" o "Transcribir un archivo de audio".

🖥️ Meta dice que estas versiones más grandes, que tienen más de 400 B, pueden aprender patrones más complejos. Actualmente se están entrenando y las pruebas iniciales de rendimiento muestran que estos modelos pueden responder muchas de las preguntas planteadas por la evaluación comparativa.

📌 En la publicación de Meta no aparece ninguna mención a GPT-4 ni está el logo de OpenAI, lo que sugiere que estarían utilizando tecnología propia. Se espera que Llama 3 se integre en plataformas como WhatsApp, Messenger, Instagram y Facebook.