Listeners:
Top listeners:
EN DIRECTO La Primera de Bizkaia
Viernes de Greta Gerwig Arrastion Bizkaia
¡Recomendaciones para las fiestas y muchos estrenos! Arrastion Bizkaia
Recopilación indie del año y un poco de Bisbal con su disco de navidad Arrastion Bizkaia
Hasta el año que viene Arrastion Bizkaia
El fenómeno Paquita Salas y referencias que nos ha dejado Arrastion Bizkaia
Destripamos el último disco de David Rees Arrastion Bizkaia
Se acaba el año Arrastion Bizkaia
Pasamos la navidad con Shrek y su especial Arrastion Bizkaia
Cualquier excusa es buena para escuchar a Suu Arrastion Bizkaia
El Valencia Baraja opciones Arrastion Bizkaia
Tras la presentación con bombos y platillos de los modelos de inteligencia artificial Alia, financiados por el Gobierno de España, la polémica no se hizo esperar. En las últimas horas, se ha desatado gran revuelo por su pobre desempeño al compararlo con otras IA de cierta antigüedad como Llama 2 32B, que Meta lanzó en julio de 2023.
Pero la historia no concluye allí, puesto que los costes de Alia también son motivo de controversia. Si bien no existe un dato preciso al respecto, se estima que ya se destinaron más de 10 millones de euros al desarrollo de esta inteligencia artificial. Una cifra que podría ser todavía mayor y que expertos de la industria consideran muy elevada para los resultados que está entregando la tecnología.
Entre los primeros comentarios críticos contra Alia se mencionó que sería un mero fine tuning —es decir, una versión personalizada— de Llama, la IA de Meta. No obstante, la página del modelo en Hugging Face afirma que se ha preentrenado desde cero usando sets de datos curados de forma manual. Lo que sí se habría aprovechado sería el tokenizador de la familia de modelos creados por la firma de Mark Zuckerberg.
Sobre este asunto, el ingeniero Ramón Medrano Llamas, de Google, brindó su punto de vista a través de su cuenta de X (Twitter). «Los modelos [por Alia] son bien malos, pero una nota: que usen el tokenizer de Llama no implica que sean un fine tune. De hecho, si fueran un fine tune con 17B tokens buenos, los resultados serían mucho mejores y a 1/100 de coste. Es lo que hizo Francia, por cierto», publicó.
Entre las críticas a los benchmarks de Alia ha destacado la de Javier López, fundador de Magnific AI. El susodicho compartió una captura de pantalla en la que se podían observar los resultados de algunas pruebas en inglés de la IA española, comparada contra la versión de 32.000 millones de parámetros de Llama 2.
La tabla en cuestión mostraba que, en los parámetros en los que había posibilidad de contrastar el rendimiento entre ambos modelos, los resultados de Alia eran peores que los de la inteligencia artificial de Meta al medirlos según su precisión. Como indicamos al comienzo, los de Menlo Park lanzaron dicha versión en julio de 2023, de modo que ya no es una referencia top de la industria.
Tal y como indica la imagen, los ejemplos más contundentes del bajo desempeño de Alia en comparación con Llama 2 32B corresponden al entendimiento e interpretación del lenguaje natural (NLI) y a la creación de respuestas a preguntas (QA). Un punto interesante a considerar es que las tablas de Alia en Hugging Face han dejado de incluir la columna comparativa con el modelo de Meta, al menos al momento de redacción de este artículo.
Ya veremos si los responsables de la nueva IA financiada por el Gobierno de España salen a responder, o si el asunto continúa generando todo tipo de comentarios entre el público.
Escrito por Mozoilo Irratia
08:00 - 14:00
14:00 - 16:00
16:00 - 20:00
20:00 - 00:00
00:00 - 04:00
Copyright Mozoilo Irratia
Comentarios de las entradas (0)