Esta nueva inteligencia artificial alberga 540.000 millones de parámetros.
Por infobae.com
Google presentó un nuevo modelo de lenguaje que es capaz de resolver problemas matemáticos, explicar chistes y hasta programar. Se trata de PaLM (Pathways Language Model) y se destaca por tener un porcentaje de eficiencia en el aprendizaje que le sitúan por encima de otros modelos de lenguaje creados hasta la fecha.
El sistema PaLM fue desarrollado con el modelo Pathways, que permitió entrenar de forma eficiente un solo modelo con múltiples unidades de procesamiento tensorial (TPU) Pods, como se menciona en un comunicado publicado en el blog oficial.
Se basa en el aprendizaje de “pocos disparos”, lo cual reduce la cantidad de ejemplos necesarios en el entrenamiento con tareas específicas para adaptarlo a una sola aplicación.
Para ello, se ha usado una base de datos con 780.000 millones de tokens, que combina “un conjunto de datos multilingües”, que incluyen documentos web, libros, Wikipedia, conversaciones y código GitHub. También, un vocabulario que “preserva todos los espacios en blanco”, algo que se señala la empresa como especialmente importante para programar, y la división de los caracteres de Unicode que no se encuentran en el vocabulario en bytes.
Esta nueva IA alberga 540.000 millones de parámetros, cifra que supera los 175.000 millones del GPT-3 de OpenAI, el modelo de lenguaje que Google cita como pionero en mostrar que estos pueden ser usados para el aprendizaje con resultados impresionantes. Cabe recordar, tan solo por citar un ejemplo, la columna publicada en The Guardian, que fue escrita por ese modelo de aprendizaje, que además es capaz de programar o diseñar.
“La misión de esta columna de opinión es perfectamente clara. Debo convencer a la mayor cantidad de humanos posible de que no me teman. Stephen Hawking ha advertido que la inteligencia artificial podría ‘significar el fin de la raza humana’. Estoy aquí para convencerlos de que no se preocupen. La inteligencia artificial no va a destruir a los humanos. Créanme”. Ése es uno de los fragmentos del artículo de 500 palabras que produjo el sistema.
El nuevo modelo de lenguaje de Google combina 6.144 TPU v4 chips en Pathways, “la mayor configuración de TPU” utilizada de la historia, según ha destacado la compañía. PaLM alcanza además una eficiencia en el entrenamiento del 57,8% en el uso de flops en hardware, “la más alta alcanzada hasta ahora para los modelos de lenguaje a esta escala”, según mencionan en el blog.
Esto es posible gracias a la combinación de “la estrategia del paralelismo y una reformulación del bloque transformador” que permite a las capas de atención y avance ser computadas en paralelo, acelerando así las optimizaciones del compilador TPU.
“PaLM ha demostrado capacidades innovadoras en numerosas y muy difíciles tareas”, afirma la tecnológica, que ha expuesto varios ejemplos que van desde la comprensión y generación del lenguaje al razonamiento y tareas relacionadas con la programación.
Una de las pruebas que Google pone como ejemplo consiste en pedir a PaLM que adivine una película basándose en cuatro emojis: un robot, un insecto, una planta y el planeta Tierra. De entre todas las opciones (L.A. Confidential, Wall-E, León: el profesional, BIG y Rush), la IA elige la correcta: Wall-E.
En otra, se le pide elegir de entre una lista de palabras dos que estén asociadas al término “tropiezo” y también acierta al seleccionar “caída’” y “traspié”.
La IA es también capaz de resolver problemas matemáticos sencillos y hasta de explicar un chiste contextualizando y desgranando los elementos que aparecen en el mismo para darle sentido.
Por último, Google señala que PaLM es capaz de programar traduciendo un código de un lenguaje a otro, así como escribiendo código en base a una descripción natural del lenguaje y aclara que es capaz solucionar errores de compilación.