Hace algo más de un año, hablaba de las bondades de GPT-2. Os recuerdo que es un sistema de “aprendizaje no supervisado”: un mecanismo capaz de absorber grandes cantidades de información sin gestión humana; uno de los pilares en el desarrollo de la inteligencia artificial.
Durante este año, la que en su día nació como organización sin ánimo de lucro, con el fin de hacer llegar a la humanidad las bondades de la inteligencia artificial, se ha reconvertido a un híbrido con ánimo de lucro limitado. Dicen que para captar el capital que necesitarán en los próximos años para continuar sus desarrollos y mantener el capital humano.
Microsoft sigue siendo inversor y Elon Musk ha sido sustituido por Khosla Ventures, de Vinod Khosla, fundador de Sun Microsystems.
En mayo de 2020, OpenAI publicó en abierto la API de su sistema de aprendizaje no supervisado GPT-3 y tres meses más tarde se empiezan a conocer los resultados de los desarrolladores,
En este artículo tenéis varios ejemplos de lo que se ha conseguido: programar páginas web a partir de comandos de voz en inglés, aplicaciones, generar conversaciones, traducción de ecuaciones en inglés a LaTeX…
El modelo de lenguaje GPT-3 de OpenAI ha necesitado un entrenamiento previo para ser lo que es. Este entrenamiento consistió en aprenderse una ingente cantidad de información disponible en Internet. OpenAI alimentó a GPT-3 con todos los libros públicos que se hayan escrito y estén disponibles, toda la Wikipedia y millones de páginas web y documentos científicos disponibles en Internet.
Tras leerse esta información y analizarla el modelo de lenguaje creó conexiones en un modelo de 700 GB ubicado en 48 GPUs de 16 GB cada una de ellas. Para ponerlo en contexto, el año pasado OpenAI publicó GPT-2 con un peso de 40 GB y analizando 45 millones de páginas web. Mientras que GPT-2 tenía 1.500 millones de parámetros, GPT-3 tiene 175.000 millones de parámetros. Prometedor. Mucho. Potencial amenaza. Enorme. Potencial beneficio para la humanidad. Ingente.
¿Seremos capaces de emplear las IAs a nuestro favor?
Sylvia García 