¿Qué es GPT-3?: la inteligencia artificial que se encargará de escribir por ti

La inteligencia artificial (IA) actual funciona bien cuando la aplicas a un ámbito muy concreto: desde jugar al ajedrez a hacer un diagnóstico médico. Pero el gran reto en el siglo XXI, consiste en alcanzar una inteligencia artificial general (AGI por sus siglas en inglés), que es aquella IA capaz de aprender tareas intelectuales como lo hacen los humanos.

En este contexto, destaca GPT-3, un modelo de IA que permite generar lenguaje escrito. Es lo que se conoce como un modelo de lenguaje auto-regresivo, es decir, “un algoritmo que permite crear la siguiente mejor palabra que seguiría a un texto dado”, explica César de Pablo, científico de datos en BBVA Data & Analytics.

El usuario, por tanto, solo tiene que comenzar a escribir un párrafo y el propio sistema se encarga de completar el resto de la forma más coherente posible. Por ejemplo, si escribe una serie de frases como “la capital de España es Madrid”, “la capital de Francia es París” y “la capital de Alemania es Berlín”, el sistema respondería continuando con frases similares como “la capital de Italia es Roma”. De esta manera, generando palabra tras palabra, puede llegar a crear un escrito de la longitud fijada por el usuario (por ejemplo 100 palabras) o que incluso tenga un final natural.

“GPT-3 ha despertado mucho interés porque es uno de los primeros sistemas que muestran las posibilidades de una inteligencia artificial general debido a que completa con resultados sorprendentemente razonables tareas que hasta ahora requerían un sistema construido especialmente para resolver esa tarea particular. Además lo hace a partir de tan solo unos pocos ejemplos”, señala de Pablo.

¿Cómo se entrena?

GPT-3 es un algoritmo de ‘deep learning’ (aprendizaje profundo) que tiene 96 capas y 175 mil millones de parámetros. Es decir, “1.000 veces más que modelos previos como BERT (un modelo especializado en tareas de procesamiento de lenguaje natural que cuenta con 110 millones de parámetros)”, tal y como recalca de Pablo.

El experto cuenta que para entrenar el sistema se han utilizado en total 500 mil millones de palabras, extraídas de textos de la web, Wikipedia y varias colecciones de libros en abierto. Y también menciona que la forma de entrenamiento empleada se conoce como auto-supervisada, “puesto que son algoritmos que tratan de predecir la siguiente palabra, cualquier texto escrito por una persona nos sirve para entrenarlos”.

Detrás de este modelo de inteligencia artificial está OpenAI, una organización puesta en marcha por empresarios como Elon Musk, cofundador de Tesla y SpaceX, y Reid Hoffman, cofundador de LinkedIn, que nació con el objetivo de investigar y democratizar el acceso a la inteligencia artificial general. En sus orígenes, se trataba de una organización sin ánimo de lucro. Sin embargo, en 2020, se ha convertido en una empresa y se ha asociado con Microsoft con el fin de conseguir nuevos avances tanto en el ámbito del lenguaje, con modelos GPT-3, como en la robótica y la visión artificial.

Su uso actual

Tal y como destaca de Pablo, “el modelo GPT-3 actualmente no es una solución realmente práctica para muchos problemas industriales” y por tanto, su uso hoy en día se limita principalmente a la comunidad investigadora, que lo trabaja a partir de una API.

El sistema todavía tiene algunas limitaciones y replicar el trabajo que ha hecho OpenAI, resulta complicado debido a que los costes computacionales que implica aún son muy altos. A ello se suman los obstáculos a los que tienen que hacer frente la mayoría de los algoritmos de aprendizaje automático: los sesgos.

“El dato con el que entrenas al algoritmo a menudo tiene un sesgo que este va a reflejar. En el caso de los modelos de lenguaje, el problema es que el algoritmo aprende de aquello que lee y por tanto, si lo entrenas a partir de un texto obtenido de la web, pueden colarse sesgos de género o racistas”, afirma de Pablo. También señala el hecho de que pese a que la IA puede leer mucho más de lo que una persona lo hace a lo largo de su vida, a día de hoy el cerebro humano es mucho más eficiente a la hora de usar los datos y de aprender.

Un gran potencial

Pese a estas limitaciones, existen otros modelos similares a GPT-3, pero más pequeños, que ya suponen una auténtica revolución. Su aplicación se puede ver en las tecnologías del lenguaje humano (procesamiento de lenguaje, habla, traducción, búsqueda o asistentes virtuales), en la generación de imágenes o audio e incluso en las ayudas a la programación de ‘software'. Es el caso de sistemas como GPT-2 (OpenAI), BERT y T-5 (Google), ROBERTA (Facebook) o CTRL (Salesforce).

Aun así, GPT-3 se presenta como una alternativa con un gran potencial de cara al futuro. Al ser un sistema especialmente bueno en la generación de textos largos que guardan cierta coherencia entre las frases, de Pablo augura que “cada vez veremos más modelos de este tipo utilizados para generar textos de forma semi-automática. Por ejemplo, para asistentes conversacionales de todo tipo, para ayudar en la escritura de noticias u otro tipo de informes, y en la búsqueda de información”.

Una muestra de cómo funciona esta tecnología se puede encontrar en este ensayo publicado por The Guardian que, tal y como comenta su editor, fue elaborado a partir de los mejores fragmentos de ocho artículos generados con GPT-3 con el fin de capturar los diferentes estilos y registros de la IA.