GPT-2

GPT-2 (Generative Pre-trained Transformer 2) es un modelo de lenguaje grande (LLM) que hace uso de la inteligencia artificial para generar textos creada en febrero del 2019 por OpenAI, un laboratorio de investigación impulsado por Elon Musk. Se trata de un sistema formado por 1.5 billones de parámetros que generan texto prediciendo palabra a palabra. De esta forma es capaz de traducir textos automáticamente, responder preguntas, resumir fragmentos de texto… Este texto generado es en realidad extraído de unas 8 millones de páginas de Internet, por lo que cuenta con un conjunto de datos de unos 40GB de texto para utilizar.[1]

Arquitectura de un modelo GPT
Información general
Tipo de programa LLM
Lanzamiento inicial 14 de febrero de 2019
Lanzamientos
GPT-1
GPT-3
Enlaces

Limitaciones

GPT-2 está diseñado para generar texto natural, completamente coherente y casi indistinguible de aquel realizado por humanos. Aun así se han detectado una serie de errores que presenta este sistema.

Si la extensión de un texto es corta, previsiblemente no se podrá encontrar ningún error, pero cuando esta pasa de una página, el sistema puede empezar a fallar y a mostrar más errores cuanto más largo sea el texto.[2] El sistema puede empezar a presentar repeticiones excesivas del texto, cambios de tema antinaturales y errores factuales, así como describir un incendio dentro del mar, por ejemplo.[3]

Por otro lado, el sistema está más familiarizado con los temas más habituales o usuales en la red así como el Brexit o Miley Cyrus, por lo que es más probable que genere textos realistas sobre estos temas que sobre temas más técnicos como la mecánica cuántica, por ejemplo.

En cuanto a la respuesta de preguntas, The Register, una web sobre notícias tecnológicas, después de analizar minuciosamente el sistema, reconoció que hay otros sistemas con otros tipos de algoritmos que desarrollan mejor esta tarea.[4]

Polémica

Este sistema puede ser utilizado, entre otras cosas, para crear fake news. Un ejemplo de ello es una notícia sobre el descubrimiento de unicornios. El sistema GPT-2 completó la noticia (que había sido generada manualmente) con información fictícia, creando así una notícia que podía pasar por real:

"Dr. Jorge Pérez, an evolutionary biologist from the University of La Paz, and several companions, were exploring the Andes Mountains when they found a small valley, with no other animals or humans. Pérez noticed that the valley had what appeared to be a natural fountain, surrounded by two peaks of rock and silver snow.

Pérez and the others then ventured further into the valley. “By the time we reached the top of one peak, the water looked blue, with some crystals on top,” said Pérez.

Pérez and his friends were astonished to see the unicorn herd. These creatures could be seen from the air without having to move too much to see them – they were so close they could touch their horns."

Fragmento de la noticia del descubrimiento de unicornios generada por GPT-2[5]

Una demostración de cómo de poderosa es esta herramienta es The book of Veles. Jonas Bendiksen, un fotógrafo noruego, publicó un libro con textos y frases falsas generadas con este sistema. Lo alimentó con artículos en inglés sobre la indústria de las noticias falsas de Veles. De esta manera, GPT-2 realizó un gran ensayo de 5.000 palabras y con múltiples citas de manera completamente autónoma, aunque están basadas en frases de personas reales. De esta misma forma, Bendiksen introdujo al sistema todo el Libro de Veles, un libro religioso de los pueblos eslavos para así obtener frases “antiguas” para introducir al libro.[6]

Referencias
  1. «GPT-2». Big Data Magazine. 23 de junio de 2020. Consultado el 16 de diciembre de 2021.
  2. Piper, Kelsey (14 de febrero de 2019). «An AI helped us write this article». Vox (en inglés). Consultado el 16 de diciembre de 2021.
  3. «Better Language Models and Their Implications». OpenAI (en inglés). 14 de febrero de 2019. Consultado el 16 de diciembre de 2021.
  4. Quach, Katyanna. «Roses are red, this is sublime: We fed OpenAI's latest chat bot a classic Reg headline». www.theregister.com (en inglés). Consultado el 16 de diciembre de 2021.
  5. «OpenAI finally releases “dangerous” language model GPT-2». JAXenter (en inglés estadounidense). 7 de noviembre de 2019. Consultado el 16 de diciembre de 2021.
  6. reloj, Cartier Bresson no es un (29 de septiembre de 2021). «El gran engaño de 'The Book of Veles': el libro del fotógrafo de Magnum Jonas Bendiksen sacude el fotoperiodismo y la fotografía documental». Cartier-Bresson no es un reloj. Consultado el 16 de diciembre de 2021.

Enlaces externos
Este artículo ha sido escrito por Wikipedia. El texto está disponible bajo la licencia Creative Commons - Atribución - CompartirIgual. Pueden aplicarse cláusulas adicionales a los archivos multimedia.