GPT-3: el algoritmo que (casi) puede escribir por ti

Un buen día, los lectores de The Guardian desayunaron con un artículo que aseguraba haber sido escrito por un robot. Era, concretamente, un artículo de opinión. Trataba de convencer a los humanos de que las intenciones de su autor —un algoritmo llamado GPT-3— y sus congéneres no tienen la menor intención de aniquilarnos o hacernos pasar un mal rato. Inquietante, ¿verdad?  

Ese día, miles de periodistas en todo el mundo empezaron a considerar el upskilling y el reskilling como algo más que un propósito de año nuevo. No es para menos: un modelo predictivo basado en inteligencia artificial que prácticamente puede escribir por un humano casi suena a brujería. 

Sin embargo, no hay magia detrás de GPT-3, solo un modelo predictivo e inteligencia artificial muy buenos a la hora de adivinar qué palabras siguen a otras. Algo así como el teclado predictivo de un smartphone, pero mucho más sofisticado. 

Qué es GPT-3 y por qué se le da tan bien escribir 

GPT-3 es uno de los frutos más avanzados de los avances que se han sucedido en los últimos años en procesamiento de lenguaje natural (PLN). El PLN es el campo de la inteligencia artificial que investiga cómo las máquinas se pueden comunicar mejor con los humanos utilizando sus propias lenguas naturales, como el español. 

Las plataformas de PLN se basan en modelos de lenguaje como GPT-3, que es uno de los más avanzados del mundo. Otros ejemplos son Bert —que Google emplea para comprender mejor las búsquedas de sus usuarios— o Wudao —desarrollado por la Academia de Inteligencia Artificial de Pekín y capaz de procesar tanto textos como imágenes—. 

Estos modelos predictivos son, en realidad, representaciones probabilísticas de la estructura de un idioma. Se basan en la probabilidad de que ciertas palabras aparezcan en posiciones cercanas. Esta es la principal razón por la que los modelos predictivos como GPT-3 pueden generar frases con sentido e incluso imitar el estilo literario de un autor en concreto. Si tienen las instrucciones necesarias, pueden adivinar con bastante precisión qué palabra aparecerá a continuación. 

Por supuesto, para que los modelos de lenguaje puedan construir frases e incluso artículos enteros con cierto sentido, tienen que acumular una cantidad de datos desorbitante. GPT-3 —la tercera versión que lanza el laboratorio californiano de inteligencia Artificial Open AI— utiliza una red neuronal de deep learning con 175.000 parámetros que trata de optimizar durante sus entrenamientos. En lugar de levantar pesas, GPT-3 se entrena con cientos de miles de millones de palabras procedentes de libros, páginas web, la Wikipedia y muchas otras fuentes de datos. 

Limitaciones de GPT-3 

Al absorber tanto contenido, GPT-3 tiene respuestas para casi todo. Basta con pedirle que escriba algo con determinadas instrucciones o incluso darle una frase inicial para que construya un artículo difícilmente distinguible del que escribiría un humano. De hecho, GPT-3 no solo se puede utilizar para producir textos informativos, sino también textos de ficción e incluso para escribir código en distintos lenguajes de programación.  

Entonces, ¿por qué este mismo artículo no lo ha escrito GPT-3 o algún otro modelo predictivo o inteligencia artificial? Básicamente, porque GPT-3 no entiende nada de lo que escribe. Su conocimiento es meramente sintáctico, no semántico. Solo se dedica a adivinar qué palabra viene después.  

Eso supone que GPT-3 no sabe detectar sesgos, intoxicaciones, distinguir si una frase tiene o no sentido o si una información está o no actualizada. Por eso resulta relativamente sencillo trolearlo y, por tanto, la fiabilidad de sus artículos es reducida. Por el contrario, su capacidad de producir textos tóxicos es muy elevada. 

InstructGPT, un sucesor con mucho trabajo por delante 

Este mismo mes de enero, Open IA presentó en sociedad una nueva versión de GPT-3. Es un modelo predictivo denominado InstructGPT, que ha sido entrenado por humanos para mejorar su fiabilidad, reduciendo el uso de lenguaje ofensivo y de informaciones falsas.  

¿Cuál es el problema? Que al ser mejor que GPT-3 para seguir las instrucciones que le dan las personas, también es capaz de generar textos mucho más tóxicos que su predecesor si así se le indica. Así que InstructGPT y sus desarrolladores todavía tienen mucho trabajo por delante para sortear el lado oscuro de este tipo de modelos. 

Parece que, una vez más, el pensamiento crítico de los humanos puede ayudarles a que un robot no les quite el trabajo. Esta capacidad es la que está detrás de un artículo de respuesta al escrito por un robot en The Guardian que mencionábamos al principio del texto. Su título: “Un humano ha escrito este artículo. No deberías asustarte de GPT-3”.  

Con todo, no está de más echar un vistazo a las habilidades más demandadas en la Economía Digital. Solo por si acaso los modelos predictivos evolucionan y la inteligencia artificial empieza a repartir currículos.