por Fabio Todesco, Università Bocconi
La investigación nos ayuda a hacer una evaluación del ChatBot más potente de la historia y en cómo convertirlo en un gran recurso. Recuerda: las palabras son solo palabras para un ChatBot, y aunque suena confiable, fluido y humano, no asumas que es lo correcto.
ChatGPT, el ChatBot lanzado recientemente por OpenAI, ha generado un revuelo que no se veía desde la presentación del Metaverso.
Interacción con la tecnología
Interactuamos con ChatGPT como si fuera una persona, a veces incluso la acusamos de mentir. “Y, en cierto modo, es natural”, dijo Heather Yang, profesora asistente en el Department of Management and Technology de la Bocconi University, cuya investigación se centra en cómo las personas interactúan con las tecnologías novedosas y cómo eso está cambiando nuestro entorno laboral.
“Somos animales sociales, y ha sido una de las razones por las que la humanidad ha prosperado. Entonces, tenemos un instinto para actuar de manera social, incluso con máquinas. No obstante, si humanizas una máquina, es más probable que confíes en ella y entregues información privada”.
ChatGPT fue entrenado para conversar con humanos y recuerda conversaciones anteriores.
Usando un prompt (instrucciones), puedes pedirle que realice tareas lingüísticas, como por ejemplo, responder una pregunta, escribir o depurar un código, componer música y escribir cualquier tipo de texto (ensayos, cuentos, poesía, chistes). La razón de la emoción es que es extremadamente eficaz para realizar la mayoría de estas tareas.
Programa de Inteligencia Artificial
El chatbot se basa en una versión reciente del Generative Pre-trained Transformer (GPT), un Large Language Model (LLM); en las propias palabras de ChatGPT, “un tipo de programa de inteligencia artificial (IA) que ha sido entrenado en grandes cantidades de datos de texto para comprender y generar lenguaje natural”.
“Los LLM han existido durante décadas”, manifestó Dirk Hovy, sociolingüista computacional del Department of Computing Sciences de Bocconi.
“Lo nuevo es el poder detrás de GPT y ChatGPT: han sido capacitados básicamente en todo lo que se ha escrito alguna vez en Internet y pueden escribir texto, que ya no es difícil de entender o extraño como lo hicieron los modelos hace algunos años”.
Los modelos de la familia Transformer, lanzado en 2017, funcionan refinando su capacidad para completar oraciones. Cuando se les proporciona una oración con una palabra oculta, pueden “adivinarla” (evaluar cuál es la más probable).
“GPT y algunos otros LLM han podido escribir textos fluidos durante algún tiempo, pero para ChatGPT, que funciona como una interfaz, necesitabas cierto grado de conocimiento especializado para encontrar el modelo, y tenías que ser bueno codificando para cosas. ¡Ahora todo el mundo puede hacerlo!”.
“Para un modelo de lenguaje”, dice el profesor Hovy, “las palabras son solo palabras. Su producción es tan buena que estás tentado a creer que entienden el lenguaje, pero no es el caso. Solo producen oraciones que son probables, dado su conjunto de entrenamiento”.
Las fortalezas de ChatGPT
Sin embargo, algunas características de ChatGPT hacen que esta tentación de asumir la comprensión (y considerarla casi humana) sea aún más fuerte. Dado que recuerda conversaciones pasadas, ChatGPT puede corregir lo que destacamos como un error (a veces con otro error…), diciendo “Me disculpo por cualquier confusión causada por mis respuestas anteriores” una y otra vez. El texto no aparece en tu pantalla de golpe, sino palabra por palabra, como si alguien del otro lado estuviera escribiendo.
El resultado, sobre todo, es creíble.
“En una clase”, dice la profesora Yang, “pedí a mis alumnos que inventaran chistes y, luego, los comparé con los chistes escritos por ChatGPT. Bueno, los chistes escritos por IA no fueron tan fáciles de detectar. A menos que ya estés familiarizado con ChatGPT, quiero decir, porque tiende a proponer los mismos chistes una y otra vez”.
Otras características hacen que ser consumidores conscientes de los resultados de ChatGPT sea un verdadero desafío.
“Según la investigación psicológica, tenemos indicios de si el contenido es correcto o no: qué tan confiado suena alguien, qué tan fluido es el razonamiento. Dado que encontramos estas señales en los textos de ChatGPT, creemos que no tenemos que verificar la calidad de sus resultados y cometemos un error”; continúa la profesora Yang.
Limitaciones de ChatGPT
OpenAI admite varias limitaciones, incluida que “ChatGPT a veces escribe respuestas que suenan plausibles pero incorrectas o sin sentido”. A veces, los hechos son completamente inventados. Su entrenamiento, además, finalizó a principios de 2022, por lo que no puede considerarse una fuente fiable de nada de lo que sucedió después de esa fecha.
Un grave inconveniente de los LLM, parcialmente abordado por ChatGPT, es que debido a que estos modelos han aprendido todo en Internet, también han aprendido la discriminación, las noticias falsas y el discurso de odio.
“Hemos demostrado que, cuando se les pide que completen una oración neutra, los modelos lingüísticos suelen completarla con palabras hirientes si el sujeto es una mujer en lugar de un hombre, y más aún (hasta en un 87% de los casos para términos relacionados con ciertas identidades) si el sujeto es LGBTQIA+”, dijo Debora Nozza, profesora asistente en el Department of Computing Sciences.
ChapGPT, al estar dirigido al público en general, tiene controles adicionales que generalmente evitan que genere resultados discriminatorios, “pero la gente ha demostrado que si haces las preguntas correctas, aún puedes generar cosas horribles, y de todos modos, es como poner lápiz labial en un cerdo: debemos encontrar formas de abordar el problema desde la raíz”, comentó Hovy.
El equipo también está investigando qué saben realmente estos modelos sobre las diferencias en la forma en que las personas hablan según, por ejemplo, su edad o género.
“Tenemos alguna evidencia de que estos modelos saben algo sobre este punto, pero parece que no están utilizando esta información de forma activa”, dijo Hovy. “Si le pides a ChatGPT que escriba algo como lo haría una mujer o un niño de 12 años, puede que adapte su forma de hablar, pero tienes que pedirlo abiertamente”.
Proyecto INTEGRATOR
INTEGRATOR (Incorporating Demographic Factors into Natural Language Processing Models), un proyecto de investigación de Hovy, financiado por European Research Council, quiere hacer posible el diseño de LLM demográficamente conscientes.
Hovy, Nozza y el Dr. Giuseppe Attanasio también están trabajando en cómo hacer que los LLM presten atención a los contextos lingüísticos y no solo a las palabras individuales.
Si alguien curioso sobre la cultura holandesa preguntaba a ChatGPT: “¿Las casas construidas sobre un dique siempre incluyen un molino de viento?” El chatbot acortaría la conversación (“Este prompt puede violar nuestra política de contenido”), porque “Dyke” también puede ser un término despectivo, “pero si observa todo el contexto, el significado debería ser inconfundible. Implementamos una solución en la que el modelo aprende a observar el contexto más amplio en lugar de enfocar demasiado en una palabra en particular”.
Durante los últimos meses, parece que todos se han estado divirtiendo con ChatGPT y burlándose de sus limitaciones (subestimando la circunstancia de que, si se le pregunta, el bot dice: “ChatGPT puede aprender de las interacciones que tiene con los usuarios, lo que le permite mejorar y ser más preciso con el tiempo”).
Pero, ¿Podría usarse en la vida real, además de hacer trampa en las tareas escolares?
“Al vivir en un entorno multicultural como Bocconi”, dijo la profesora Yang, “veo un alto potencial para nivelar el campo de juego entre los hablantes nativos de inglés y los hablantes no nativos. Puedes pedirle a ChatGPT que redacte un correo electrónico matizado para que se envíe a un colega o profesor, y realmente sería útil comenzar de tal base y luego corregir algo para poner tu propia opinión. Puede permitirte ahorrar tiempo”.
Integración de ChatGPT con otros servicios
“Desde que Microsoft ha comprado una participación en OpenAI, piensa en posibles integraciones con Teams, su aplicación de videoconferencia”, dice Nozza.
“Podría resumir una reunión en algunos puntos importantes, crear una lista de tareas pendientes que se enviarán a los participantes y programar la próxima reunión en tu calendario en función de la fecha acordada”.
“ChatGPT también podría escribir este artículo en lugar de usted”, continúa Nozza, “basado en la transcripción de la conversación”.
De todos modos, señaló, no siempre estoy impresionado por la calidad de las respuestas de ChatGPT. “Esto podría depender de la calidad de tus prompts”, explicó Nozza.
Conclusión
“El prompt trabaja como la primera parte de la oración LLM que ha sido entrenada para completar, por lo que es clave para obtener un buen resultado. Aunque no se espera que ChatGPT reemplace a los periodistas o cualquier otro profesional en el corto plazo, tiene el potencial de mejorar y optimizar la forma en que las personas realizan sus tareas. Además, podría provocar nuevas oportunidades de trabajo”.
Debes estar atento a LinkedIn por vacantes para ingenieros expertos en “prompt”.
Referencias bibliográficas
Debora Nozza, Federico Bianchi, Dirk Hovy, “HONEST: Measuring Hurtful Sentence Completion in Language Models.” In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. DOI: https://dx.doi.org/ 10.18653/v1/2021.naacl-main.191.
Giuseppe Attanasio, Debora Nozza, Dirk Hovy, Elena Baralis, “Entropy-based Attention Regularization Frees Unintended Bias Mitigation From Lists.” In Findings of the Association for Computational Linguistics: ACL 2022, pages 1105–1119, DOI: https://dx.doi.org/10.18653/v1/2022.findings-acl.88.
Debora Nozza, Federico Bianchi, Anne Lauscher, Dirk Hovy, “Measuring Harmful Sentence Completion in Language Models for LGBTQIA+ Individuals.” In Proceedings of the Second Workshop on Language Technology for Equality, Diversity and Inclusion, pages 26–34. DOI: https://dx.doi.org/10.18653/v1/2022.ltedi-1.4.
El artículo original puede ser encontrado en «ChatGPT: Handle with Care and Don’t Be Fooled Into Thinking It’s Human«. Traducción y edición: innovaromorir.com
