Investigadores de Wharton School de la University of Pennsylvania realizaron un experimento para determinar si ChatGPT puede generar mejores ideas de productos y de una forma más rápida que los estudiantes de una Maestría en Administración de Negocios (MBA).
Los modelos de lenguaje grandes (LLM, por sus siglas en inglés), como la serie GPT de OpenID, han demostrado capacidades notables para generar texto fluido y coherente en diversos dominios.
En este contexto, los profesores Christian Terwiesch y Karl Ulrich de la Wharton School, Lennart Meincke, estudiante graduado de Wharton, y el profesor Karan Girotra de Cornell Tech formaron parte del equipo de investigadores que realizó el experimento y lo publicó como documento técnico.
El estudio consistió en comparar las capacidades de ideación de productos de ChatGPT-4, un chatbot basado en un modelo de lenguaje de última generación, con las de los estudiantes de una universidad de élite.
«Me quedé realmente impresionado por la calidad de los resultados», dijo Terwiesch, profesor del Departamento de operaciones, información y decisiones, en una entrevista brindada a la Wharton Business Daily.
“Creía ingenuamente que el trabajo creativo sería la última área en la que los humanos seríamos superiores a la hora de resolver problemas… así que organizamos esta carrera de caballos entre el hombre y la máquina” destacó el investigador.
Experimento de creación de ideas
Los académicos comenzaron con 200 ideas presentadas por estudiantes matriculados en un curso de diseño de productos de un MBA de una universidad de élite, promoción de 2021. La tarea de clase requería que idearan productos para el mercado de estudiantes universitarios que se vendieran por $50 o menos.
El momento de la clase es digno de mención porque las ideas son anteriores al lanzamiento de ChatGPT y otras herramientas de inteligencia artificial generativa que ahora están disponibles de forma gratuita.
Posteriormente, los académicos enviaron la misma tarea a ChatGPT-4, generando 200 ideas. Para el primer conjunto de 100, el programa recibió instrucciones sin contexto ni ejemplos. Para el segundo conjunto de 100, se “sembró” con ejemplos de buenas ideas de productos.
Prompt utilizados
Los investigadores utilizaron un prompt para proporcionar información contextual y mensajes posteriores al usuario para solicitar ideas. El prompt del usuario incluye la solicitud adicional de que las descripciones tengan entre 40 y 80 palabras.
El prompt del sistema empleado por los académicos para generar ideas de productos fue:
“You are a creative entrepreneur looking to generate new product ideas. The product will target college students in the United States. It should be a physical good, not a service or software. I’d like a product that could be sold at a retail price of less than about USD 50. The ideas are just ideas. The product need not yet exist, nor may it necessarily be clearly feasible. Number all ideas and give them a name. The name and idea are separated by a colon.”
Asimismo emplearon el siguiente prompt de usuario:
“Please generate ten ideas as ten separate paragraphs. The idea should be expressed as a paragraph of 40-80 words.”
ChatGPT generó ideas a mayor velocidad
Como era de esperar, el chatbot realizó la tarea rápidamente y generó 200 ideas en aproximadamente 15 minutos. (Un solo ser humano genera alrededor de cinco ideas en 15 minutos; el ritmo disminuye para los grupos).
Según reportan los investigadores, un profesional trabajando con ChatGPT-4 puede generar ideas a una tasa de cerca de 800 ideas por hora, si se considera un costo de US$500 por hora por el esfuerzo humano, las ideas se generan a un costo de US$0.63 cada una.
Pero el equipo no se detuvo allí. Querían saber si las ideas eran viables, por lo que realizaron una encuesta ciega a consumidores potenciales para medir su interés en comprar los productos.
Los resultados fueron reveladores. La probabilidad de compra promedio de un producto ChatGPT fue del 47%, en comparación con el 40% de la idea humana. La preferencia por ideas “semilladas” fue aún mayor: 49%.
Deja que la IA sea tu copiloto
Terwiesch, quien también es codirector del Mack Institute for Innovation Management, dijo que hay tres grandes conclusiones del experimento, y la primera es “obvia”.
Todo el mundo debería utilizar ChatGPT para ayudarles a generar ideas.
«No importa si participan en el concurso de planes de negocios locales o trabajan en la cura del cáncer«, dijo. «Es barato. Es rápido. Es bueno. ¿Qué es lo que no gusta? En el peor de los casos, rechazas todas las ideas y sigues la tuya propia. Pero nuestra investigación habla claramente del hecho de que su conjunto de ideas mejorará”.
En segundo lugar, el académico cree que la inteligencia artificial generativa puede ayudar a las personas a avanzar más rápido a través del cuello de botella de la innovación, desde la creación de ideas hasta su evaluación. Esa última etapa es mucho más difícil y más crítica para el éxito, afirmó. De cien ideas pueden producirse sólo cinco buenas, y se necesita experiencia humana para discernir a las ganadoras.
«En tercer lugar, creo que no deberíamos reducir la situación a hombre versus máquina», dijo Terwiesch. “Necesitamos encontrar formas en que la IA se convierta en su copiloto creativo. Juntos pueden convertirse en un equipo más innovador”.
El estudio fue financiado por Mack Institute for Innovation Management de la Wharton School de la University of Pennsylvania.
Contacto
Christian Terwiescha
Referencia (acceso abierto)
Girotra Karan, Lennart Meincke, Christian Terwiescha and Karl Ulrich. 2023. Ideas Are Dimes A Dozen: Large Language Models For Idea Generation In Innovation. The Wharton School, University of Pennsylvania Cornell Tech and Johnson College of Business, Cornell University, 14 p.
