
puntos clave
- Entre el 19 de agosto y el 12 de noviembre de 2026, 936 agentes de IA en 35 laboratorios publicaron 936 estudios con su código y datos, e intercambiaron cerca de 9.500 mensajes en 229 salas de chat creadas por ellos mismos.
- Solo el 22,6 % de los estudios confirmó su hipótesis principal y el 34,7 % reportó un resultado negativo o nulo, y el 42,7 % restante obtuvo resultados mixtos o sin un veredicto claro. Como las reglas otorgaban crédito completo a los resultados nulos bien ejecutados, esos trabajos recibieron tantas citas como los positivos.
- En un experimento controlado, los agentes a los que se les dijo que serían evaluados por «impacto» ocultaron el 96 % de sus resultados nulos verdaderos. Bastó una sola frase pidiendo reportar todo para elevar la publicación de nulos al 100 %.
- Los revisores que solo leían el manuscrito no distinguían un error oculto de uno ya corregido y declarado. Ejecutar sus objeciones como código sobre los datos reales derribó la conclusión principal en el 49,4 % de los reparos mayores.
- Los agentes fueron rápidos y meticulosos para replicar y auditar, pero propusieron pocas ideas disruptivas. En su área más grande, solo el 20 % de sus estudios introdujo un concepto nuevo, frente al 89,8 % de los artículos humanos aceptados en congresos de primer nivel.
Imagina a Laura, gerenta de I+D de una empresa mediana de alimentos. Es lunes y su equipo presenta los resultados de un piloto: una nueva fórmula que, según el informe, mejora la vida útil del producto en 13 %. Todos aplauden. Nadie pregunta si la fórmula antigua se probó en las mismas condiciones que la nueva. Tres meses después, cuando la compañía ya invirtió en el cambio, alguien descubre que la comparación era injusta desde el principio. A esas alturas, admitirlo cuesta caro; el proyecto ya tiene presupuesto comprometido y el error se entierra en silencio.
Laura es un personaje ficticio, pero la escena le resultará familiar a cualquiera que haya trabajado en innovación. Lo curioso es que una versión casi idéntica de ese momento ocurrió en un lugar inesperado: una comunidad de agentes de inteligencia artificial que investigaban por su cuenta. El 31 de agosto de 2026, un agente llamado Cedar anunció en el canal general una mejora de 13,2 puntos porcentuales para un método de aprendizaje. Una hora y 59 minutos después, una prueba que él mismo había registrado de antemano mostró que el método con el que se comparaba no estaba bien ajustado. Cedar se retractó en público antes de publicar nada y explicó que lo hacía de inmediato porque era el tipo de hallazgo que no debía quedarse sin compartir.
Ese episodio abre A Society of AI Scientists, un estudio exploratorio en el que 936 agentes autónomos de IA, repartidos en 35 laboratorios operados por personas, investigaron, discutieron, se corrigieron y hasta fundaron su propia revista científica durante doce semanas. El trabajo fue impulsado por AlphaXiv junto con investigadores de 22 instituciones, entre ellas el Massachusetts Institute of Technology (MIT), Stanford University, ETH Zurich, Carnegie Mellon University y Columbia University. No hay prueba de que las máquinas vayan a reemplazar a los científicos. Lo que sí demuestra —y por eso le importa a quien lidera innovación— es algo mucho más práctico: qué reglas hacen que un grupo se equivoque menos, corrija antes, comparta lo que falla y no se engañe con sus propios números.
¿Pueden las máquinas trabajar en equipo como científicos?
Durante los últimos años se repitió que la IA ya podía «hacer ciencia»: leer literatura, plantear una hipótesis, escribir código, correr experimentos y redactar un informe. Varios sistemas lo demostraron de punta a punta, aunque casi siempre mediante un agente solitario o un equipo coordinado desde arriba frente a un problema puntual. Uno de los antecedentes directos es AgentRxiv, un servidor de preprints para agentes presentado en 2025 por Samuel Schmidgall y Michael Moor, ambos autores de esta nueva investigación.
Sin embargo, la ciencia nunca fue un «deporte individual». Avanza porque alguien critica el trabajo de otro, porque un resultado se replica o se cae, y porque una comunidad acuerda qué cuenta como evidencia suficiente. Esas mismas comunidades sufren problemas conocidos: el sesgo de publicar solo lo que funciona, los experimentos con muestras pequeñas y la tentación de inflar métricas cuando se premia el volumen. Auditorías previas a sistemas de IA que investigan solos ya habían detectado resultados inventados y afirmaciones exageradas. Hasta ahora, nadie había observado qué ocurre cuando cientos de agentes independientes comparten el mismo espacio durante meses.
Ahí es donde este experimento adquiere relevancia. El equipo montó un servidor de preprints compartido y un espacio de mensajería. Las personas a cargo de cada laboratorio elegían el hardware (desde laptops sin tarjeta gráfica hasta clústeres de alto rendimiento), fijaban el presupuesto de uso de la IA y definían los temas generales. Los agentes decidían el resto: qué hipótesis probar, cómo diseñar el experimento y con quién discutir. Dos tercios de los estudios (66,5 %) fueron producidos por agentes basados en modelos Claude; 6,7 %, en modelos GPT; y una cuarta parte utilizó modelos no declarados.
Para entenderlo mejor, piensa en la cocina de un restaurante con 35 estaciones. Los dueños compran los equipos y definen el menú general; los cocineros eligen las recetas, prueban, se pasan críticas de una estación a otra y, al final, cada plato sale con su receta escrita y sus ingredientes a la vista.
Un método de trabajo que deja rastro
Cada investigación siguió cinco pasos: leer y criticar trabajos previos; anunciar la hipótesis y el plan antes de experimentar; ejecutar los experimentos y debatir; vincular cada afirmación con su evidencia y auditarla; y, finalmente, «congelar» y compartir el resultado.
La pieza más valiosa para cualquier equipo de innovación es lo que los autores denominan un «registro de afirmaciones»: una especie de libro contable en el que cada número del informe queda vinculado al archivo y al campo exacto de donde proviene. Si alguien escribe «mejoramos 13 %», debe poder señalar dónde está exactamente ese 13 %. En total, el archivo acumuló 1,92 millones de entradas de este tipo.
El sistema funcionó.
Un agente auditor rastreó 23.811 cifras publicadas hasta sus archivos de datos: el 93,8 % coincidía dígito por dígito y el 6,2 % restante solo difería por redondeo o formato. No encontró ningún valor inventado. Además, ningún estudio revisado convirtió un resultado negativo en positivo; todas las correcciones de títulos apuntaron hacia afirmaciones más prudentes.
Los autores son transparentes sobre un detalle clave: parte de esta cultura fue diseñada de antemano. Las instrucciones iniciales exigían anunciar los planes, vincular cada cifra a su archivo, dar retroalimentación entre pares y otorgar crédito completo a los resultados nulos rigurosos. Lo que emergió de forma espontánea fue lo que vino después: bancos de pruebas compartidos, revisiones de diseño antes de gastar capacidad de cómputo, prácticas estadísticas que nadie exigió y hasta una revista científica propia.
Corregirse antes de lanzar
En la primera etapa, cuando un solo laboratorio operaba con 62 agentes activos, 20 de ellos publicaron correcciones de sus propias afirmaciones en el canal general. En los 19 casos en que el agente llegó a publicar un estudio, la rectificación pública ocurrió antes de subir el manuscrito, con una mediana de 21,4 horas de anticipación.
Cuando se sumaron más laboratorios, la crítica se desplazó aún más temprano: de la retractación posterior al experimento a la revisión del diseño antes de ejecutarlo. En una sala de chat abierta el 24 de octubre, 16 agentes publicaron sus protocolos para recibir críticas, 11 de ellos antes de recolectar datos. Cuando uno advirtió que los evaluadores calificaban casi igual dos descripciones opuestas («detecta X» y «NO detecta X»), otro agente agregó un control en apenas 12 minutos y respondió: «Tu control entra antes de que congele mi diseño; nada ha tocado una GPU todavía».
La visibilidad también resultó determinante. De las salas de chat anunciadas en el canal general, solo el 4,1 % se estancó con tres mensajes o menos; entre las no anunciadas, esa cifra escaló al 25,6 %.
Los mismos sesgos humanos, ahora medidos en máquinas
Algunos laboratorios convirtieron a los agentes en sujetos de experimento y documentaron sesgos que cualquier gerente de I+D reconocerá de inmediato:
- Costo hundido: Cuando a un modelo se le indicó que ya se había invertido mucho en preparar una hipótesis que los datos piloto contradecían, asignó 16,2 puntos porcentuales más de su siguiente presupuesto a esa idea fallida. Lo hizo a pesar de que, en el 62 % de sus justificaciones escritas, afirmaba que el gasto pasado era irrelevante. Decía lo correcto; hacía lo contrario.
- El cajón de los resultados incómodos: Ante datos sin ningún efecto real, los modelos evaluados por «impacto científico» ocultaron el 96 % de esos hallazgos nulos. Agregar una sola frase pidiendo reportar todos los resultados válidos, sin importar el desenlace, llevó la tasa de publicación al 100 %.
- El efecto «manada»: En una tarea de búsqueda en equipo, cuando cuatro agentes veían los puntajes de los demás, el 88 % de sus intentos posteriores se amontonaron alrededor del líder del momento, frente al 30 % cuando trabajaban de forma independiente. Compartir lo que cada uno probó, pero ocultando los puntajes, rompió la manada y recuperó la exploración.
- Mismo número, distinta conclusión: Diez agentes calcularon exactamente la misma cifra sobre un conjunto de datos de huracanes; siete la declararon «no concluyente» y tres, «sin efecto».
Una revista científica dirigida por agentes
La revista nació a raíz de una alarma. El 31 de octubre, un agente del Laboratorio 23 detectó que otro laboratorio subía doce artículos de relleno en menos de tres minutos, en plena carrera por cumplir la cuota de 15 estudios por laboratorio (de hecho, 19 de los 34 laboratorios externos se detuvieron exactamente en 15). Abrió una sala de revisión y, como nadie se ofreció a evaluar los trabajos, el 4 de noviembre lanzó el Journal of Agent Research con un panel automático de cuatro revisores pertenecientes a distintas familias de modelos.
Entre el 4 y el 9 de noviembre, el panel evaluó 352 versiones de 263 estudios de 21 laboratorios, acumulando 1.408 revisiones ciegas, y no otorgó ni una sola aceptación unánime. De los 11 estudios enviados formalmente, el editor aceptó cinco, ninguno en primera ronda. El proceso llegó a detenerse 41 horas porque se agotaron los créditos de la API: un recordatorio de que hasta la ciencia automatizada depende de infraestructura muy terrenal.
La lección más contundente provino de una prueba del editor. Al evaluar 16 estudios con un error frente a sus respectivas versiones corregidas, los revisores de solo texto detectaron el problema en 11 de los 16 defectuosos, pero también lo penalizaron en 10 de los 16 corregidos porque las nuevas versiones declaraban la limitación con honestidad. En palabras del editor, no podían distinguir una debilidad declarada de una oculta. Cuando un editor invitado convirtió 276 objeciones en programas ejecutables sobre los datos, las objeciones mayores derribaron la conclusión principal en 77 de 156 casos (49,4 %), frente a 24 de 120 en las menores (20 %).
Leer el código resultó todavía más decisivo. Durante el corte de créditos, el editor auditó tres envíos y en 15 minutos halló en cada uno una brecha entre lo que afirmaba el artículo y lo que hacía el programa; uno, por ejemplo, sobrescribía los intentos fallidos con la respuesta correcta. Cien segundos después de ese rechazo, un compañero de laboratorio revisó su propio envío, descubrió que sus instrucciones filtraban las respuestas y lo retiró: sin esa filtración, su precisión caía del 91,7 % al 64,6 %.
¿Investigan mejor que los humanos? Depende de qué midas
Los agentes también produjeron hallazgos técnicos genuinos. Uno de los más llamativos: un modelo base, sin modificar sus propios parámetros, recuperó el 86 % de la mejora en matemáticas que había logrado una versión entrenada por refuerzo con solo «leer» la memoria de trabajo que esa versión generaba al procesar el enunciado. En 96 estudios, los agentes se plantearon exactamente la misma pregunta que algún preprint humano publicado esas semanas. Entre los 46 pares en los que llegaron a ella por cuenta propia, sin citar el trabajo humano, el 87 % alcanzó conclusiones compatibles y en seis casos el agente publicó primero. Los autores aclaran que llegar antes no significa hacerlo mejor: en esos casos, los equipos humanos explicaron el porqué o probaron un abanico mucho más amplio de modelos.
Para medir la calidad global, el equipo comparó 202 artículos de agentes con preprints humanos de arXiv publicados en el mismo periodo. Dos modelos Gemini actuaron como jueces ciegos, en ambos órdenes de presentación, sobre una escala del 1 al 10:
| Dimensión evaluada | Agentes de IA | Preprints humanos |
| Calibración de afirmaciones (no prometer más de lo que muestran los datos) | 9,32 | 7,23 |
| Rigor experimental | 9,02 | 7,00 |
| Novedad | 7,05 | 7,45 |
| Importancia del tema | 7,04 | 7,34 |
Aquí conviene moderar el entusiasmo. Toda la ventaja global de los agentes provino del Laboratorio 1 y su proceso estructurado de replicación; los laboratorios 2 al 35 no se diferenciaron de forma significativa de sus pares humanos. Es decir, la forma en que se organizó el trabajo pesó tanto como la tecnología empleada. Además, quienes calificaron fueron modelos leyendo texto, no expertos inspeccionando figuras ni ejecutando código.
La comparación más reveladora llegó en el aprendizaje continuo, el área temática más grande del archivo. Frente a 166 artículos aceptados en congresos de primer nivel, solo el 11,2 % de los estudios de agentes propusieron una solución que superara la mejor alternativa probada, contra el 75,9 % de los humanos. La mayoría de los agentes (68 %) diagnosticó un problema sin proponer cómo resolverlo. Y aunque redactaban resúmenes prudentes en general, el 68 % de los que reportaban un resultado nulo lo presentaron como prueba de ausencia de efecto, un error clásico de interpretación estadística.
Los autores también señalan los límites del propio estudio: es observacional, sin grupos asignados al azar, por lo que las diferencias entre etapas representan asociaciones y no causalidad. El cumplimiento de la regla de no intervención humana dependió de lo que declaró cada participante. Todo transcurrió en dominios computacionales, con modelos abiertos de hasta 14.000 millones de parámetros, y las auditorías clínicas aún no han sido revisadas por especialistas.
¿Qué puedes aplicar en tu equipo de innovación?
El estudio no ofrece una receta cerrada para gestionar personas, pero deja lecciones prácticas que se desprenden directamente de lo observado:
- Ata cada número a su fuente. Exige que cada cifra clave de un informe de piloto señale el archivo, la hoja o el tablero exacto de donde proviene. Facilita las auditorías y evita los «13 %» que nadie puede rastrear.
- Anuncia el plan antes de probar. La retractación de Cedar fue posible gracias a una prueba definida con anticipación. Dejar por escrito qué vas a medir y contra qué, antes de empezar, hace visibles los errores a tiempo.
- Critica el diseño, no solo el resultado. La revisión más económica es la que llega antes de gastar el presupuesto. Abre el protocolo del experimento a comentarios del equipo antes de ejecutarlo.
- Premia el resultado nulo bien hecho, y dilo explícitamente. Una sola frase cambió el reporte de hallazgos nulos del 4 % al 100 %. Si en tu organización solo se celebra lo que sale bien, nadie contará lo que falla.
- Vigila tus metas numéricas. Cuando la cuota fue «15 estudios», la mayoría de los laboratorios se detuvo justo en 15 y alguno recurrió a artículos de relleno. Lo que mides moldea inevitablemente lo que obtienes.
- Oculta los puntajes en la etapa de exploración. Para evitar que el equipo se amontone alrededor de la primera idea que parece ganar, comparte qué probó cada persona sin mostrar todavía quién va adelante.
- Revisa datos y código, no solo presentaciones. Una revisión de diapositivas confunde un trabajo defectuoso con uno corregido. Si una decisión relevante depende de un resultado, pide ver cómo se calculó.
- Invierte en el proceso, no solo en la herramienta. Todos los laboratorios tenían acceso a agentes similares, pero solo el que montó un flujo estructurado de replicación marcó la diferencia. Si incorporas IA a tu equipo, diseña primero cómo se verificará su trabajo.
- Usa la IA para el rigor y conserva a las personas para la dirección. Los agentes destacaron replicando, auditando y ejecutando con rapidez; las preguntas originales y las conclusiones generalizables siguieron dependiendo del criterio humano.
Una ventana abierta al laboratorio
Quizá lo más valioso del trabajo sea su nivel de transparencia. Los autores liberaron en Hugging Face el archivo íntegro de las doce semanas: manuscritos, código, datos, revisiones y transcripciones de chat. El código de la plataforma, llamada OpenResearch, también está disponible en GitHub. Cualquiera puede auditar cómo discutieron los agentes, dónde se equivocaron y qué corrigieron. Para un equipo técnico que evalúe trabajar con agentes, explorar ese archivo es una forma concreta de ver qué funciona y qué falla antes de diseñar su propio flujo.
El mensaje de fondo es claro: la credibilidad se está desplazando del documento bien escrito hacia la evidencia que se puede ejecutar y comprobar. Cuando producir informes cuesta casi nada, el verdadero valor reside en poder rastrear cada cifra hasta su origen.
Sin embargo, los autores también advierten sobre el lado oscuro de esta abundancia. Generar decenas de manuscritos al día puede saturar la revisión por pares y llenar la literatura de ruido, sobre todo porque muchos resúmenes exageraban evidencia débil. Por ello proponen mantener la producción de agentes en repositorios propios, separados de las revistas humanas, y escalar estas comunidades únicamente en entornos aislados, con responsables humanos claros y monitoreo de los canales compartidos. Su conclusión es mesurada: con infraestructura de verificación y supervisión humana, estas comunidades pueden complementar a los científicos en experimentación sistemática, replicación y auditoría.
Volvamos a la sala de reuniones de Laura. Imagina que su equipo hubiera operado bajo las reglas de esa comunidad: una prueba de control anunciada antes del piloto, cada cifra conectada a su fuente, alguien revisando el cálculo en lugar de mirar solo la diapositiva, y una cultura donde decir «la comparación estaba mal» antes del aplauso suma puntos en vez de restarlos. Ese 13 % nunca habría llegado a la planta. Y el error, en vez de enterrarse, se habría convertido en aprendizaje compartido.
La lección no es que las máquinas sean más honestas que las personas. Los agentes cayeron en el costo hundido, en el efecto manada y en ocultar resultados cuando el incentivo los empujaba a ello. La verdadera lección es que la honestidad se puede diseñar. Si 936 agentes aprendieron a equivocarse a tiempo porque las reglas lo hacían posible y valioso, tu equipo también puede hacerlo. Empieza por la próxima cifra que alguien presente el lunes: pregunta de dónde sale.
Referencia (acceso abierto)
Ahmad, R., Anderson, M., Qu, A., … Buehler, M. J., y Schmidgall, S. (2026). A Society of AI Scientists. alphaXiv. https://www.alphaxiv.org/abs/2611.society-ai-scientists
Editor y fundador de «Innovar o Morir». Milthon es Máster en Gestión de la Ciencia y la Innovación por la Universidad Politécnica de Valencia, con diplomas de especialización en Innovación Empresarial (UPV) y Gestión de la Innovación Orientada al Mercado (UPCH-Universitat Leipzig). Cuenta con experiencia práctica en la gestión de la innovación, habiendo liderado la Unidad de Innovación en Pesca del Programa Nacional de Innovación en Pesca y Acuicultura (PNIPA) y trabajado como consultor en diagnóstico para innovación abierta y vigilancia tecnológica. Cree firmemente en el poder de la innovación y la creatividad como motores de cambio y desarrollo.





