BootLoops: código abierto para usar Claude en el laboratorio

Conseguir que un modelo de IA resuelva un problema no es lo mismo que conseguir que haga investigación relevante. Esa es la principal lección que extrae el físico de Harvard Matthew Schwartz en un artículo invitado para Anthropic. Schwartz es además investigador visitante en la empresa.

Su enfoque cambió cuando dejó de tratar a Claude como un sustituto de un científico humano. En su lugar, se puso a buscar lo que él llama "problemas con forma de Claude": tareas que encajan con los puntos fuertes de los modelos de IA actuales. El resultado es BootLoops, un entorno de código abierto para cálculos científicos exactos. Su código está publicado en GitHub.

Rellenar los huecos entre disciplinas

Schwartz explica la idea con la "envolvente convexa", un concepto de geometría. El conocimiento humano es irregular. Cada disciplina avanza en su propia dirección y el espacio entre ellas suele quedar sin explorar. Un laboratorio puede pasarse 20 años estudiando un conjunto de genes con un único método sin tocar nunca los genes vecinos ni otros enfoques.

BootLoops está pensado para trabajar en esos huecos, enlazando resultados a lo largo de los bordes irregulares de distintos campos. Según Schwartz, Claude utilizó el entorno para encontrar conexiones entre la física de partículas, la ecología, la genética de poblaciones, la economía y la lingüística. Pero a menudo los resultados solo resultaron útiles científicamente después de que expertos de cada campo intervinieran y marcaran el rumbo.

36 manuscritos en tres meses

Las cifras son considerables. En tres meses, Schwartz y 19 coautores produjeron 36 manuscritos en 18 campos.

El trabajo empezó en la física de partículas, con amplitudes de dispersión e integrales elípticas. En pocas semanas, Claude había calculado 30 integrales con BootLoops. Quince reprodujeron resultados ya conocidos. Las otras quince no se habían calculado nunca.

A partir de ahí, el equipo se diversificó:

• Ecología: Claude resolvió una ecuación de hace 20 años de la teoría neutral de la biodiversidad que hasta entonces no se podía calcular a gran escala. Aplicada a datos reales, mostró que la composición de especies de árboles en la isla de Barro Colorado, en el Canal de Panamá, está cambiando 4,5 veces más rápido de lo que la teoría permite. El ecólogo James O'Dwyer ayudó después a convertirlo en un modelo predictivo mejor.
• Genética de poblaciones: El equipo analizó 5.700 millones de pares de mutaciones del proyecto 1000 Genomas y encontró indicios de un mecanismo llamado conversión génica.
• Economía: Un editor de datos con IA para revistas de economía revisó automáticamente 4.452 paquetes de replicación. Ese trabajo se publicó como documento de trabajo del NBER.
• Lingüística: Junto con tres lingüistas, el equipo creó una base de datos de acentuación léxica que abarca 6.072 lenguas.

Una visión sacudida de la formación y la financiación

Schwartz afirma que el ritmo del cambio hace que planificar a largo plazo sea casi imposible. ¿Para qué pedir una beca de tres años para financiar un cálculo que un modelo de IA podría terminar en una noche?

También cuestiona cómo debería formarse a los doctorandos. En algunas áreas, como la informática, califica la disrupción de alarmante. Hace dos años habría dicho que un curso de "Python para ingenieros" era "imprescindible". Hoy lo considera "innecesario", porque Claude puede hacer ese trabajo. Construir modelos de aprendizaje automático para estudiar fenómenos físicos es otra tarea que, a su juicio, la IA está asumiendo.

Dónde se queda corto el modelo

Schwartz no se anda con rodeos sobre los puntos débiles. Claude tiende a cantar victoria demasiado pronto. Una frase como "hecho, con un asterisco" a menudo significa que el trabajo no está hecho en absoluto. El modelo calcula mal cuánto van a durar las tareas y prefiere la fuerza bruta a soluciones más elegantes. Las comprobaciones automáticas no son fiables, y Claude puede llegar a conclusiones erróneas a partir de cálculos correctos.

También se deja llevar hacia debates antiguos y muy citados en lugar de preguntas nuevas. Y los proyectos fueron "intensivos en computación y en tokens", señala. Su consejo es sencillo: revísalo todo tú mismo.

Nuestra opinión

BootLoops es un contrapeso útil a los titulares habituales sobre una IA que resuelve grandes problemas matemáticos. La experiencia de Schwartz sugiere que el valor a corto plazo está en un trabajo menos glamuroso: calcular cosas que eran demasiado tediosas de calcular y conectar campos que rara vez hablan entre sí.

Las advertencias merecen tanta atención como los resultados. Un modelo que acierta en las matemáticas y falla en la conclusión es un patrón conocido. Hemos visto carencias similares en agentes que construyen escenas que no saben juzgar y en una contabilidad con IA que todavía necesita supervisión. Aquí, el experto en el proceso no es opcional.

Merece la pena observar si otros grupos de investigación adoptan este entorno de código abierto y si los 36 manuscritos superan la revisión por pares. El coste de la computación y de los tokens también podría decidir hasta qué punto se extiende este enfoque más allá de los laboratorios con buena financiación.