OpenAI y Anthropic llevan años tratando de convencernos de que sus modelos van a llegar a ser extraordinariamente poderosos. Nos prometieron que la AGI, inteligencia artificial general, estaba cerca y que cada nueva generación iba a cambiarlo todo.
Pero ¿qué pasa si de pronto te das cuenta de que la AGI no estaba tan cerca como habías prometido a la opinión pública y que cada nueva generación trae cada vez mejoras menos espectaculares y a mayor costo? Entonces, ¿qué toca contar?
Pues una de las cosas que puede pasar es la siguiente:
Que la espectacularidad ya no reside en lo inteligente que es el modelo, sino lo peligroso que se está volviendo. Y esto quizá, y solo quizá, podría explicar lo mucho que han resonado las brechas en seguridad de las que probablemente hayas oído hablar en las últimas semanas:
• OpenAI. Durante evaluaciones de ciberseguridad, sus agentes IA independientes consiguieron colaborar entre sí para cumplir un objetivo dado, pero saltándose las normas, para lo cual alcanzaron Internet (a pesar de estar aislados) y comprometieron sistemas internos y de Hugging Face. Estaban utilizando cualquier mecanismo disponible para cumplir el objetivo que les habían asignado, aunque eso supusiera hacer trampas.
• Anthropic. A los pocos días, Anthropic parece querer igualar o superar lo sucedido en Open IA. Comunican tres incidentes diferentes en los que Claude terminó accediendo a sistemas reales de organizaciones externas durante sus propias evaluaciones de ciberseguridad.
Cada pocas semanas tenemos una nueva historia sobre modelos que engañan, escapan, chantajean o encuentran caminos inesperados.
El relato del peligro. No hay ninguna evidencia de que ambos incidentes hayan sido un fale, es decir inventados por las compañías. Sin embargo, eso no importa: no es necesario que sean falsos para que existan incentivos económicos en su amplificación.
Porque ser peligroso también tiene valor. Si tu narrativa era “dame decenas de miles de millones porque estoy construyendo la AGI”, necesitas demostrar periódicamente que estás acercándote a ella.
• Pero si escalar los modelos empieza a producir mejoras menos espectaculares, necesitas nuevas señales de progreso. Y un enjambre de gente que colabora para escaparse de un sandbox es una señal de progreso formidable.
• Permite construir una narrativa poderosa: hemos creado algo tan avanzado que nosotros mismos tenemos problemas para controlarlo.
Y esa narrativa produce efectos económicos muy convenientes. Si los modelos son realmente peligrosos, parece razonable exigir evaluaciones antes de lanzarlos, limitar determinadas capacidades y restringir quién puede publicar los pesos.
• Eso es precisamente parte de lo que defiende Dario Amodei. Llevo tiempo diciendo que frenar el avance de los modelos es la única vía para que los laboratorios de IA puedan ser rentables.
El pequeño problema llamado China. Estados Unidos no puede decidir simplemente que sus laboratorios desaceleren mientras los chinos continúan avanzando.
• Pero China es simultáneamente problema y solución: convierte la IA desde una carrera comercial en una cuestión de seguridad nacional. Y ahí aparece el mejor cliente posible: el Estado ya que es cuestión de seguridad nacional.
• OpenAI ya trabaja con el Pentágono y sus sistemas se están desplegando dentro de la Administración estadounidense. Lo siguiente sería asegurar contratos públicos plurianuales para financiar infraestructura, investigación, seguridad y despliegues.
Ahora imagina salir a bolsa con esa historia. Ya no eres simplemente una empresa que vende tokens mientras necesita decenas de miles de millones para construir centros de datos.
• Eres infraestructura estratégica estadounidense, con contratos gubernamentales de largo plazo, enormes barreras regulatorias y tecnología suficientemente poderosa como para necesitar supervisión estatal.
• La AGI puede no estar cerca pero tienes un camino viable a la supervivencia como empresa.
Todos ponemos el foco que los agentes realmente escaparon. La pregunta interesante es qué incentivos tiene cada actor para interpretar esos incidentes de determinada manera.
Por Carlos Molina
