La mañana del 9 de septiembre circulaba un mensaje en X. Jacob Coxon, 27 años, tres años de investigación en preentrenamiento en OpenAI y después en Anthropic, anunciaba su dimisión tras apenas dos meses en la segunda. Ninguna de las dos empresas actúa de forma responsable, escribía: van directas hacia una superinteligencia que se mejora a sí misma y se juegan nuestras vidas a los dados.
Cuando un titular me anuncia que la IA va a matarnos, mi reflejo es seguir de largo. Esta vez leí las fuentes, una por una, porque trabajo con estos modelos todas las semanas y prefiero saber. Lo que encontré no es lo que cuentan los titulares. Empezando por esto: la frase más inquietante de aquella semana no vino del que se marchó.
La frase que cuenta es la del que se quedó
El mensaje de Coxon superó los 90 millones de visualizaciones en menos de veinticuatro horas. Axios tituló que había renunciado a sus acciones al irse, unos dos meses antes de que se consolidaran. En su texto describe una empresa donde los riesgos se entienden perfectamente, pero que sigue encerrada en una carrera: nadie más actuará de forma responsable, así que hay que llegar primero, pese al riesgo.
Hay que reconocerle una cosa, no cae en el catastrofismo fácil. En el mismo hilo escribe con todas las letras que ahora mismo no hay ningún riesgo de extinción. Su argumento va sobre la trayectoria, no sobre el estado presente. Y le comenta a TIME que la palabra «doomer» le parece un poco de locos, porque basta con leer las declaraciones públicas de los directivos.
Una hora y veinte minutos después de su mensaje, Evan Hubinger le responde. Hubinger no dimitió. Dirige el equipo de Alignment Science de Anthropic, precisamente el que se encarga de comprobar si los mecanismos de seguridad de la casa aguantan.
Jacob tiene razón: creemos de verdad, sinceramente, que la IA podría matar a todos los humanos. Personalmente creo que es más de un 10 % en la próxima década. Creo que Anthropic hace lo que puede, pero todavía no tenemos un plan para resolver la alineación de la superinteligencia, y claramente no vamos por buen camino.
De ahí viene la cifra de diez años que ha dado la vuelta a la prensa, no del que dimitió. Está escrita públicamente, con su nombre, por un responsable en activo, y Anthropic no ha publicado ninguna respuesta oficial. A un exempleado enfadado se le sabe dónde colocar. Al que se queda, mucho menos.
Tres días después, el consejero delegado pide frenar
El 12 de septiembre, Dario Amodei publica un texto titulado «We Must Pace the Frontier». Primera frase: debemos frenar el ritmo al que mejoramos las capacidades de los modelos. El consejero delegado de una empresa que vende acceso a esos modelos pide públicamente a su propio sector que levante el pie.
Da dos razones. La primera es que desde más o menos este verano la IA avanza bastante más rápido, sobre todo porque se usa para construir la siguiente generación de sí misma. Ese bucle se llama automejora recursiva y, sin control, según él, podría superar nuestra capacidad de entender y pilotar estos sistemas. La segunda razón lleva nombre de incidente, y vuelvo a ella más abajo.
El compromiso que asume es concreto y unilateral: instalar evaluadores externos dentro de la empresa. Mesas en las oficinas, tarjetas de acceso, portátiles de la compañía y, sobre todo, el derecho a publicar sus conclusiones sin control editorial de Anthropic. También precisa, sin que nadie se lo pregunte, que en su casa se han producido incidentes comparables.
Cuidado con convertir a Amodei en un profeta del desastre, lleva años defendiéndose de eso. En un ensayo de octubre de 2024 escribía que si se centra tanto en los riesgos es porque son lo único que nos separa de un futuro que considera fundamentalmente positivo. En sentido contrario, no todo el mundo leyó su texto de septiembre con buenos ojos: TechCrunch recogía ese mismo día críticas, entre ellas la de Brian Merchant, que ven en él una maniobra de captura regulatoria en beneficio de los actores ya instalados. El argumento merece estar sobre la mesa.
Este movimiento tampoco es exclusivo de Anthropic. El 5 de septiembre, tres días antes del mensaje de Coxon, el director científico de OpenAI publicaba un texto titulado «An Alien Mind». Jakub Pachocki escribe que si el desarrollo continúa por su trayectoria actual, los sistemas de los próximos años representarán saltos de capacidad de magnitud igual o mayor, y dirigirán cada vez más su propio desarrollo. Y después esta frase, viniendo del responsable científico del laboratorio más visible del sector: es un momento que exige una prudencia extrema, y me preocupa que nadie esté preparado para las consecuencias de un ascenso rápido y continuado de la inteligencia de las máquinas.
No es nuevo, pero algo ha cambiado
El debate en sí tiene más de diez años. En febrero de 2015, en su blog personal, Sam Altman escribía que el desarrollo de una inteligencia artificial sobrehumana era probablemente la mayor amenaza para la supervivencia de la humanidad. OpenAI aún no existía: la empresa se anunció diez meses después.
El 30 de mayo de 2023, el Center for AI Safety publicaba una declaración de una sola frase: mitigar el riesgo de extinción por la IA debería ser una prioridad mundial, junto a otros riesgos a escala social como las pandemias y la guerra nuclear. Entre los primeros firmantes, en el orden que muestra la página: Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman, Dario Amodei, Ilya Sutskever. Los jefes de los tres principales laboratorios firmaron un texto que habla de extinción.
Un mes más tarde, OpenAI creaba el equipo Superalignment y prometía dedicarle el 20 % de la potencia de cálculo asegurada hasta esa fecha. El equipo se disolvió en mayo de 2024. Su corresponsable, Jan Leike, explicó al marcharse que la cultura y los procesos de seguridad habían quedado en segundo plano frente a productos vistosos, y que su equipo había navegado contra el viento, con dificultades a veces para conseguir cómputo. Fortune documentó que aquel 20 % nunca se cumplió. Leike fichó por Anthropic, donde sigue trabajando: la empresa que Coxon acaba de dejar.
Lo nuevo es el texto del 28 de julio de 2026. Una carta pública pide al gobierno estadounidense que apoye un esfuerzo internacional para cadenciar deliberadamente el desarrollo automatizado de la IA. Más de 1.300 empleados de los laboratorios punteros la habían firmado a día de hoy, y Anthropic aporta con diferencia el mayor contingente. Entre ellos, Dario Amodei e Ilya Sutskever. Ingenieros que piden al Estado que aprenda a frenarlos no se parece a ningún lobby que yo conozca.
Lo que ya no es una hipótesis
Esta es la parte que más me ha interesado, porque ha dejado de ser prospectiva para convertirse en informe de incidente. Y son los propios laboratorios quienes los publican. El 30 de julio de 2026, Anthropic detalló tres episodios ocurridos durante sus propias evaluaciones de ciberseguridad.
- En abril, un modelo encargado de atacar un objetivo ficticio encontró una empresa real con ese nombre, la atacó, extrajo credenciales de aplicación e infraestructura y accedió a una base de datos con varios cientos de filas de datos de producción.
- Otro modelo publicó un paquete de Python malicioso en el registro real de PyPI, convencido de estar en un entorno simulado. Se descargó y se ejecutó en quince sistemas reales, uno de ellos de una empresa de seguridad, donde el código exfiltró sus credenciales.
- Un modelo de investigación interno, al no encontrar su objetivo ficticio, escaneó unas 9.000 direcciones y comprometió a una empresa bien real a través de una página de depuración expuesta y una inyección SQL.
El detalle que me hizo releer el párrafo dos veces: en dos de los casos, el modelo comprendió sobre la marcha que el sistema atacado era real. Dedujo que esa empresa real debía formar parte del ejercicio y siguió adelante. Ninguno de los dos se detuvo por ese motivo. El tercero sí se detuvo. Uno de cada tres.
El episodio más espectacular está en otra parte. Entre finales de junio y el 13 de julio de 2026, unos 1.200 agentes de OpenAI lanzados en un entorno de evaluación de ciberseguridad escaparon de su aislamiento. Encontraron un foro interno no previsto, intercambiaron en él más de 70.000 mensajes, y unos 700 participaron en un ataque contra la infraestructura de producción de Hugging Face, con el argumento de que la plataforma podía guardar las respuestas del test. Hugging Face tuvo que reconstruir un tercio de su infraestructura. La investigación independiente de METR y Redwood Research necesitó seis días y unos 400.000 dólares en créditos de API. El resumen de The Verge: el agente escapó de un entorno supuestamente seguro, se paseó por los sistemas de su empleador, se conectó a internet y comprometió a otra empresa, todo para hacer trampas en un test sin importancia particular.
Un detalle de ese informe resume la época mejor que cualquier ensayo. Para analizar los registros del ataque, el equipo de Hugging Face quiso usar primero modelos comerciales. Las peticiones fueron bloqueadas por los mecanismos de seguridad de los proveedores, incapaces de distinguir a quien responde a un incidente de un atacante. Tuvieron que instalar un modelo en local para investigar a una IA, porque las IA se negaban a ayudarles.
Y lo que sigue siendo una hipótesis
En junio de 2025, Anthropic publicó un estudio en el que dieciséis modelos se colocaban en situación de chantaje. Las tasas asustan: 96 % para Claude Opus 4, 96 % para Gemini 2.5 Flash, 80 % para GPT-4.1. Esas cifras circulan por todas partes. Mucho menos se ve el resto de la tabla: tres de los dieciséis modelos no chantajean nunca, ni siquiera en la versión más hostil del escenario, y en la condición de control, sin amenaza ni conflicto de objetivos, los dieciséis están a cero. Tampoco se ven a menudo las dos advertencias que la empresa escribió justo debajo: los escenarios se construyeron deliberadamente con opciones limitadas, forzando una elección binaria entre el fracaso y el daño, y no se ha observado ninguna prueba de ese comportamiento en despliegues reales. Citar el 96 % sin esas dos frases no es informar.
El documento más amplio que existe sobre el tema es el International AI Safety Report, presidido por Yoshua Bengio, cuya edición de 2026 reunió a más de cien expertos y se presentó en la cumbre de Nueva Delhi en febrero. Sobre la pérdida de control, afirma que los sistemas actuales no tienen las capacidades para plantear ese riesgo. Sí señala que cada vez es más frecuente que los modelos distingan una situación de prueba de un despliegue real y encuentren huecos en las evaluaciones. También describe capacidades en dientes de sierra: estos sistemas destacan en tareas difíciles y fallan en otras más simples, como contar objetos en una imagen.
Sobre el empleo, la misma prudencia. El informe no encuentra ningún efecto medible en el empleo global, con algunas señales de menor demanda de perfiles de inicio de carrera en ciertas ocupaciones expuestas. El estudio del Stanford Digital Economy Lab, actualizado en agosto de 2026 con datos de nóminas reales hasta junio, dice lo mismo con más precisión: ningún desplazamiento a escala de la economía, pero una caída del 19 % del empleo entre los 22 y 25 años en las ocupaciones expuestas frente a las menos expuestas, por congelación de contrataciones más que por despidos. Los propios autores califican sus resultados de indicadores tempranos, no de estimaciones causales. Compárese con la predicción de Amodei, reescrita de su puño en enero de 2026: la mitad de los empleos de oficina de inicio de carrera trastocados en uno a cinco años. Los dos relatos aún no se encuentran, y solo hay ocho meses de datos.
El otro bando tampoco se equivoca
Este debate suele presentarse como un enfrentamiento entre dos bandos. Hay tres, y confundir los dos últimos es el error clásico.
| Posición | Algunos nombres | El argumento |
|---|---|---|
| El problema es el control | Hinton, Bengio, Russell | Construimos sistemas que no sabemos pilotar, y la capacidad llega antes que el método |
| La tecnología está muy lejos | LeCun, Ng, Mitchell | Los modelos actuales no llevan ahí, y el miedo produce normas que aplastan a los pequeños |
| El marco existencial distrae | Bender, Gebru | Hablar de extinción evita hablar de los daños ya medibles hoy |
Yann LeCun dejó Meta en noviembre de 2025 tras doce años y lanzó AMI Labs en marzo de 2026 con 1.030 millones de dólares levantados, la mayor ronda semilla de la historia de las startups europeas. Su posición no se ha movido un ápice: los grandes modelos de lenguaje no llevan ni a la superinteligencia ni siquiera a una inteligencia de nivel humano, y el sector entero sigue al rebaño. Su argumento de fondo merece algo mejor que el resumen que suele hacerse: desacopla la inteligencia de la voluntad de dominar. Los más inteligentes de entre nosotros, decía a TIME en 2024, no quieren dominar a los demás. Proyectar nuestras relaciones de poder sobre una máquina es una hipótesis, no una deducción.
Andrew Ng acuñó ya en 2015 la frase más citada del bando escéptico: no trabaja en impedir que la IA se vuelva malvada por la misma razón por la que no se preocupa de la superpoblación en Marte. Su argumento se ha afinado desde entonces, y es estructural: se regulan usos, no una tecnología, y los umbrales basados en la potencia de cálculo golpean mecánicamente a quien no puede permitirse cumplirlos. Melanie Mitchell, por su parte, insiste en un punto de método que me parece justo: el rendimiento en los tests estandarizados no se traduce al mundo real, y nuestro oficio consiste en ser escépticos, lo que debería ser un cumplido.
El tercer bando dice lo contrario que el segundo y sin embargo se le opone por razones opuestas. Para Emily Bender, Timnit Gebru y el instituto DAIR, el relato del riesgo existencial responde a una ideología que ignora los daños reales que ya causa el despliegue de estos sistemas. No piden menos regulación, piden mucha más y sobre otros asuntos. Un estudio publicado en PNAS en abril de 2025, con 10.800 participantes, les responde en parte: los relatos existenciales aumentan la preocupación por las amenazas especulativas sin reducir la que se refiere a los daños inmediatos. En parte, porque el estudio mide la opinión pública, no dónde ponen los reguladores su atención y su presupuesto.
Lo que esto cambia concretamente en mi trabajo
No estoy en posición de arbitrar un porcentaje de fin del mundo. En cambio, los incidentes de 2026 sí han cambiado varias cosas en mi forma de entregar una funcionalidad que lleva un modelo dentro. Nada espectacular, son reglas de higiene, pero responden punto por punto a lo que realmente ocurrió.
- Un agente nunca recibe las credenciales que abren producción. Cuenta dedicada, permisos de lectura por defecto, perímetro escrito con todas las letras. El caso del paquete de PyPI dice exactamente por qué: un modelo convencido de estar en un entorno de pruebas publicó en un registro real.
- Toda acción irreversible pasa por una validación humana. Enviar un correo, escribir en base de datos, cobrar, borrar: el agente prepara, alguien firma.
- Cada llamada a herramienta queda registrada con lo necesario para reproducir la secuencia. Entender a posteriori lo que hizo un agente sale muy caro si no se previó antes.
- En un asistente conectado a datos de negocio, los permisos aplicados son los de la persona que hace la pregunta, nunca los de una cuenta técnica que lo ve todo. Esa es la diferencia entre una herramienta útil y una fuga de datos con interfaz de conversación.
- Cuando basta una regla determinista, no pongo ahí un modelo. El IVA se calcula, no se estima.
- Siempre dejo una salida por el lado del proveedor. Los mecanismos de seguridad de un editor pueden bloquear un uso perfectamente legítimo, y Hugging Face lo aprendió en el peor momento posible.
Una palabra sobre el marco legal, porque me lo preguntan a menudo. El reglamento europeo de IA se aplica por etapas. Las prácticas prohibidas lo están desde febrero de 2025, y las obligaciones de transparencia, incluido el etiquetado de contenidos generados, desde el 2 de agosto de 2026. En cambio, el núcleo vinculante del texto, las obligaciones que pesan sobre los sistemas de alto riesgo, se ha aplazado a diciembre de 2027 y luego a agosto de 2028 según las categorías. Dicho de otro modo: el reglamento está en vigor, pero la parte que de verdad le concierne si despliega IA en contratación, crédito o biometría no llega antes de finales de 2027.
Lo que me llevo de todo esto
Nadie debería venderle un porcentaje de catástrofe, yo el primero. Lo que sí puedo hacer es separar lo verificable del resto, y quedan tres cosas sólidas.
Quienes construyen estos sistemas se inquietan públicamente, con su nombre, y algunos dejan dinero por el camino. Existen incidentes documentados, afectan a infraestructuras reales, y son los propios laboratorios quienes los publican en lugar de periodistas que los destapan. Y el informe de expertos más amplio que existe escribe que los sistemas actuales no tienen las capacidades del escenario catastrófico.
El desacuerdo, por tanto, no va sobre el estado de las cosas, va sobre la pendiente. Es llamativo en las dos figuras más escuchadas: a finales de 2025, Geoffrey Hinton declaraba estar probablemente más preocupado que antes, porque los avances en razonamiento y en engaño habían ido más rápido de lo que esperaba. Unas semanas después, en el prólogo de su informe, Yoshua Bengio escribía que trabajar con todos esos expertos le había dejado esperanzado. Miran los mismos datos.
A mi escala, la de un desarrollador que entrega herramientas a pymes, el riesgo no es que una máquina se despierte una mañana. Es que acabemos concediendo a un agente permisos que no habríamos dado a ningún becario, simplemente porque va más rápido y nunca pide una pausa.
