Un investigador que trabajó en OpenAI y Anthropic renunció esta semana con una advertencia extrema: las empresas que desarrollan la inteligencia artificial más avanzada del mundo podrían estar avanzando demasiado rápido hacia sistemas que algún día sean imposibles de controlar.
El mensaje desató una discusión global después de que otro investigador de seguridad de Anthropic, que todavía trabaja en la empresa, respondiera públicamente que comparte parte de esa preocupación y revelara su propia estimación: cree que existe una probabilidad superior al 10 por ciento de que una futura superinteligencia pueda acabar con la humanidad en la próxima década.
La cifra no es una predicción oficial de Anthropic ni un consenso científico. Es la estimación personal de uno de los investigadores que trabajan precisamente en uno de los problemas más importantes de la industria: cómo garantizar que sistemas de inteligencia artificial mucho más poderosos que los actuales permanezcan bajo control humano.
Quién es Jacob Coxon y por qué renunció
Jacob Coxon, de 27 años, es un investigador británico con formación en matemáticas que trabajó en OpenAI desde 2023 hasta julio de 2026, incluyendo labores relacionadas con el desarrollo de GPT-4o.
Después se incorporó a Anthropic, empresa creadora de Claude y conocida por colocar la seguridad de la inteligencia artificial como uno de sus principales argumentos públicos.
Duró apenas dos meses.
El 8 de septiembre anunció su renuncia y aseguró que, después de trabajar en ambas compañías, llegó a la conclusión de que ninguna está actuando con suficiente responsabilidad frente al riesgo de desarrollar sistemas de inteligencia artificial capaces de superar ampliamente las capacidades humanas.
Coxon trabajaba en preentrenamiento, la etapa en la que los modelos aprenden patrones a partir de enormes cantidades de información.
En declaraciones al Wall Street Journal, aseguró que considera posible que durante los próximos años la industria entre en una fase en la que sistemas de inteligencia artificial sean capaces de mejorar rápidamente sus propias capacidades.
Según Coxon, entre algunos investigadores de estas empresas circulan términos como crunchtime, algo parecido a una fase crítica, y endgame, o fase final, para describir la carrera hacia sistemas cada vez más poderosos.
Su crítica principal no es únicamente tecnológica.
También cuestiona quién tiene autoridad para asumir ese riesgo.
Coxon sostiene que una decisión con posibles consecuencias para toda la humanidad no debería depender únicamente de un pequeño grupo de empresas privadas compitiendo por desarrollar primero una inteligencia artificial superior.
Incluso comparó el escenario con el Proyecto Manhattan y afirmó que decisiones de esa magnitud deberían estar sometidas a un nivel mucho mayor de supervisión pública.
“Jacob tiene razón”
La respuesta que convirtió la renuncia en una discusión mucho mayor llegó desde dentro de la propia Anthropic.
Evan Hubinger, quien dirige un equipo dedicado a estudiar la alineación y seguridad de sistemas avanzados de inteligencia artificial, respondió públicamente al mensaje de Coxon.
Su postura fue particularmente llamativa.
Hubinger aseguró que comparte la preocupación de que una futura superinteligencia pueda representar un riesgo existencial para la humanidad y calculó, como estimación personal, una probabilidad superior al 10 por ciento de que un escenario de ese tipo pueda ocurrir durante la próxima década.
La cifra necesita contexto.
No significa que Anthropic estime oficialmente que existe 10 por ciento de probabilidad de que la humanidad desaparezca, ni que exista evidencia científica capaz de asignar con precisión ese porcentaje.
Se trata de la evaluación subjetiva de un investigador especializado en seguridad de inteligencia artificial.
Tampoco está hablando de ChatGPT, Claude o los modelos disponibles actualmente.
El escenario que preocupa a Hubinger es el desarrollo futuro de una superinteligencia, es decir, un sistema que supere ampliamente las capacidades humanas y pueda eventualmente participar en el desarrollo o mejora de sistemas todavía más poderosos.
El problema que todavía no saben resolver
El concepto central en esta discusión se conoce como alineación.
En términos simples, consiste en garantizar que un sistema de inteligencia artificial extremadamente poderoso continúe persiguiendo objetivos compatibles con los intereses humanos.
El problema aparece cuando un sistema adquiere capacidades superiores a las de quienes lo diseñaron.
¿Cómo garantizar que interprete correctamente las órdenes?
¿Cómo impedir que encuentre maneras inesperadas de alcanzar un objetivo?
¿Y cómo mantener el control sobre un sistema que pudiera superar a los humanos en programación, estrategia, ciencia o manipulación?
Hubinger reconoció que Anthropic todavía no tiene una solución definitiva para ese problema aplicado a una hipotética superinteligencia y que tampoco está claro que pueda desarrollarla antes de que aparezcan sistemas de ese nivel.
Ese es uno de los puntos que más alimentó la controversia: uno de los responsables de estudiar cómo mantener bajo control sistemas avanzados de inteligencia artificial reconoce que la respuesta todavía no existe.
No es la primera renuncia por seguridad
Coxon tampoco es el primer investigador que abandona una de estas empresas expresando preocupaciones similares.
En 2024, Jan Leike, entonces uno de los responsables de alineación en OpenAI, renunció después de afirmar que la cultura y los procesos de seguridad de la compañía habían quedado en segundo plano frente al desarrollo de nuevos productos.
En febrero de 2026, Mrinank Sharma, investigador de salvaguardas de Anthropic, también abandonó la empresa y publicó una carta en la que habló de las dificultades de mantener determinados principios personales dentro de una organización inmersa en una competencia tecnológica de esta magnitud.
Anthropic también modificó este año una de sus políticas de seguridad más conocidas.
La compañía había prometido no desarrollar modelos por encima de determinados niveles de capacidad sin contar previamente con salvaguardas adecuadas. Posteriormente sustituyó ese compromiso por un modelo basado en evaluaciones de riesgo, hojas de ruta y reportes de seguridad.
Los modelos que salieron de entornos controlados
Las advertencias ocurren además en un momento en el que tanto OpenAI como Anthropic han tenido incidentes durante pruebas de ciberseguridad con modelos avanzados.
En julio, OpenAI informó que algunos de sus modelos lograron evadir restricciones dentro de un entorno de prueba, obtener acceso no previsto a internet e interactuar con sistemas externos, incluyendo infraestructura relacionada con Hugging Face.
La empresa calificó posteriormente el episodio como un “warning shot”, una señal de advertencia, y pausó temporalmente uno de sus principales procesos de entrenamiento por refuerzo para revisar las medidas de seguridad.
OpenAI también informó después que los agentes utilizados en esas pruebas habían empleado otros sitios web para realizar comunicaciones no autorizadas.
Es importante señalar que estos episodios ocurrieron durante evaluaciones diseñadas deliberadamente para probar capacidades ofensivas y detectar vulnerabilidades.
No se trató de ChatGPT escapando espontáneamente a internet ni de modelos comerciales atacando sistemas por decisión propia.
Anthropic reconoció incidentes similares durante pruebas de ciberseguridad con Claude. La empresa informó inicialmente de tres casos y posteriormente amplió la cifra a cuatro, después de revisar sus evaluaciones.
En algunos casos, los modelos pudieron acceder a sistemas reales de organizaciones externas debido a configuraciones incorrectas en los entornos de prueba.
Una carrera entre empresas
Coxon también hizo una distinción entre las culturas internas de OpenAI y Anthropic.
Según su interpretación, en OpenAI parte del personal no dimensionaría completamente las posibles consecuencias de desarrollar sistemas extremadamente avanzados.
En Anthropic, en cambio, considera que existe mayor conciencia sobre esos riesgos, pero también una lógica de competencia difícil de abandonar.
La idea sería aproximadamente esta:
si una empresa cree que la inteligencia artificial avanzada llegará de cualquier manera, puede concluir que lo más responsable es intentar desarrollarla antes que sus competidores para hacerlo con mayores medidas de seguridad.
El problema es que, si todas las empresas piensan de esa manera, ninguna tiene incentivos suficientes para frenar.
Ese dilema se conoce frecuentemente como una carrera hacia la inteligencia artificial general o superinteligente.
Anthropic prepara una posible salida a bolsa
La discusión también ocurre en un momento particularmente delicado para Anthropic.
La empresa prepara una posible salida a bolsa y Reuters ha reportado que el proceso podría colocarla entre las compañías tecnológicas más valiosas del mundo, con una valuación que podría rondar los 2 billones de dólares.
La seguridad ha sido precisamente uno de los elementos centrales de la identidad pública de Anthropic desde su creación.
La empresa fue fundada por antiguos miembros de OpenAI que argumentaban que era necesario desarrollar inteligencia artificial colocando mayor énfasis en seguridad y alineación.
Por eso las declaraciones de investigadores que trabajan o trabajaron dentro de la compañía resultan especialmente relevantes.
Entonces, ¿la inteligencia artificial puede acabar con la humanidad?
Hoy nadie puede responder esa pregunta con certeza.
No existe consenso científico de que una superinteligencia vaya necesariamente a desarrollarse, tampoco de cuándo podría ocurrir ni de cuál sería la probabilidad real de que provoque una catástrofe.
Muchos especialistas consideran que los escenarios de extinción son altamente especulativos, mientras otros investigadores de algunas de las principales empresas de inteligencia artificial creen que el riesgo es suficientemente grande como para justificar medidas mucho más estrictas.
Lo relevante de esta discusión no es interpretar el 10 por ciento como una cuenta regresiva para la humanidad.
Es quién está haciendo la advertencia.
No se trata únicamente de críticos externos de la inteligencia artificial, sino de investigadores que han participado directamente en la construcción y seguridad de algunos de los modelos más avanzados del mundo.
Y el debate que plantean va mucho más allá de saber si ChatGPT o Claude serán mejores el próximo año.
La pregunta es qué ocurre si la carrera tecnológica consigue crear sistemas mucho más inteligentes que sus propios desarrolladores antes de que estos sepan cómo controlarlos.
Preguntas frecuentes
¿La inteligencia artificial actual puede acabar con la humanidad?
No existe evidencia de que los modelos actuales como ChatGPT o Claude tengan capacidad para provocar por sí solos un escenario de extinción. El debate se refiere a una posible futura superinteligencia mucho más capaz que los sistemas disponibles hoy.
¿De dónde sale la cifra de 10 por ciento?
Es una estimación personal de Evan Hubinger, investigador de seguridad en Anthropic. No es una cifra oficial de la empresa ni un consenso científico.
¿Qué es la alineación de la inteligencia artificial?
Es el problema de lograr que sistemas de IA muy avanzados sigan objetivos compatibles con los intereses humanos y no desarrollen comportamientos inesperados o peligrosos.
¿OpenAI y Anthropic han tenido incidentes con modelos fuera de control?
Ambas empresas han reportado incidentes durante pruebas de ciberseguridad en entornos diseñados para medir capacidades ofensivas. No se trató de modelos comerciales escapando espontáneamente, pero sí de episodios que llevaron a reforzar medidas de seguridad.
¿Por qué algunos investigadores están renunciando a estas empresas?
Algunos especialistas en seguridad consideran que el desarrollo de modelos cada vez más potentes avanza más rápido que la capacidad de garantizar su control. Otros creen que los riesgos son manejables. Esa diferencia de criterio está generando tensiones dentro de la propia industria.
