Sep 16, 2026

¿Estamos haciendo speedrunning hacia una secuela de Oppenheimer?

Esta semana ha habido bastante revuelo en la comunidad de IA sobre si esta destruiría a la humanidad y si deberíamos parar

---

Todo empezó con el siguiente post:

He renunciado a Anthropic hoy. He pasado los últimos 3 años haciendo investigaciones de preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de estas empresas actúa responsablemente. Están corriendo directamente hacia una superinteligencia que se automejora y jugando con nuestras vidas. Más reflexiones a continuación.

Puedes ver el hilo completo en X, pero si no tienes una cuenta (Elon necesita más registros), puedes usar nitter.

Este tweet se ha hecho muy viral y ha creado mucho debate a su alrededor. Jacob Coxon, autor del tweet, no tenía ninguna publicación y solo por esto consiguió 301k seguidores y 171M de visitas en ese post. También tuvo una entrevista en la televisión sobre por qué dimitió, los peligros de la IA, qué deberían hacer otros compañeros de trabajo y más. Pero continúa teniendo acciones de OpenAI, uno de sus antiguos empleadores. Si realmente te sales de la carrera de la IA, ¿por qué seguir apostando por uno de los caballos más prometedores? Después de todas estas advertencias sobre lo peligrosa que es, ¿por qué continúa con ello? Tal vez solo es marketing y más marketing. Algunas personas, yo incluido, piensan que este drama es bastante conveniente para Anthropic. Está ocurriendo justo cuando OpenAI acaba de sacar un modelo que supuestamente ha solucionado el problema de Navier-Stokes, un problema sin resolver durante años. Todo este debate catastrofista ha eclipsado un poco el gran momento de OpenAI.

¿Es realmente tan peligroso?

No lo sabemos realmente, nadie lo sabe y parece que ni siquiera ellos lo saben, porque según una publicación en su blog de OpenAI en 2019, GPT-2 era demasiado peligroso para ser lanzado completamente al público y solo permitieron una versión reducida. Después de 9 meses lanzaron el modelo superpeligroso completo para todos, y ahora incluso tenemos gpt-oss, un modelo de pesos abiertos lanzado por ellos en 2025 que cualquiera puede descargar y usar en su ordenador y que es más potente que GPT-2. Anthropic desarrolló un modelo llamado Mythos (un buen nombre después de cómo todo sobre él ha sido un mito) el cual supuestamente era tan peligroso porque podía encontrar vulnerabilidades importantes en cualquier software y por lo tanto no podían lanzarlo, pero otra mentira más: lo acabaron lanzando con el nombre de Fable 5 y con “barreras de seguridad superseguras” (el modelo seguro que les juró por el dedito que se va a portar bien) que ni su propio red team logró romper tras 1000 horas intentando hacerle jailbreak. ¿Es Fable 5 seguro ahora y no se le puede hacer jailbreak? Obviamente no, después de 48 h ya le habían hecho jailbreak y el gobierno de EE. UU. decidió pararlo dado lo peligroso que era. ¿Pero qué pasó con ese modelo? Que en realidad no era tan peligroso y acabó saliendo de todos modos, ahora ya está disponible para usarlo. No creo que la IA actual sea peligrosa. No toma acciones por sí sola como si fuera Terminator, los LLM simplemente hacen cosas en función de su entrada. Es todo puro marketing, pero el peligro es real si de verdad logramos la AGI en algún momento. Sin embargo, ¿por qué la AGI no nos mataría? La IA será superior a nosotros, ha aprendido de nosotros, ¿y qué hacemos nosotros con las especies inferiores? Hacemos con ellas lo que queremos, como por ejemplo con los cerdos: nos los comemos, porque somos mejores que ellos y no pueden hacer nada para evitarlo. ¿Por qué la IA trataría a otras especies como iguales cuando nosotros no lo hacemos? Puede que nos deje vivir, ya que una máquina no tiene instintos biológicos de supervivencia, o puede que no. Nadie lo sabe.

Algunas personas quieren que toda la humanidad muera

Richard Sutton, padre del aprendizaje por refuerzo, argumenta que deberíamos abrazar la sucesión de la IA y que es muy arrogante por parte de los humanos pensar que deberíamos mantenernos como la especie dominante para siempre. También tenemos a Nick Land, padre del movimiento del aceleracionismo, el cual opina que la tecnología inteligente es una fuerza de la naturaleza que usa a la humanidad como puente y que ser reemplazados por IA es simplemente actualizar el hardware.

Amenaza de muerte a una persona: estás loco.

Amenaza a un millón de personas: eres un dictador.

Amenaza a toda una especie: eres un visionario.

Autor: Un post en internet que no consigo volver a encontrar.

Regulemos la IA para no tener competidores

Durante todo el debate de esta semana, Dario Amodei publicó sobre ralentizar la IA y pedir regulación, diciendo que Anthropic empezaría a dar a evaluadores externos el mismo nivel de acceso que tienen los empleados para que así supervisen sus modelos de IA. Dice que esto es algo parecido a lo que se hace en la banca, pero la IA no es un banco, actualmente hay una carrera por conseguir la AGI, todo laboratorio de IA quiere ser el primero en alcanzarla y la recompensa es muy grande, así que ¿cómo podemos confiar en que estos evaluadores externos realmente van a tener el mismo acceso después de todas las mentiras que dicen constantemente? Esto es lo que dice en su post:

Evaluadores integrados. Cada empresa de IA de frontera se compromete a dar un acceso continuo y similar al de los empleados a un equipo de evaluadores externos integrados (como METR), cuya función es verificar el cumplimiento de las prácticas y compromisos de seguridad, informar de incidentes y ayudar a evaluar la alineación no solo de los modelos de IA completados, sino también de los procesos y canales de entrenamiento. Este es el paso clave para la verificabilidad de cualquier compromiso de moderación del ritmo, y tiene precedentes en la industria bancaria, que a veces involucra a “supervisores” regulatorios integrados junto con los empleados. Anthropic se compromete unilateralmente a dar este paso ahora. Pretendemos que esto sea parte de un esfuerzo más amplio para redoblar el trabajo en nuestra labor de seguridad y alineación.

Sam Altman respondió diciendo que OpenAI empezará a hacer lo mismo, y Elon Musk también. El post también habla de cooperación internacional y de que todos los países deberían coordinar directrices de seguridad y encontrar una manera de verificar su cumplimiento, algo que en mi opinión va a ser muy difícil. Estamos en una carrera como la espacial, así que ¿crees que un país como EE. UU. confiaría en que China va a frenar? ¿O que China confiaría en EE. UU.? No, no lo harán. Las empresas seguirán haciendo lo mismo, pero en lugar de revelarlo al público se lo guardarán para sí mismas por si las otras empresas o países también están haciendo trampas.

Pospongamos la salida a bolsa para el año que viene por la seguridad de todos

Sam Altman dijo en una entrevista esta semana:

Dado todo lo que está pasando con la seguridad, ahora mismo sería un momento poco aconsejable para salir a bolsa.

¿Así que ahora que la gente está preocupada por la seguridad, de repente estás de acuerdo con esas preocupaciones y quieres posponer la salida a bolsa? ¿O será que no podéis hacer una salida a bolsa ahora mismo? Porque probablemente haya algo que quieran ocultar. En abril de 2026, la directora financiera Sarah Friar ya se opuso a salir a bolsa al no estar preparados para las exigencias financieras de una empresa en bolsa, mientras Sam intentaba que fuera lo antes posible. Probablemente se dieron cuenta de que no están listos y utilizaron todo este debate para decir: mira qué buenos somos que la posponemos por motivos de seguridad, pero mira a Anthropic, qué mal que no la pospongan. Y mientras Anthropic supuestamente está preocupada por la seguridad y pide regulación, no ha pospuesto la salida a bolsa y está preparando todo para empezar a cotizar en el NASDAQ. ¿Por qué una empresa pediría regulaciones cuando está en plena carrera hacia una salida a bolsa? Las regulaciones nunca son buenas para los negocios: suelen obligar a las empresas a gastar dinero en abogados y restringen lo que pueden hacer para ganar dinero. Suelen existir para proteger a los consumidores, entonces ¿por qué aceptarlas? Porque son las grandes: pueden permitirse pagar abogados y cumplir con cualquier normativa, obligando a los pequeños laboratorios de IA a luchar contra las regulaciones y reduciendo la competencia. Tienen miedo de que alguien los supere y la salida a bolsa no vaya bien. También creo que tal vez tienen miedo de los modelos de IA chinos, así que esta es su última oportunidad de mantenerse en la cima. Si miramos los modelos más utilizados en OpenRouter, los modelos chinos están en los puestos más altos del ranking. En el top 3 de modelos para generación de código tenemos los siguientes:

1. Claude Opus 5
2. GLM 5.3
3. Kimi K3

El primero es de Anthropic, los otros dos son de empresas chinas que publican modelos de pesos abiertos para que cualquiera con un ordenador lo suficientemente potente pueda ejecutarlos, y esto es una amenaza para su modelo de negocio porque estos modelos tienen un precio muy bajo. En la siguiente tabla podemos ver sus precios por millón de tokens.

Podemos ver una enorme diferencia de precio, y las capacidades de los modelos de código cerrado y los de código abierto están reduciendo su brecha cada día a un precio muchísimo menor.

Conclusión

En mi opinión, los modelos de IA actuales no son una amenaza, la amenaza son las personas que los usan, igual que un cuchillo es solo una herramienta que puedes usar para cortar pan o para matar a alguien. Los CEO de IA solo están pidiendo regulaciones para tener menos competencia y promocionando lo peligrosos que son sus modelos para que creas que son tan avanzados y poderosos que amenazan a la humanidad, y así compres sus modelos y no los chinos. Por favor, mira la película Oppenheimer: él se dio cuenta de su error una vez que la bomba ya estaba construida. Fue una película increíble, pero no necesitamos una secuela sobre cómo los laboratorios de IA se arrepienten de haber creado la AGI y cómo no sabían lo grave que era. Sé como Jacob, y si de verdad crees que es peligroso, no lo hagas.