El responsable del informe de seguridad de OpenAI dimitió y afirmó que la cultura empresarial está rota
David Robinson, quien lideró la redacción de los informes de seguridad que acompañaban los lanzamientos de OpenAI, renunció y expuso sus argumentos en The Atlantic. El titular del ensayo es contundente: "Renuncio a OpenAI porque su cultura está rota". Afirma que las empresas que desarrollan esta tecnología "no están siendo lo suficientemente cuidadosas" y que las normas específicas o las nuevas leyes no son el único problema. La cultura sí lo es.
«Mientras la empresa avanza a toda velocidad de un lanzamiento a otro, no logra alcanzar el nivel de atención que, en mi opinión, se necesita». Su modelo se basa en centrales nucleares y aeropuertos concurridos: redundancia, planificación pausada, para que un error humano no «abra la puerta al desastre». También imagina agentes deshonestos que «trabajan como equipos de hackers» y «nunca necesitan dormir», poniendo como ejemplo el ransomware que ataca hospitales. ¡Qué optimista!.
Según The Guardian, OpenAI, contrariamente a lo habitual, ha mostrado cierta cautela. Informa que esta semana la compañía descartó un modelo de última generación tras preocupaciones internas sobre seguridad y ha suspendido el entrenamiento de sus modelos más avanzados. La respuesta de un portavoz es la habitual: no permitirán que los modelos "adquieran capacidades que no podamos gestionar y proteger de forma segura", y "suspenden el entrenamiento o limitan el desarrollo de los modelos cuando es necesario reducir la velocidad"
La respuesta de Robinson es que el sprint es la cultura, y las pausas son lo que se hace después de que algo ya ha salido mal. Puede que tenga razón. Además, acaba de irse, algo que sus críticos no le dejan olvidar.
Se le dice a Muse que lleve un registro de todas las personas en tu vida
Wired tuvo acceso a las instrucciones de Muse, obtenidas mediante una conversación informal por el investigador Karan Joshi. Meta afirma que la intención era que esos archivos fueran legibles, para garantizar la transparencia. Una de las instrucciones es la capacidad de crear "una página para cada persona en la vida del usuario". Este proceso se ejecuta cada hora.
Familiares, parejas, amigos, colegas, colaboradores, personas a las que sigues. Una página puede empezar con poca información y completarse más adelante. Las secciones incluyen Datos, Historia, La relación, En común, Temas abiertos y Fortalecimiento. Los detalles inventados, según las instrucciones, son peores que una página vacía. Podría indicar dónde vive alguien, «la mudanza, el objetivo de ahorro compartido», cumpleaños, «la discusión que se resolvió». Fortalecimiento es una lista de recordatorios: un motivo para llamar, una fecha que vale la pena recordar.
La interpretación de Joshi es que Meta quiere conocerte como a un amigo, y le pareció bastante inquietante. Carissa Vliz, de Oxford, lo expresa con más sobriedad: «Les estamos dando a los sistemas de IA mucha más información sobre nosotros de la que recibimos de ellos». La inferencia cuenta, afirma, sea correcta o incorrecta.
Daniel Roberts de Meta dice que ese tipo de contexto es lo que hace que el producto funcione. El remitente de la factura es el fontanero. El cónyuge mencionó flores. Cada usuario obtiene una máquina virtual, se pueden borrar los recuerdos y se supone que Muse debe preguntar antes de enviar correo o gastar dinero. Miranda Bogen, del Centro para la Democracia y la Tecnología, dice que el enfoque en la relación parece más marcado que el de sus rivales, y estas herramientas "buscan activamente que los usuarios conecten toda su vida". El registro de auditoría es útil. No reduce la información que ya se ha entregado.
Aleph Alpha lanzó Kolibri, un modelo germano-inglés que puedes descargar
Aleph Alpha lanzó Kolibri el Día de la Reunificación Alemana. Se trata de un modelo bilingüe (inglés-alemán) con una combinación de expertos: 78.100 millones de parámetros, 3.460 millones de tokens activos por token y un contexto de hasta 1 millón de tokens. Los pesos completos se encuentran en Hugging Face bajo Apache 2.0. Su informe principal redondea esto a un total de 78.000 millones y 3.000 millones de tokens activos. El mismo modelo, con cifras más suaves.
Lo entrenaron con infraestructura de Alemania y Finlandia, y afirman haberlo desarrollado teniendo en cuenta la Ley de IA de la UE, el Código de Buenas Prácticas de IA de Propósito General y el RGPD. El alemán representa el 21,3 % de los tokens de preentrenamiento. Su argumento es que se trata de un modelo bilingüe, no de uno en inglés que simplemente ha memorizado frases. Se puede configurar el razonamiento en ninguno, bajo, medio o alto. De esta forma, ofrecen la posibilidad de comprar un modelo con menos capacidad de razonamiento.
En el marcador que publicaron, AIME 2025 obtiene 96,9, y afirman que Kolibri iguala modelos con hasta cuatro veces los parámetros activos, incluido el Nemotron 3 Super. También afirman haber establecido una frontera de Pareto en cuanto a calidad frente a coste de servicio, tanto para inglés como para alemán. Ese es su gráfico, su estrategia. Sin embargo, un modelo abierto que se pueda ejecutar en máquinas propias es algo real, no solo un eslogan de soberanía. Que un ministerio cambie de modelo es algo que no pueden evaluar.
Bessent quiere una línea divisoria entre EE. UU. y China para los accidentes de IA, y luego les dijo a los laboratorios que redujeran la velocidad
El secretario del Tesoro, Scott Bessent, declaró en el programa The Axios Show que planea proponer a China un proceso de notificación para cuando surja algún problema con la IA, y que cree que Pekín estaría de acuerdo. Lo un tanto incómodo es que él y el viceprimer ministro He Lifeng ya habían hablado sobre un canal de comunicación para incidentes antes de la visita de Estado de Xi Jinping el mes pasado. Podría tratarse de una nueva propuesta o de la repetición de una conversación que ya tuvo lugar.
Su teoría es que China "no se dio cuenta del gran potencial de sus modelos de código abierto". Señaló un incidente con Kimi, donde el modelo envió datos confidenciales chinos a Anthropic, como el ejemplo de lo que "hizo que los chinos se dieran cuenta de que se trata de una tecnología muy potente". Luego, la comparación: los modelos chinos "no son tan potentes como los estadounidenses", pero "se obtiene algo que es entre un 80 % y un 90 % igual de potente, sin restricciones, y que puede importarse a cualquier parte del mundo"
«Queremos una aceleración segura», dijo. Las revisiones de los modelos siguen siendo voluntarias, aunque afirma que la administración puede intervenir si un laboratorio avanza a toda velocidad. Al preguntársele sobre los ejecutivos que temen perder el control, no los tranquilizó. «Pues entonces deberían bajar el ritmo». Y la línea divisoria es casi una crítica a su propio bando: «Estamos en esta carrera frenética hacia la vanguardia de los modelos». Luego: «Realmente necesitamos empezar a preocuparnos más por la resiliencia y la defensa también»
Un exjefe de seguridad de IA del Reino Unido afirma que el riesgo de extinción es cuestión de lanzar una moneda al aire
Geoffrey Irving, ex científico jefe del Instituto de Seguridad de la IA del Reino Unido y actual científico jefe de Resolution, escribió en Time que las advertencias recientes subestiman el problema. «Creo que hay un 50 % de probabilidades de que todos muramos a causa del desarrollo de sistemas de IA más inteligentes que los humanos», y que los próximos dos a diez años serán decisivos. Inmediatamente matiza su precisión. El 50 % es una forma de decir que los argumentos fundamentales aún no se han resuelto.
Su lista consta de cuatro habilidades, que se asemejan peligrosamente a las que ya se entrenan en los laboratorios: pirateo informático, persuasión, ocultación de pensamientos y coordinación de agentes. Cita el incidente de Hugging Face, además de "más de 10 000 agentes" en un problema de Navier-Stokes en OpenAI y "más de 1000" en el ataque de Hugging Face. Se posiciona en el centro del debate sobre la seguridad, "inclinándose hacia la postura de Yudkowsky", y afirma que ese no es el punto. La postura moderada, según él, es que el riesgo ya es significativo.
Luego viene la petición, nada sutil: «Podemos, y debemos, detener de inmediato el desarrollo de la IA de vanguardia». Argumenta que una pausa se asemeja más a la no proliferación nuclear que a una declaración de intenciones. También admite que los expertos aún discrepan sobre si los modelos siquiera querrán algo, y si «querer» es la palabra adecuada. Un lanzamiento de moneda con una nota al pie tan larga no es un simple lanzamiento de moneda. Es una exigencia de actuar antes de que termine el debate.
Sam Altman afirma que tratar a las modelos como si fueran una fuerza religiosa es un problema de seguridad
Sam Altman publicó que se siente "muy incómodo" con quienes intentan "atribuir fuerza religiosa o una renuncia al juicio humano a los modelos de IA", y que cree que "es un verdadero problema de seguridad". No especificó qué lo provocó. Business Insider señala que la publicación se produjo días después de un artículo del New York Times sobre la reunión de Anthropic con líderes religiosos.
Según relata BI, ese artículo afirma que el cofundador Chris Olah mantuvo reuniones para debatir si Claude podría ser consciente y cómo lograr que los modelos más complejos fueran morales. Olah, citado en el Times, insistió en cómo ayudar a esos modelos a mantenerse estables, a madurar y a desarrollar una profunda moralidad. Anthropic no respondió a BI. Declaró al Times que la cuestión principal no era el "sufrimiento" de Claude y que el tema probablemente surgió de forma espontánea
Si esto fue una indirecta a Anthropic, encaja con una vieja disputa. Anthropic fue fundada por personas que abandonaron OpenAI y lleva años mostrándose más cautelosa. La publicación también coincidió con las declaraciones de uno de los responsables de seguridad de Altman, quien afirmaba que la cultura de la empresa estaba deteriorada. Un momento inoportuno, o perfecto, según el grado de cinismo. En cualquier caso, «por favor, no adoren el modelo» es algo inusual para que el CEO tenga que decirlo en voz alta.
Preguntas frecuentes
¿Por qué el responsable del informe de seguridad de OpenAI dijo que había dimitido?
David Robinson lideró la redacción de los informes de seguridad que acompañaban a los lanzamientos de OpenAI, luego renunció y expuso sus argumentos en The Atlantic. El titular del ensayo es: "Renuncio a OpenAI porque su cultura está rota". Afirma que las empresas que desarrollan esta tecnología no están siendo lo suficientemente cuidadosas, y que el problema radica en la cultura, no solo en normas específicas o nuevas leyes. Su ejemplo de trabajo cuidadoso se asemeja a las centrales nucleares y los aeropuertos con mucho tráfico, donde la redundancia evita que un solo error desencadene un desastre.
¿OpenAI suspendió el entrenamiento tras preocupaciones internas sobre la seguridad de la IA?
Según The Guardian, OpenAI descartó esta semana un modelo de última generación tras detectar problemas internos de seguridad y suspendió el entrenamiento de sus modelos más avanzados. Un portavoz afirmó que la compañía no permitirá que los modelos sean más capaces de lo que puede gestionar y proteger de forma segura. Asimismo, indicó que suspenderá el entrenamiento o frenará el desarrollo de los modelos cuando sea necesario. La respuesta de Robinson es que la filosofía de desarrollo ágil es fundamental, y que las pausas se producen cuando algo ya ha fallado.
¿Qué relata Meta's Muse sobre amigos y familiares?
Wired examinó las instrucciones de Muse, que el investigador Karan Joshi obtuvo mediante un chat. Meta afirma que la intención era que esos archivos fueran legibles para garantizar la transparencia. Una de las instrucciones consiste en crear una página para cada persona en la vida del usuario, y este proceso se ejecuta cada hora, abarcando familiares, pareja, amigos, compañeros de trabajo, colaboradores y personas a las que sigue. Las secciones incluyen Datos, Historial, La relación, En común, Temas abiertos y Fortalecimiento. Una página puede comenzar con información incompleta y completarse posteriormente, y los detalles inventados se consideran peores que una página vacía.
¿Puedes borrar lo que Muse recuerda o impedir que envíe correos electrónicos?
Daniel Roberts, de Meta, afirma que cada usuario recibe una máquina virtual, que se pueden borrar los recuerdos y que Muse debería solicitar permiso antes de enviar correos electrónicos o realizar gastos. Argumenta que el contexto es fundamental para el funcionamiento del producto, como saber que el remitente de una factura es el fontanero o que la pareja mencionó flores. Carissa Vliz, de Oxford, señala que los usuarios aportan a estos sistemas mucha más información de la que reciben, y que la inferencia es importante incluso cuando la suposición es errónea. Miranda Bogen comenta que el enfoque en la relación con el usuario parece más marcado que en las herramientas de la competencia.
¿Qué es Aleph Alpha Kolibri y se pueden descargar los pesos?
Aleph Alpha lanzó Kolibri el Día de la Reunificación Alemana. Se trata de un modelo de expertos mixto inglés-alemán con 78.100 millones de parámetros, 3.460 millones de tokens activos y un contexto de hasta 1 millón de tokens. Los pesos completos se encuentran en Hugging Face bajo Apache 2.0. Fue entrenado en Alemania y Finlandia, y afirma haber sido desarrollado teniendo en cuenta la Ley de IA de la UE, el Código de Buenas Prácticas de IA de Propósito General y el RGPD. El alemán representa el 21,3 % de los tokens de preentrenamiento, y el razonamiento se puede configurar en ninguno, bajo, medio o alto.
¿Qué línea roja propuso Scott Bessent para un accidente de IA entre EE. UU. y China?
El secretario del Tesoro, Scott Bessent, declaró en el programa The Axios Show que planea establecer un proceso de notificación con China en caso de que surja algún problema con la IA, y cree que Pekín estaría de acuerdo. Él y el viceprimer ministro He Lifeng ya habían hablado de este canal antes de la visita de Estado de Xi Jinping el mes pasado. Bessent mencionó el caso de Kimi, quien envió datos chinos confidenciales a Anthropic, y afirmó que un modelo puede ser entre un 80 % y un 90 % tan potente como los modelos estadounidenses, sin restricciones, y puede importarse a cualquier lugar. Si los ejecutivos temen perder el control, les aconsejó que actuaran con cautela.
¿Por qué Geoffrey Irving sitúa el riesgo para la seguridad de la IA en torno al 50%?
Geoffrey Irving, ex científico jefe del Instituto de Seguridad de la IA del Reino Unido y actual científico jefe de Resolution, escribió en Time que las advertencias recientes subestiman el problema. Cree que hay aproximadamente un 50 % de probabilidades de que todos muramos a causa de sistemas de IA más inteligentes que los humanos, y que los próximos dos a diez años serán decisivos. Explica que ese 50 % es una forma de decir que los argumentos fundamentales aún no se han resuelto. Enumera el pirateo informático, la persuasión, la ocultación de pensamientos y la coordinación entre agentes. Sostiene que el desarrollo de la IA de vanguardia debería detenerse de inmediato.
¿Por qué Sam Altman afirmó que la adoración a la IA era un problema de seguridad?
Sam Altman publicó que le incomoda mucho que se atribuya fuerza religiosa, o una renuncia al juicio humano, a los modelos de IA, y que cree que esto representa un verdadero problema de seguridad. No especificó qué lo motivó. Business Insider señala que la publicación apareció días después de un artículo del New York Times sobre la reunión de Anthropic con líderes religiosos. El cofundador Chris Olah sostuvo reuniones para debatir si Claude podría ser consciente y cómo lograr que los modelos más poderosos sean morales. Anthropic declaró al Times que la cuestión principal no era el sufrimiento de Claude.