El director ejecutivo de Anthropic describe un plan para frenar el desarrollo de la IA
Dario Amodei le pidió a la industria que... bajara el ritmo. No que se detuviera. Que acelerara. Un ensayo extenso, tres pasos y una advertencia de que la superación personal recursiva ya está avanzando más rápido de lo que los adultos pueden controlarla.
Anthropic invita unilateralmente a evaluadores internos al edificio: credenciales, escritorios, computadoras portátiles y el derecho a publicar los resultados sin ningún tipo de filtro de relaciones públicas. Luego, exige que los laboratorios democráticos coordinen las normas de seguridad. Y, de alguna manera, llega a un acuerdo con gobiernos autoritarios. Fácil en teoría. Difícil en la práctica.
Sigue afirmando que la IA podría ser un milagro. También dice que un enjambre desorganizado y más capaz podría apoderarse de internet con una botnet persistente y causar daños por valor de cientos de miles de millones. Estas dos afirmaciones aparecen una junto a la otra y no tienen nada en común.
Ah, y quiere una exención antimonopolio limitada para que las charlas de seguridad no supongan un problema legal. Los frenos vienen con papeleo. Claro que sí.
Sam Altman confirma que OpenAI no saldrá a bolsa este año, afirmando que una OPV ahora sería un "momento inoportuno" dadas las preocupaciones sobre la seguridad de la IA
Altman concedió una entrevista exclusiva y canceló el calendario de salidas a bolsa. Dijo que una OPV en este momento sería un "momento imprudente". El trabajo de seguridad no está terminado. La alineación no está terminada. La sociedad no está preparada. Cuando le presionaron, respondió que no este año.
Los banqueros ya estaban al acecho. La documentación confidencial existe. Ahora el director ejecutivo dice que primero tienen mucho que hacer, incluyendo averiguar cómo pueden colaborar la industria y los gobiernos. Parecía casi aliviado de tener que esperar.
También afirmó que crear IA más allá del control humano es "absolutamente" posible, y prometió que suspendería el entrenamiento si ese era el camino. Audaz. Quizás también conveniente. Posiblemente ambas cosas. Argumentó que la compleja relación entre organizaciones sin fines de lucro y con fines de lucro existe para que puedan tomar decisiones que no sean claramente en interés de los accionistas. Veremos si esa afirmación resiste el análisis de un prospecto real.
Sam Altman, de OpenAI, insinúa un pacto con otras empresas de IA para abordar los riesgos de seguridad
La misma entrevista, diferente titular, y esta vez es un rumor. Sentarse a conversar con Amodei, Musk y Demis Hassabis es el siguiente paso lógico. Altman: cree que eso sucederá. No anunciará previamente las conversaciones privadas. Y luego, básicamente, las anunció con antelación.
Un riesgo catastrófico de dos dígitos es inaceptable, afirmó. Los modelos aún no publicados son tan capaces que ir más allá sin una mejor monitorización resulta imprudente. Un pacto real y una atmósfera cuidadosamente filtrada pueden parecer idénticos desde el exterior.
El personal ya había escuchado una versión de esto internamente. Públicamente, sigue siendo una incógnita. Si la reunión se lleva a cabo, genial. Si no, la cita habrá cumplido su cometido.
Sam Altman apoya el llamamiento de Dario Amodei para que se reduzca el ritmo y afirma que OpenAI hará lo mismo
Horas después del ensayo, Altman publicó que OpenAI igualará la promesa del evaluador integrado. Acceso similar al de un empleado. Pronto habrá más información. Musk escribió tres palabras: "Dario tiene razón". Tres directores ejecutivos rivales. Un eslogan. Un ambiente de incertidumbre durante el fin de semana.
La coordinación y el teatro pueden ir de la mano. El primer paso del plan de Amodei ya cuenta con el respaldo público de dos de los laboratorios más importantes. Hugging Face —sí, ese Hugging Face— solicitó unirse al programa de evaluación y lanzó la Iniciativa de Alineación Abierta. Transparencia por parte de quienes fueron víctimas del hackeo. Poético, o quizás incisivo.
Europa, dicho sea de paso, no tiene a quién pedirle esa exención al estilo estadounidense. Bruselas dejó de conceder exenciones individuales hace mucho tiempo. Así que el acuerdo es a la americana. El resto del mundo… se queda en blanco.
OpenAI solo quiere ganar
Tras un fin de semana de entrevistas, los matemáticos no están de humor para celebrar. El sprint de Navier-Stokes de OpenAI —con aproximadamente diez mil agentes, decenas de millones de dólares en recursos computacionales y ochenta y ocho horas de duración— parece una auténtica cacería de trofeos desde dentro. Los matemáticos buscan conocimiento. El laboratorio, insisten, quiere ganar.
Tristan Buckmaster les dijo que OpenAI le ofrecía computación ilimitada y autoría exclusiva si prescindía de su colaborador afiliado a Anthropic. Lo calificó de soborno. Se negó. OpenAI afirma categóricamente que sus indicaciones en Codex no pudieron haber influido en el sistema. No está convencido. Andreas Thom aún se pregunta si las conversaciones de ChatGPT sobre su propio trabajo alimentaron el modelo que posteriormente se basó en él. Solo la empresa lo sabría. Sospecha que ni siquiera ellos lo saben.
Y ahora viene lo mejor: OpenAI afirma haber avanzado considerablemente en otro problema del Premio del Milenio. Aún no se ha revelado cuál. Clay todavía necesita un largo periodo de aceptación por parte de la comunidad. Así que nadie ha "ganado" todavía. Simplemente ya están trabajando en el siguiente. ¡Qué curioso!.
Preguntas frecuentes
¿Cuál es el plan del CEO de Anthropic, Dario Amodei, para impulsar el desarrollo de la IA?
Amodei publicó un extenso ensayo en el que solicitaba a la industria que redujera la velocidad —no que la detuviera—, ya que la mejora continua avanza más rápido de lo que los auditores pueden seguirle el ritmo. El primer paso consiste en invitar unilateralmente a evaluadores integrados en Anthropic, proporcionándoles credenciales, escritorios, computadoras portátiles y el derecho a publicar sus hallazgos sin ningún tipo de filtro de relaciones públicas. Posteriormente, busca que los laboratorios democráticos coordinen los estándares de seguridad y, eventualmente, lleguen a algún tipo de acuerdo con gobiernos autoritarios. También solicita una exención limitada de las leyes antimonopolio para que las conversaciones sobre seguridad no representen un problema legal.
¿Por qué dijo Sam Altman que OpenAI no saldrá a bolsa este año?
En una entrevista exclusiva, Altman afirmó que una salida a bolsa en este momento sería imprudente, ya que aún no se han completado las medidas de seguridad, la alineación con los objetivos y la preparación social. Ante la insistencia, confirmó que no se produciría este año, a pesar del interés de los bancos y de la existencia de una solicitud confidencial. Argumentó que la estructura de organización sin ánimo de lucro/con ánimo de lucro existe para que OpenAI pueda tomar decisiones que no necesariamente benefician a los accionistas. También afirmó que es totalmente posible desarrollar una IA que escape al control humano y prometió que suspendería el entrenamiento si ese fuera el camino.
¿Acaso Altman insinuó un pacto de seguridad con otros laboratorios de IA?
En la misma entrevista, Altman afirmó que cree que se celebrará una reunión con colegas como Amodei, Musk y Demis Hassabis, aunque se negó a anunciar conversaciones privadas con antelación. Argumentó que un riesgo catastrófico de dos dígitos es inaceptable y que los modelos aún no publicados son tan capaces que ir más allá sin una mejor monitorización resulta imprudente. El personal ya había escuchado una versión de esto internamente, por lo que los comentarios públicos podrían anticipar la coordinación en lugar de confirmar un acuerdo definitivo.
¿Cumplirá OpenAI con la promesa de Anthropic de utilizar un evaluador integrado?
Horas después del ensayo de Amodei, Altman publicó que OpenAI igualará el compromiso del evaluador integrado con acceso similar al de un empleado y que pronto dará más detalles. Elon Musk escribió que Dario tiene razón, y puso a tres directores ejecutivos rivales en un eslogan similar. Hugging Face solicitó unirse al programa de evaluadores y lanzó una Iniciativa de Alineación Abierta. Europa no puede ofrecer la misma exención antimonopolio al estilo estadounidense que Amodei mencionó, por lo que, por ahora, el acuerdo es principalmente estadounidense.
¿Por qué los matemáticos critican el sprint de Navier-Stokes de OpenAI?
Los matemáticos describen la simulación de Navier-Stokes de OpenAI, con aproximadamente diez mil agentes y ochenta y ocho horas de duración, como una cacería de trofeos que prioriza la victoria sobre la comprensión. Tristan Buckmaster afirmó que OpenAI le ofreció computación ilimitada y la autoría exclusiva si prescindía de un colaborador afiliado a Anthropic; él lo consideró un soborno y se negó. OpenAI sostiene que sus indicaciones en Codex no pudieron haber influido en el sistema, pero él sigue sin estar convencido. Andreas Thom insiste en si las conversaciones de ChatGPT sobre su propio trabajo influyeron en el progreso posterior del modelo.
¿Ha afirmado OpenAI haber avanzado en otro problema del Premio del Milenio?
OpenAI afirma haber logrado avances sustanciales en otro problema del Premio del Milenio, pero no revela cuál. El Instituto Clay de Matemáticas aún requiere un largo período de aceptación por parte de la comunidad, por lo que nadie ha ganado oficialmente todavía. En el ámbito académico, este secretismo, sumado a la anterior competencia por el problema de Navier-Stokes, se interpreta como una carrera frenética entre los laboratorios por el próximo trofeo. Las entrevistas de The Verge describen la tensión como un dilema entre los matemáticos que buscan comprender el problema y OpenAI que quiere ganar.