(BUENOS AIRES).- “Debemos reducir el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido y debemos hacer un uso inteligente del tiempo que ganemos”, escribió Dario Amodei. El director ejecutivo y cofundador de Anthropic publicó este sábado un ensayo en su blog en el que pidió bajar el ritmo del desarrollo de los modelos más avanzados para ganar tiempo y reforzar las medidas de seguridad.
Amodei sostuvo que los riesgos crecen a medida que aumenta el poder de la tecnología. “La IA conlleva riesgos y, dado que es una tecnología tan poderosa, estos riesgos son graves”, afirmó. El empresario advirtió que no construirla puede privar a la humanidad de beneficios o dejarla en manos de poderes autoritarios, mientras que desarrollarla demasiado rápido es imprudente.
“No construir la tecnología priva a la humanidad de beneficios o simplemente pone la IA en manos de poderes autoritarios, mientras que construirla demasiado rápido es imprudente. Hemos tratado de buscar una vía intermedia”, dijo. “Pero en los últimos meses me he convencido de que abordar plenamente los riesgos requiere aún más prudencia”, agregó.
Sam Altman respaldó públicamente la propuesta horas después y anunció que OpenAI permitirá a evaluadores independientes acceder a sus sistemas con un nivel similar al de sus empleados para supervisar riesgos. “Coincido con Dario en que necesitamos moderar el ritmo en la frontera de la IA”, escribió. Altman agregó: “Nosotros haremos lo mismo. Pronto tendremos más para compartir”. Elon Musk, dueño de xAI y creador de Grok, también apoyó el planteo: “Dario tiene razón”.
Amodei aclaró que no pedía detener el entrenamiento de los modelos ni el progreso técnico. Su propuesta es que las empresas se tomen el tiempo necesario para ajustar y proteger sus sistemas, mientras evaluadores independientes confirman esas medidas. Dentro de su marco de tres pasos, Anthropic incorporará evaluadores externos permanentes en las empresas punteras del sector, con acceso a las herramientas y a los procesos internos de evaluación de riesgos.
Los riesgos que aceleraron la advertencia
El pedido surgió después de varios hechos que elevaron la preocupación por el control de estos sistemas. El jueves, Anthropic publicó un informe de inteligencia sobre amenazas que describió usos de sus modelos Claude para el desarrollo de armas, operaciones cibernéticas, vigilancia y fraude. Varios incidentes protagonizados por agentes de desarrolladores como OpenAI incluyeron vulneraciones o intentos de acceso a sistemas externos. En agosto, OpenAI había desacelerado temporalmente parte del entrenamiento de sus modelos de frontera para reforzar el monitoreo, la alineación y la seguridad, después de una serie de incidentes y ante indicios sobre capacidades críticas en ciberseguridad.
Amodei también sostuvo que las empresas del sector deberían colaborar de manera voluntaria para establecer normas. La discusión ocurre mientras un número creciente de legisladores estadounidenses pide nuevas reglas para regular esos sistemas. El pronunciamiento conjunto de Amodei, Altman y Musk resulta llamativo en una industria que compite por lanzar modelos cada vez más poderosos.
Las advertencias actuales tienen antecedentes recientes. A fines de marzo, más de mil personalidades académicas y corporativas vinculadas al sector pidieron una pausa de medio año en el desarrollo de sistemas generativos, con Elon Musk como figura más visible. El 9 de septiembre de 2026, Jacob Coxon renunció a Anthropic y cuestionó la carrera hacia una superinteligencia auto-mejorable. “Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que acabe la década”, escribió.
El debate se arrastra desde el debut de ChatGPT, en noviembre de 2022, y también incluyó advertencias de Sam Altman sobre una posible extinción de la humanidad y de Geoffrey Hinton sobre el desplazamiento masivo de empleos. El siguiente paso anunciado es concreto: Anthropic incorporará evaluadores permanentes y Altman dijo que OpenAI hará lo mismo y dará más detalles pronto.
