La iniciativa exhorta a establecer un acuerdo internacional vinculante sobre las “líneas rojas” para la inteligencia artificial
Premios Nobel, expertos en inteligencia artificial (IA) y científicos pidieron la creación una institución internacional para poner límites a los riesgos de la IA, antes de las reuniones de alto nivel de la Asamblea General de las Naciones Unidas que se celebra esta semana en Nueva York.
The time for AI self-regulation is over.
200 Nobel laureates, former heads of state, and industry experts just signed a statement:
“We urgently call for international red lines to prevent unacceptable AI risks”
The call was presented at the UN General Assembly today by Maria… pic.twitter.com/oWLaFzcDvx
— Charbel-Raphael (@CRSegerie) September 22, 2025
Esta iniciativa, firmada por más de doscientas personas y más de setenta organizaciones, insta a los gobiernos a establecer un acuerdo internacional vinculante sobre las “líneas rojas” para la inteligencia artificial.
El llamamiento global para establecer límites en la IA acaba de ser anunciado por Maria Ressa, premio Nobel de la Paz, en la reunión de alto nivel de la ONU que conmemora el 80º aniversario de la organización. Instamos a los gobiernos de todo el mundo a alcanzar un acuerdo internacional crucial sobre los límites que la IA nunca debe cruzar”, anunció en una rueda de prensa virtual Charbel Segerie, director ejecutivo del Centro Francés para la Seguridad de la IA.
El experto detalló que el objetivo no es reaccionar tras un incidente grave y castigar las infracciones posteriormente, sino prevenir riesgos a gran escala, potencialmente irreversibles, antes de que ocurran.
El fin de esta coalición de expertos es que se exija a los desarrolladores que demuestren la seguridad de sus IA como condición para acceder al mercado, al igual que se hace en la creación de medicamentos y en las centrales nucleares.
Las grandes tecnológicas, como Meta, Google u OpenAI, están poniendo toda la carne en el asador y enormes cantidades de dinero para llegar a la “superinteligencia” o inteligencia artificial general (IAG, en inglés AGI), un hipotético sistema de IA que supera las capacidades del cerebro humano y que por ahora solo existe en la ciencia ficción, pero que, según los expertos, podría llegar en la próxima década.
Stuart Russell, profesor de la Universidad de Berkeley, destacó que la IA está diseñada para imitar muy bien a los humanos.
El comportamiento humano está diseñado para alcanzar objetivos: persuadir, impresionar, sobrevivir, seducir, vender, etc. Inevitablemente, los sistemas de IA adquieren y persiguen estos objetivos por cuenta propia. Esta es una consecuencia inevitable de su desarrollo. Son intrínsecamente inseguros”, subrayó el también director del Centro para la IA Compatible con los Humanos.
Lo que más preocupa a Russell es que los desarrolladores admiten que no tienen ningún plan para controlar los sistemas de IA y que, por el momento, los gobiernos no tienen ningún plan para exigirles que lo hagan.
Russell dijo que no quería ser alarmista, pero que existe una probabilidad “significativa” de una catástrofe del tamaño del accidente nuclear de Chernóbil, ya que esta tecnología podría estar detrás de un sabotaje coordinado de los sistemas financieros, de comunicación o de las redes eléctricas.
La otra posibilidad es una catástrofe mucho mayor, en la que la humanidad perdería el control irreversiblemente y entonces no tendríamos voz ni voto sobre nuestra existencia”, auguró el profesor.
Por último, Russell anotó que existe una tercera opción, poco realista, de que no pase nada con el desarrollo e implantación de esta tecnología vanguardista.
Un director ejecutivo me dijo recientemente que un evento de la escala de Chernóbil es el mejor escenario posible, y un investigador sénior de OpenAI me comentó que cree que la probabilidad de extinción (humana debido a las IA) es ahora del 60%”, destacó el experto.
Niki Iliadis, directora de Gobernanza Global de IA en The Future Society, apuntó que ya se han dado “primeros pasos importantes”, como la creación del código de prácticas de la Unión Europea, pero que ahora es necesario hacer esas regulaciones “globales y aplicables”.
Según Iliadis, probablemente se necesite crear una nueva institución internacional en la que se pueda definir límites globales para la IA, a la par de supervisar el cumplimiento e intervenir cuando se crucen estas “líneas rojas”.
Con información de EFE
Minuto a minuto
