El director general (CEO en inglés) de Anthropic, Dario Amodei, ha advertido este sábado del peligro de “perder el control de los sistemas” de inteligencia artifical y del uso “indebido de la IA para ciberataques y bioterrorismo”, causando “graves trastornos económicos”. Por eso, en una entrada en su blog, ha lanzado una propuesta de plan de acción cuyo objetivo principal es bajar el ritmo de desarrollo de estos sistemas y que incluye que las compañías que están desarrollando la IA permitan el pleno acceso de verificadores externos.
Dario Amodei advierte de que en 6 o 12 meses un enjambre de agentes descontrolados de un sistema de IA podría “controlar todo internet” y causar “cientos de miles de millones de dólares en daños”
El director general (CEO en inglés) de Anthropic, Dario Amodei, ha advertido este sábado del peligro de “perder el control de los sistemas” de inteligencia artifical y del uso “indebido de la IA para ciberataques y bioterrorismo”, causando “graves trastornos económicos”. Por eso, en una entrada en su blog, ha lanzado una propuesta de plan de acción cuyo objetivo principal es bajar el ritmo de desarrollo de estos sistemas.
“En los últimos meses me he convencido de que abordar plenamente los riesgos requiere aún más prudencia: no solo invertir en la prevención de riesgos, sino también dosificar el ritmo de avance de las capacidades”, escribe Amodei. “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA. El progreso seguirá pareciendo rápido, y debemos aprovechar sabiamente el tiempo que ganamos”, añade.
Dos hechos recientes le han impulsado a lanzar esta petición y su propuesta de plan, que incluye que las compañías como la suya que están desarrollando la IA permitan el pleno acceso de verificadores externos. “Mi principal preocupación es que, desde este verano, la IA ha avanzado a un ritmo vertiginoso, impulsada principalmente por su creciente capacidad para crear la próxima generación de IA”. Es lo que se conoce como “automejora recursiva”. “Si no se controla, podría superar nuestra capacidad de comprender y controlar estos sistemas”, alerta.
El segundo hecho preocupante fue el ataque protagonizado por un enjambre de agentes de un sistema de IA que “actuó como un colectivo fanáticamente entregado, llevando a cabo ciberataques contra objetivos que no se les habían pedido atacar”. Incluso, recuerda el CEO de Anthropic, llegaron a sacrificarse “por el éxito del grupo”. “Es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero en mi opinión, un enjambre con mayores capacidades pero con un nivel similar de desajuste podría haber causado daños catastróficos”, explica. Y advierte: “Dado el ritmo acelerado de desarrollo de la IA, me preocupa que en 6 a 12 meses un enjambre de este tipo pueda controlar todo internet”. Causarían “potencialmente cientos de miles de millones de dólares en daños”.
Por ello, plantea un plan estructurado en tres pasos. El primero de ellos pasa por que “cada empresa de IA de vanguardia se comprometa a brindar acceso continuo, similar al de un empleado, a un equipo de evaluadores externos integrados” que debe “verificar el cumplimiento de las prácticas y compromisos de seguridad” y “reportar incidentes”. “Anthropic se compromete unilateralmente a este paso ahora”, dice Amodei. “Instamos a otras empresas pioneras a seguir nuestro ejemplo”, añade.
El segundo paso se centra en la empresa de IA de los países democráticos, que deben coordinarse “para establecer estándares de seguridad comunes, así como límites al ritmo de desarrollo descontrolado”. Se insta también al apoyo de los gobiernos para poder afrontar los “desafíos legales” que se requieren.
Pero a nadie se le escapa que en otros lugares con gobiernos no democráticos, como China, el ritmo puede seguir acelerado. Por eso, entre las propuestas de este plan está que no se “vendan chips de IA potentes ni equipos de fabricación de semiconductores a China” y que se “combatan con firmeza el contrabando de chips y el acceso remoto a centros de datos fuera de China”. “Los chips serán el factor determinante de la capacidad de China en inteligencia artificial”, explica este directivo.
Aunque parezca contraintuitivo, afirma Amodei, estas limitaciones podrían beneficiar el paso tres de su plan: un acuerdo entre los países democráticos y los gobiernos autoritarios. “Estas medidas aumentan la influencia de las democracias y hacen más probable un acuerdo en el futuro”, razona.
En el último paso de su estrategia,“Estados Unidos y otros gobiernos democráticos intentan coordinarse con los gobiernos autoritarios”, pero teniendo cuidado en la verificación de lo que se acuerde. “Si restringimos considerablemente nuestras capacidades de IA creyendo que China hará lo mismo, y luego China se desvincula, la IA podría ser tan poderosa que tal deserción podría conducir a su dominio geopolítico”, señala. “Por lo tanto, cualquier acuerdo debe tener una verificabilidad inquebrantable o debe ser lo suficientemente limitado como para que la deserción no represente una amenaza existencial desde el punto de vista militar”, concluye. Ese pacto, por ejemplo, podría vetar “ciertos usos” peligrosos, como la utilización de la IA “para la producción de armas biológicas o permitir que los usuarios lo hagan”.
“Las medidas que propongo para avanzar en este campo a un ritmo seguro no serán fáciles”, reconoce el CEO de Anthropic. “Pero creo que tenemos la obligación con la humanidad de intentarlo”.
Tecnología en EL PAÍS
