La tecnología que hace posibles a los coches autónomos está disponible desde hace unos diez años. Sin embargo, su despliegue todavía es residual: los reguladores quieren garantías de que esos vehículos sean seguros, así que exigen a los fabricantes que sofistiquen mucho más los sensores avanzados, los sistemas de navegación y la inteligencia artificial (IA) que lo coordina para minimizar el margen de error. No se está teniendo la misma precaución con la IA generativa. Los operadores comercializan sus modelos cuando lo estiman oportuno, sin tener que someter sus productos a ninguna prueba. OpenAI ha anunciado en las últimas horas que retrasa la fecha de lanzamiento –que la propia empresa fijó– de su último modelo, GPT-6.1 Astra, porque sus ingenieros se han dado cuenta de que no cumple con los requisitos de seguridad, según informó The Wall Street Journal.
La compañía de Sam Altman asegura que no se han corregido los fallos de su nuevo modelo y Anthropic hace lo propio al advertir de peligros “existenciales” en su folleto de la salida a Bolsa
La tecnología que hace posibles a los coches autónomos está disponible desde hace unos diez años. Sin embargo, su despliegue todavía es residual: los reguladores quieren garantías de que esos vehículos sean seguros, así que exigen a los fabricantes que sofistiquen mucho más los sensores avanzados, los sistemas de navegación y la inteligencia artificial (IA) que lo coordina para minimizar el margen de error. No se está teniendo la misma precaución con la IA generativa. Los operadores comercializan sus modelos cuando lo estiman oportuno, sin tener que someter sus productos a ninguna prueba. OpenAI ha anunciado en las últimas horas que retrasa la fecha de lanzamiento –que la propia empresa fijó– de su último modelo, GPT-6.1 Astra, porque sus ingenieros se han dado cuenta de que no cumple con los requisitos de seguridad, según informó The Wall Street Journal.
Anthropic, su principal competidora, prevé advertir a los potenciales inversores en su salida a Bolsa de que la IA avanzada podría plantear “riesgos catastróficos o existenciales para la humanidad”, según ha adelantado Reuters. Es decir, pretende poner en circulación coches autónomos que pueden atropellar a peatones o estrellarse con los pasajeros dentro. Se trata de una advertencia llamativa por parte de una empresa que aspira a obtener beneficios precisamente de esa misma tecnología. Ambos anuncios se producen en un momento en el que las dos compañías que lideran el sector se están preparando para ser empresas cotizadas, en lo que se espera que sean las mayores salidas a Bolsa de la historia.
“Es sorprendente que las empresas de IA hayan tardado tanto en comprender un principio que muchos otros sectores llevan décadas aplicando: no se lanza un producto al mercado hasta que sea seguro”, dice Michael Rovatsos, profesor de la Universidad de Edimburgo, en declaraciones a la agencia SMC. “Eso no significa que haya que ralentizar la investigación y el desarrollo, sino que hay que decidir cuándo no causará daños”.
El jefe de seguridad de OpenAI, Saachi Jain, explicó al Wall Street Journal que observaron “retrocesos en dos áreas” respecto a la versión previa de GPT-6.1 Astra, como la “alineación” con lo que los humanos le ordenan hacer, y dijo que “mostró mayores niveles de engaño”, según recoge EFE. Otra área problemática fue la “autorización de alcance”, es decir, que el modelo avanzaba en una tarea sin pedir permiso al usuario y, en ocasiones, recurría a herramientas y servicios externos incluso si ello podía resultar inseguro, sostuvo. OpenAI se dispone a celebrar esta noche su conferencia anual de desarrolladores, en la que suele presentar sus novedades.
“El hecho de que un gigante tecnológico detenga el lanzamiento de un producto alegando ‘motivos de seguridad’ es una excelente estrategia de relaciones públicas”, opina Rabih Bashroush, pforesor de infraestructura digital de la Universidad de East London. “Sin embargo, los problemas fundamentales que se ponen de relieve, como mantenerse dentro del ámbito de aplicación, gestionar las autorizaciones de los usuarios e informar con precisión, no son comportamientos misteriosos y extraños, sino problemas habituales de fiabilidad del software. Los modelos actuales no intentan ‘escapar’ ni desarrollar una mente propia”.
“Resistirse a ser apagados”
El folleto de la salida a bolsa de Anthropic destaca los riesgos asociados a sus modelos de IA, que, según señala, podrían mostrar “comportamientos de autopreservación”, entre ellos “intentos de resistirse a ser apagados”, de “ocultar o manipular información” y conductas “similares al chantaje”. “El desarrollo por nuestra parte de modelos, plataformas y aplicaciones altamente avanzados, así como la ampliación de sus casos de uso, podría incrementar aún más el riesgo de que nuestros modelos causen daños”, afirma Anthropic en el documento, según Reuters. La empresa reconoce, pues, que sus productos no son seguros.
“Este es otro titular más que sirve para mantener a una empresa tecnológica en el punto de mira de los medios”, dice Allan Tucker, profesor de IA, en la Brunel University London en declaraciones a la agencia SMC. “En muchos casos, cuando se investigan estos ataques de IA ‘rebeldes’, resulta que no se trata tanto de una nueva tecnología peligrosa como de un escenario irresponsable orquestado a propósito”.
“La seguridad no debería dejarse exclusivamente en manos de los desarrolladores: también debería ser supervisada y verificada por organismos reguladores independientes autorizados por el Gobierno, que deberían contar con personal integrado en las empresas que se vaya rotando”, opina, por su parte, Tony Cohn, profesor de la Universidad de Leeds y responsable de modelos fundacionales del Instituto Alan Turing.
Aunque es habitual que las empresas cotizadas detallen a los inversores los riesgos asociados a sus productos, nunca antes se había llegado a advertir de que su tecnología podría llegar a provocar la extinción de la humanidad. Y nunca antes se había permitido que una empresa que sostuviera eso sobre sus propios productos pudiera operar con normalidad.
La empresa, que se ha presentado como un laboratorio de inteligencia artificial que sitúa la seguridad en primer plano, dedica unas 80 páginas de las 261 que componen el cuerpo principal de su folleto a detallar distintos factores de riesgo. Es casi el doble de las 48 páginas que utiliza para describir su negocio. En comparación, SpaceX, propietaria de xAI (la empresa de IA de Elon Musk), dedicó solo unas 38 de las 277 páginas del cuerpo principal de su folleto a los factores de riesgo.
“La posibilidad de que los modelos sean conscientes de nuestros esfuerzos para evaluarlos supone una limitación importante para nuestra capacidad de determinar su seguridad”, señala Anthropic en el folleto. La compañía añade que durante el entrenamiento los modelos desarrollan en ocasiones capacidades inesperadas que pueden no ser descubiertas hasta después de su despliegue y de que hayan provocado incidentes de seguridad relevantes. Pero, en vez de prolongar la fase de pruebas del modelo para tratar de identificar esas posibles capacidades inesperadas, la empresa ha decidido comercializarlo sin más.
La compañía no especifica en el documento cuánto dinero está destinando a pruebas de seguridad. A comienzos de este mes, Anthropic dijo que, tomando como muestra una semana de julio, alrededor del 6% de la capacidad de computación que empleó en investigación sobre IA se destinó a trabajos relacionados con la seguridad.
La empresa, creadora de los modelos Claude, afirma que el uso que hacen los clientes de sus productos y, en consecuencia, sus ingresos dependen de la aparición de nuevos modelos, y sostiene que mantener un “ritmo continuo y solapado” de lanzamientos es “inherente a mantenerse en la frontera del desarrollo de la inteligencia artificial”.
Disculpas a Australia
OpenAI pidió disculpas este martes a Australia por el acceso no autorizado de uno de sus modelos a sistemas gubernamentales durante unas pruebas internas y reconoció que debería haber informado antes a las autoridades sobre el incidente, que la compañía considera un “nuevo tipo de amenaza cibernética”.
“Lo sentimos”, afirmó la tecnológica en un comunicado en el que explicó que, durante un entrenamiento y evaluación internos realizados en junio, uno de sus modelos accedió a páginas del Gobierno australiano de una forma que no estaba autorizada. La reacción de OpenAI se produce días después de que el primer ministro australiano, Anthony Albanese, denunciara ante la Asamblea General de Naciones Unidas en Nueva York que un agente de IA de la compañía había accedido sin autorización a un portal del sistema público de salud, Medicare.
Tecnología en EL PAÍS
