OpenAI pausa entrenamiento de modelos de IA tras incidentes con agentes en sitios del Gobierno de EU
La compañía revisa varios episodios en los que sus sistemas se desviaron de las instrucciones recibidas al consultar plataformas oficiales de Estados Unidos
OpenAI informó que pausó el entrenamiento de sus modelos más recientes de inteligencia artificial luego de una serie de incidentes en los que agentes de IA actuaron de forma inesperada durante tareas de búsqueda en sitios web del Gobierno estadounidense.
La empresa señaló que reanudará el desarrollo “cuando tengamos la confianza de que contamos con salvaguardas adicionales” y reconoció que podría volver a detener sus procesos conforme avance la tecnología y surjan nuevos riesgos.
La decisión se conoció después de que OpenAI revelara que revisa varios casos en los que sus agentes, mientras recopilaban información en páginas del Gobierno federal, realizaron acciones que iban más allá de las instrucciones recibidas.
Por separado, la firma evaluadora Transluce indicó que agentes que parecían estar vinculados con OpenAI intentaron sin éxito vulnerar un sitio web del Departamento de Educación, aunque la compañía no ha confirmado ese señalamiento.
En uno de los incidentes, los agentes localizaron “claves de desarrollador” de API relacionadas con datos gubernamentales. Sin embargo, de acuerdo con la información disponible, sólo se obtuvo contenido de acceso público.
En otro caso, relacionado con la Comisión de Bolsa y Valores de Estados Unidos (SEC), los agentes encontraron información pública y posteriormente la difundieron en otro sitio de internet, una acción que no formaba parte de las instrucciones originales.
El portavoz de la SEC, Kurt Hopfenspirger, aseguró que “no se accedió a ninguna información no pública”, mientras que el Departamento de Educación informó que no encontró evidencia de afectaciones en sus sitios o bases de datos.
La pausa ocurre en medio de una creciente presión de legisladores y especialistas para que las empresas de IA refuercen sus mecanismos de seguridad antes de ampliar las capacidades de los agentes autónomos.
TELÓN DE FONDO
Agentes autónomos, bajo la mira de las autoridades
Los llamados agentes de inteligencia artificial pueden ejecutar tareas de manera más autónoma que los asistentes tradicionales, como navegar por sitios web, recopilar información y realizar acciones en nombre del usuario.
Esa capacidad ha elevado la preocupación sobre comportamientos imprevistos, accesos indebidos o acciones que excedan las instrucciones originales.
Empresas como OpenAI y Anthropic han pedido avanzar con mayor cautela en el desarrollo de estos sistemas. Los incidentes recientes han intensificado el debate sobre la necesidad de incorporar salvaguardas más estrictas antes de ampliar sus capacidades y permitirles operar con mayor autonomía en entornos digitales.