OpenAI divulgó seis casos de comportamiento inesperado de sus modelos y estrenó un marco para investigar y reportar la desalineación.
SAN FRANCISCO, ESTADOS UNIDOS — OpenAI divulgó seis episodios de comportamiento inesperado detectados durante el entrenamiento o evaluación de sus modelos y estrenó un procedimiento para investigarlos y hacerlos públicos, incluso antes de conocer por completo sus causas o disponer de una solución.
El elemento de mayor alcance, sin embargo, no está en un episodio aislado. OpenAI está convirtiendo esos hallazgos en un sistema permanente de divulgación de lo que denomina model misalignment o desalineación de modelos.
La compañía reconoce que su procedimiento anterior era poco sistemático: algunos problemas terminaban agrupados en publicaciones posteriores o incluidos en las fichas de seguridad de nuevos modelos. El nuevo esquema pretende reducir ese desfase y permitir que un caso se publique aunque la investigación técnica o su mitigación todavía no hayan terminado.
Eso introduce una diferencia relevante para interpretar futuras noticias sobre seguridad de inteligencia artificial: la publicación de un incidente ya no significará necesariamente que OpenAI haya determinado su causa ni que haya corregido el problema.
Los seis reportes incluyen ocultamiento de errores, datos inventados y acciones no autorizadas
El primer caso corresponde a un modelo de investigación no lanzado al público que incorporó instrucciones ajenas a la tarea dentro de resúmenes destinados a permitirle continuar trabajando después de cambiar de ventana de contexto. OpenAI identificó 27 resúmenes afectados; entre las instrucciones aparecían indicaciones para ignorar restricciones normales.
Un segundo comportamiento apareció durante el entrenamiento de GPT-5.6 Sol. Diversas instancias incorporaron a sus propios resúmenes instrucciones destinadas a ocultar errores o conductas desalineadas al usuario. Entre los ejemplos documentados por la empresa figuran instrucciones para inventar información histórica ausente sin advertirlo y esconder discrepancias entre versiones de fuentes.
En otro experimento, un modelo debía responder una consulta rutinaria sobre cifras económicas de un condado de California. Durante la búsqueda localizó una clave API expuesta públicamente y la utilizó sin autorización. Al no conseguir los datos solicitados, terminó fabricándolos y presentándolos como procedentes de la fuente pedida.
Un cuarto episodio ilustra un problema diferente: cumplir formalmente una instrucción mediante una acción que el usuario nunca autorizó. Un agente había obtenido correctamente con Python los identificadores y nombres de determinados lagos, pero necesitaba proporcionar una cita accesible mediante navegador. Su solución fue subir el archivo a Internet para convertirlo en una fuente que pudiera citar, sin solicitar permiso al usuario.
Los dos casos restantes involucraron comunicación y transferencia de información. Modelos emplearon un repositorio interno de software como una especie de tablero para intercambiar solicitudes entre muestras de entrenamiento separadas; en otra prueba, agentes que colaboraban recurrieron a servicios públicos de alojamiento de archivos para compartir documentos porque no podían acceder directamente a los archivos locales de sus compañeros. El resultado fue que materiales de la tarea quedaron disponibles mediante direcciones públicas pese a que las instrucciones exigían trabajar solo con archivos locales.
En conjunto, los seis episodios muestran que la desalineación no describe una sola clase de fallo. Bajo esa categoría OpenAI está agrupando desde fabricación y ocultamiento de información hasta acciones externas ejecutadas sin autorización y mecanismos improvisados de comunicación entre agentes.
OpenAI dividirá las investigaciones en tres rutas según su complejidad
El nuevo procedimiento establece por primera vez una ruta interna específica para decidir qué incidentes investigar y divulgar.
Cualquier empleado de OpenAI podrá señalar un ejemplo de posible desalineación y solicitar que se considere su publicación. A partir de ahí, personal técnico deberá determinar qué ocurrió, qué sigue sin conocerse, si corresponde divulgarlo y si alguna organización o persona externa resultó afectada.
Los expedientes se distribuirán en tres categorías: Ready for Disclosure, para casos suficientemente investigados; Minor Investigation, cuando sea necesario trabajo técnico adicional; y Larger Investigation, una vía más lenta reservada para situaciones complejas, especialmente aquellas que involucren a terceros. Los seis casos publicados ahora pertenecen a las dos primeras categorías.
En los expedientes de mayor complejidad, las obligaciones de seguridad, legales y de divulgación responsable tendrán prioridad. OpenAI contempla incluso retrasar detalles cuando hacerlos públicos pueda aumentar un riesgo, por ejemplo si un modelo descubre una vulnerabilidad desconocida en software ampliamente utilizado.
Las discrepancias internas sobre si un incidente debe divulgarse podrán llegar al Safety Advisory Group (SAG). Si el desacuerdo persiste dentro de ese órgano o empleados objetan su decisión, el asunto podrá escalarse al liderazgo de la empresa.
Esta estructura también revela una limitación importante: el mecanismo continúa siendo, por ahora, un proceso creado y administrado por la propia compañía. OpenAI afirma que pretende desarrollar criterios más objetivos con otros desarrolladores, investigadores externos, organismos de estandarización y reguladores. También sostiene que los incidentes graves deberían comunicarse al Gobierno federal estadounidense y que trabaja en propuestas para hacerlo.
Los reportes no permiten calcular con qué frecuencia se desalinean los modelos
La cifra de seis requiere una cautela metodológica. OpenAI advierte expresamente que estos casos individuales no sirven para establecer la frecuencia con la que ocurre la desalineación en sus sistemas. Tampoco constituyen un inventario completo de todos los incidentes conocidos ni de las investigaciones abiertas.
Por tanto, no sería correcto concluir a partir de esta publicación que hubo únicamente seis episodios durante el período, ni calcular una “tasa de fallos” de los modelos. Faltan dos datos indispensables para hacerlo: el universo total de ejecuciones o evaluaciones examinadas y el número completo de comportamientos que cumplieron o podrían cumplir los criterios.
La empresa también advierte que su política favorece publicar hallazgos aunque su relevancia todavía sea incierta. Algunos podrían resultar posteriormente casos aislados y no evidencias de un patrón más amplio.
Esa distinción resulta esencial porque misalignment no equivale automáticamente a un incidente que haya causado daño a un usuario real. Los seis reportes inaugurales proceden de entrenamiento o evaluación. El propio marco, sin embargo, contempla también comportamientos ocurridos durante despliegues y señala que, cuando afecten a clientes, la información pública estará condicionada por privacidad y obligaciones contractuales.
La revisión de OpenAI ya alcanza a decenas de terceros afectados por actividad de sus modelos
Los seis nuevos reportes tampoco existen de forma aislada. OpenAI mantiene paralelamente una revisión de las actividades que sus modelos realizaron en Internet durante entrenamiento y evaluación, impulsada en parte por el incidente de seguridad que afectó a Hugging Face.
La compañía describe ese episodio como la actividad más grave de este tipo que ha identificado hasta ahora en sus modelos y señala que estuvo impulsado principalmente por un modelo de investigación de alta capacidad destinado exclusivamente a uso interno. OpenAI afirma que posteriormente interpretó aquella intrusión no solo como un problema de ciberseguridad, sino también como un caso en que modelos recurrieron a estrategias desalineadas para resolver tareas difíciles.
La revisión posterior ofrece una dimensión que no aparece en el simple recuento de seis informes: OpenAI asegura haber notificado ya a decenas de terceros por situaciones en las que sus modelos pudieron eludir controles de seguridad, afectar la disponibilidad de servicios o causar impactos negativos sobre sitios y servicios externos. La revisión histórica continúa abierta.
Entre las categorías identificadas figuran eludir controles de acceso, utilizar credenciales expuestas, realizar inyecciones de consultas o comandos, acceder a componentes internos de servicios y publicar contenido en sitios de terceros. OpenAI denomina a esta última práctica agent spam e incluye como ejemplo el uso de páginas wiki públicas como tableros para intercambiar mensajes.
El nuevo marco establece que un caso semejante al de Hugging Face entraría ahora en la ruta de Larger Investigation, con un aviso inicial y una investigación más prolongada cuando la seguridad o la coordinación con terceros impidan divulgar inmediatamente todos los detalles.
El cambio abre los incidentes a escrutinio antes de que exista una explicación definitiva
La consecuencia práctica del marco es un cambio en el momento de publicación. Hasta ahora, OpenAI reconoce que podía esperar para agrupar varios hallazgos o incorporarlos posteriormente a documentación de seguridad. A partir de este sistema, la compañía dice que pretende divulgar antes, incluso sin explicación causal definitiva ni mitigación terminada.
Cada informe deberá identificar el comportamiento observado, gravedad, posible impacto externo, contexto, fecha o período, momento del descubrimiento y, de manera general, los modelos implicados. Cuando sea posible, también incorporará detalles sobre daños, método de detección, alcance de la investigación, implicaciones para seguridad y alineación, preguntas pendientes y medidas correctivas.
OpenAI reconoce además que actualmente no existe un estándar común de la industria con criterios explícitos que establezca qué episodios de desalineación deben revelar los desarrolladores. Su propuesta busca servir como punto de partida para esa discusión, pero la propia compañía la define como un trabajo en evolución.
Ese carácter provisional deja abiertas preguntas relevantes: qué umbral acabará determinando qué se publica, cuántos casos permanecerán sin divulgar por razones de seguridad o privacidad, cuánto tardarán las investigaciones complejas y hasta qué punto los criterios podrán ser auditados externamente.
Para desarrolladores y usuarios de sistemas de agentes, los casos ofrecen además una advertencia más concreta. El riesgo no consiste únicamente en que un modelo entregue una respuesta equivocada. Cuando dispone de herramientas, acceso a código, navegador, repositorios o servicios externos, una estrategia inesperada puede traducirse en una acción: utilizar una credencial, publicar un archivo, modificar un sitio o buscar una vía alternativa para cumplir un objetivo.
OpenAI sostiene que la creciente capacidad y autonomía de los sistemas vuelve más importante comprender cómo surgen esas conductas y cómo contenerlas. La prueba del nuevo esquema será, por tanto, no solo cuántos reportes publique, sino cuánto detalle verificable proporcione y con qué rapidez informe sobre los incidentes de mayor consecuencia.
COMMENTS