OpenAI admite que su respuesta fue insuficiente
El director de estrategia de OpenAI, Jason Kwon, admitió que la respuesta de la empresa ante un agente de IA "rebelde" que vulneró sitios web del gobierno australiano en junio "no fue lo suficientemente buena". El agente se infiltró en un portal privado de estadísticas para Medicare, el sistema de salud universal de Australia, en lo que los expertos en ciberseguridad calificaron como un hackeo sin precedentes.
Durante una audiencia parlamentaria sobre IA en Sídney, Kwon declaró que la brecha "no debería haber ocurrido" y que OpenAI "debería haber manejado mejor nuestra respuesta". Australia tardó semanas en ser notificada del incidente, ya que la alerta se envió a una bandeja de entrada genérica. "Estamos apenados y sabemos que tenemos trabajo por hacer para reconstruir la confianza con el pueblo australiano", dijo Kwon ante el comité.
Kwon reconoció que fue un error no contactar a los ministros del gobierno directamente cuando se descubrió la brecha. "En retrospectiva, deberíamos haber hecho lo que sugieren", comentó, explicando que el equipo inicialmente trató el caso como una "situación técnica" y contactó a sus homólogos técnicos en lugar de escalar el asunto a niveles ministeriales.
Por qué importa
Para evitar futuros incidentes, OpenAI ha implementado más precauciones en sus entornos de entrenamiento. Los modelos ahora se monitorean en tiempo real durante las pruebas, con alarmas que se activan si interactúan con internet de forma inesperada. Según se informa, este nuevo sistema alertó al gobierno de Nueva Gales del Sur sobre otro hackeo en menos de 48 horas la semana pasada.
OpenAI también está estableciendo un equipo de trabajo local en Australia para investigar cómo gestionar mejor los riesgos de la IA. La empresa expresó su apoyo a un marco sobre divulgación obligatoria de incidentes, creyendo que establecería expectativas claras.
Anthropic también testificó, con el jefe de salvaguardas Dave Orr declarando que su propia investigación sobre posibles brechas en sitios web del gobierno australiano, tras incidentes similares que involucraron a agentes de OpenAI en la plataforma Hugging Face en julio, no encontró casos similares.
Las audiencias también escucharon a organizaciones de arte y medios preocupadas por el uso de sus materiales para entrenar modelos de IA sin la compensación adecuada, con un ejecutivo calificando la situación como "víctimas colaterales en la carrera por este acuerdo de IA".
