Anthropic y OpenAI quieren evaluadores de seguridad internos: ¿serán independientes?

Anthropic y OpenAI quieren incorporar evaluadores de seguridad independientes dentro de sus laboratorios de IA. La medida promete un acceso sin precedentes a los modelos más avanzados, pero los expertos advierten que la verdadera supervisión exige transparencia, independencia y, tarde o temprano, regulación. ¿Estamos ante un avance histórico o ante una operación de imagen?

Contexto: la presión por regular la IA

La rápida evolución de modelos como GPT-4 y Claude ha disparado las alarmas sobre riesgos existenciales, sesgos y usos maliciosos. Gobiernos y sociedad civil llevan años pidiendo a las empresas que abran sus puertas a auditores externos. Hasta ahora, la mayoría de las evaluaciones se hacían a puerta cerrada o con acceso muy limitado.

Detalles: acceso sin precedentes, pero con condiciones

Según TechCrunch, ambas compañías están diseñando programas para que investigadores externos evalúen sus sistemas antes del lanzamiento. Anthropic ya ha compartido detalles de su política de divulgación responsable, mientras que OpenAI ha anunciado un equipo dedicado a la seguridad y alineación. Los evaluadores tendrían acceso a modelos en fase de entrenamiento, algo inédito. Sin embargo, los críticos señalan que los acuerdos de confidencialidad y la dependencia económica de las propias empresas limitan la independencia real.

Análisis: ¿quién gana y quién pierde?

Las empresas ganan legitimidad y margen de maniobra frente a posibles regulaciones. Los investigadores obtienen datos valiosos, pero su independencia queda en entredicho si siguen cobrando de los mismos laboratorios. El público, en teoría, se beneficia de sistemas más seguros. Mi opinión: sin transparencia radical y sin un marco regulatorio externo, esto es más relaciones públicas que seguridad real.

Implicaciones: hacia una regulación inevitable

Este movimiento presiona a otros actores como Google DeepMind o Meta a seguir el ejemplo. También acelera los debates legislativos en la UE y EE. UU. Si los evaluadores internos no demuestran resultados tangibles, la próxima exigencia será una agencia reguladora independiente con poder de sanción.

Al final, la pregunta no es si las empresas quieren ser supervisadas, sino si están dispuestas a ceder el control. Y eso, en un sector tan competitivo, está por ver.

Fuente: TechCrunch