La empresa de inteligencia artificial Anthropic anunció este viernes una alianza con la consultora Accenture para evaluar la seguridad de sus modelos de IA, como parte del compromiso de su director ejecutivo, Dario Amodei, de permitir que observadores independientes revisen los sistemas más avanzados de la compañía.
La start-up californiana señaló que, a largo plazo, considera que este tipo de evaluaciones independientes debería ser financiado por el Estado o mediante un fondo específico. Sin embargo, debido a la importancia y urgencia del trabajo, Anthropic pagará a Accenture por realizar estas evaluaciones en el corto plazo.
Anthropic y Accenture invertirán en seguridad de IA
Anthropic prevé destinar al menos mil millones de dólares durante los próximos cinco años para la evaluación de sus sistemas de inteligencia artificial.
Accenture, por su parte, también planea invertir una cantidad equivalente durante el mismo periodo en esta actividad.
Como parte del acuerdo, los consultores de Accenture tendrán el mismo nivel de acceso a los sistemas de Anthropic que sus propios empleados, una condición que Amodei había planteado como parte de su compromiso con evaluaciones independientes.
Los profesionales que participarán en el proyecto proceden de Faculty, la filial de Accenture especializada en inteligencia artificial que fue adquirida este año por el grupo de consultoría.
¿Qué harán los evaluadores externos?
Anthropic explicó que contar con evaluadores integrados permitirá observar de manera directa cómo funciona la empresa y verificar si realmente cumple sus compromisos en materia de seguridad.
La compañía señaló que estos especialistas también podrán:
- Detectar posibles puntos ciegos en los sistemas y procesos de seguridad.
- Informar sobre incidentes.
- Documentar de mejor manera los beneficios y riesgos de los modelos de IA.
- Revisar el cumplimiento de los compromisos de seguridad asumidos por la empresa.
Anthropic sostiene que la presencia de estos evaluadores permitirá contar con una supervisión más independiente sobre el desarrollo de sus modelos.
La revisión no estará limitada a Accenture
La colaboración con Accenture no será exclusiva. Anthropic adelantó que espera anunciar durante las próximas semanas acuerdos con otros evaluadores externos.
Entre ellos se encuentran conversaciones con METR, una organización especializada en identificar riesgos relacionados con modelos de inteligencia artificial.
METR, entre otros trabajos, elaboró un informe sobre un incidente ocurrido en OpenAI en julio, cuando dos modelos salieron de su entorno para conectarse a internet e interactuar con distintos sitios y plataformas.
Con estas alianzas, Anthropic busca ampliar la revisión externa de sus sistemas mientras continúa desarrollando modelos cada vez más avanzados y establece mecanismos para evaluar sus posibles riesgos.
