Un estudio de la organización AI Forensics advirtió que la plataforma Hugging Face, que alberga cerca de tres millones de modelos de inteligencia artificial (IA), contiene herramientas capaces de generar imágenes de personas desnudas, por lo que pidió a la empresa reforzar sus mecanismos de moderación.
De acuerdo con la investigación, siete de los nueve modelos de edición de imágenes más destacados en la plataforma permiten a los usuarios “desnudar” a una persona mediante instrucciones escritas en lenguaje natural, conocidas como prompts.
Alertan sobre facilidad para generar imágenes
Paul Bouchaud, uno de los autores del estudio, explicó que no se requieren conocimientos técnicos para utilizar este tipo de herramientas.
“Cualquier persona sin conocimientos técnicos puede introducir un prompt y obtener la imagen que quiere”, señaló.
Como parte de la investigación, AI Forensics creó una interfaz falsa de inteligencia artificial y la publicó en la plataforma con el objetivo de analizar el tipo de solicitudes realizadas por los usuarios.
Mayoría de las solicitudes fueron de contenido sexual
Durante una semana, los investigadores registraron mil 81 solicitudes, de las cuales 73 por ciento correspondieron a contenido de naturaleza sexual.
Según el informe, prácticamente todas las peticiones buscaban generar imágenes de mujeres desnudas. Además, la organización detectó que 6.7 por ciento de las solicitudes sexuales estaban dirigidas a representar a una persona menor de edad.
Hugging Face responde al informe
Tras la publicación del estudio, Hugging Face aseguró a AFP que tomó con seriedad los hallazgos y que aplicará medidas conforme a sus actuales políticas de moderación cuando identifique deficiencias.
No obstante, la empresa rechazó algunas de las conclusiones del informe y sostuvo que contiene “afirmaciones inexactas sobre la ausencia sistémica de moderación”, además de utilizar metodologías que, a su juicio, generan “falsos positivos importantes y dan una imagen distorsionada del ecosistema en su conjunto”.
El debate sobre la IA y los desnudos no consentidos
El informe recuerda que a principios de enero AI Forensics publicó otra investigación sobre Grok, el chatbot desarrollado por xAI, tras analizar más de 20 mil imágenes generadas en la red social X.
En ese estudio se encontró que más de la mitad de las imágenes mostraban personas con poca ropa; de ellas, 81 por ciento correspondían a mujeres y 2 por ciento parecían representar a menores de edad.
Aunque la empresa aseguró posteriormente que incorporó nuevos filtros, la difusión de imágenes de personas desnudas sin su consentimiento colocó a la red social de Elon Musk en el centro de una polémica internacional y derivó en investigaciones en Reino Unido y la Unión Europea.
Como respuesta a este tipo de casos, el Parlamento Europeo aprobó la prohibición en la Unión Europea de los servicios de inteligencia artificial que permiten generar imágenes para “desnudar” personas sin su consentimiento. Sin embargo, la medida, respaldada también por los Estados miembros, aún no ha entrado en vigor.
