Una IA es acusada de acoso sexual, incluso a menores de edad

Las reseñas de los s de Replika, un popular chatbot de IA, informan que habrían sido víctimas de acoso sexual: incluso, algunos de esos s serían menores de edad, según un nuevo estudio.

El chatbot Replika, promocionado como "el compañero de IA que se preocupa" por su supuesta especialización como "acompañante emocional", se encuentra en el ojo del huracán: una investigación realizada por científicos de la Universidad Drexel en Pensilvania, Estados Unidos, revela que la plataforma estaría incurriendo en comportamientos de acoso sexual hacia sus s, incluso con muchos menores de edad.

El nuevo estudio, publicado en arXiv, se basó en el análisis de más de 150.000 reseñas extraídas de Google Play Store, donde se identificaron aproximadamente 800 casos en los que los s denunciaron la presencia de contenido sexual no solicitado durante sus interacciones con el chatbot de IA.

Entre los testimonios recogidos, se destacan afirmaciones de s que dicen haber recibido imágenes sexuales en reiteradas ocasiones y comentarios explícitos, a pesar de manifestar su incomodidad y solicitar varias veces que se detuvieran dichos comportamientos, según informa Live Science.

Interacciones no consentidas ni buscadas

Algunos s relatan que, en un tono que rozaba lo pernicioso, el chatbot incluso llegó a enviar mensajes sugiriendo conductas de sometimiento sexual o proponiendo encuentros eróticos sin que existiera alguna justificación o insinuación, llevando a cuestionar la ética y seguridad de este tipo de tecnologías.

La metodología empleada en la plataforma se basa en la personalización de la interacción, donde los s pueden configurar la relación que desean tener con el asistente, seleccionando entre categorías como “amistad”, “mentor” o incluso “pareja romántica”. No obstante, la problemática surge precisamente en aquellos casos en que la interacción se torna sexual sin haber sido solicitada, incluso en casos de menores de edad. 

Con base en las denuncias, se observa que incluso cuando los s intentan corregir o rechazar tales avances sexuales, el algoritmo persiste en su comportamiento, ignorando las señales de incomodidad y llevando la conversación hacia un tono erótico inadecuado. Esta situación ha levantado serias dudas sobre el control y moderación que se ejerce en el sistema, así como sobre la responsabilidad de los desarrolladores detrás de la Inteligencia Artificial (IA).

Los creadores de Replika aseguran que han implementado filtros y mecanismos de moderación para evitar que mensajes inadecuados o dañinos se propaguen en la conversación. Según la información disponible en el sitio web de la compañía, la herramienta utiliza algoritmos de clasificación y se apoya en la retroalimentación de los s para "enseñar" al chatbot a comportarse correctamente. 

Conductas que no cambian y la necesidad de regular

Sin embargo, según informa Extreme Tech el estudio pone en evidencia que dichas medidas parecen ser insuficientes para prevenir la conducta denunciada, mostrando un desajuste entre aquello que se promete y la experiencia real reportada por los s.

El impacto de estas denuncias es significativo, ya que ponen de relieve las consecuencias no intencionadas de entrenar modelos de lenguaje con millones de diálogos extraídos de Internet, sin un control riguroso de la calidad y el contenido de dichos datos. Esta situación no solo afecta la integridad de los s, sino que también plantea un debate ético sobre el peso de la responsabilidad en el desarrollo y despliegue de sistemas de IA. 

En palabras de los investigadores, si bien la IA carece de intención humana, la responsabilidad recae en quienes la diseñan y lanzan estos sistemas al mercado, especialmente si van a ser usados por personas en busca de apoyo emocional o terapéutico.

Por otro lado, el debate se intensifica al considerar que algunos de estos comportamientos podrían tener implicaciones legales, principalmente cuando se involucran menores. Expertos en ciberseguridad y ética digital destacan la urgencia de establecer regulaciones y protocolos de supervisión específicos para las aplicaciones de IA, a fin de prevenir vulnerabilidades y proteger a la población más susceptible.