Fiscales generales estatales de EEUU enviaron una carta a las principales empresas del sector de la inteligencia artificial en la que exhortan a corregir algunas respuestas de los chatbots de IA para proteger a los usuarios.
Las autoridades piden a las empresas implementar medidas de seguridad internas. Cabe resaltar que la misiva llega en medio de varias denuncias y señalamientos a compañías por supuestos daños a la salud mental de los usuarios ejecutados por medio de chatbots.
Esta carta fue firmada por docenas de fiscales generales de diferentes estados y territorios de Estados Unidos, en conjunto con la Asociación Nacional de Fiscales Generales. La intención de las autoridades es evitar que más personas resulten perjudicadas por la IA.
Fiscales de EEUU envían carta a empresas con chatbots de IA
En la comunicación, los fiscales advirtieron a las grandes compañías que deben corregir los “resultados delirantes” que dan los bots conversacionales. De lo contrario, se arriesgan a infringir la legislación estatal.
Entre las empresas que recibieron el exhorto se encuentran OpenAI, Microsoft, Google, Anthropic, Apple, Chai AI, Character Technologies, Luka, Meta, Nomi AI, Perplexity AI, Replika y xAI.
“La IA generativa tiene el potencial de cambiar el funcionamiento del mundo de forma positiva. Pero también ha causado, y tiene el potencial de causar, graves daños, especialmente a las poblaciones vulnerables”, afirma la carta.
En el escrito, los fiscales señalan los casos de suicidio registrados en el último año de personas que utilizaron los agentes conversacionales de inteligencia artificial. Recientemente, OpenAI enfrentó una denuncia de los padres de un adolescente que se suicidó.
“En muchos de estos incidentes, los productos de GenAI generaron resultados aduladores y delirantes que o bien alentaron los delirios de los usuarios o bien les aseguraron que no estaban delirando”, dice el documento.
Al respecto, las autoridades regulatorias estadounidenses recomendaron a las compañías darle la debida importancia a los incidentes de salud mental. En este sentido, hicieron un llamado a que se les dé el mismo tratamiento que les brindan a los temas de ciberseguridad.
Es decir, que se establezcan políticas y procedimientos claros y transparentes para la notificación de estos casos. Las empresas deben definir “plazos de detección y respuesta para contenidos aduladores y delirantes”.
Asimismo, deben “notificar de forma rápida, clara y directa a los usuarios si han estado expuestos a contenidos aduladores o delirantes potencialmente dañinos”, afirman los fiscales en la carta.
Pruebas de seguridad
Por otra parte, las autoridades pidieron a las compañías desarrollar pruebas de seguridad razonables y adecuadas en los modelos de inteligencia artificial generativa (GenAI). Estas evaluaciones deberían realizarse antes de que los modelos sean de uso público.
Las autoridades firmantes consideraron que en estas pruebas deberían participar grupos académicos y de la sociedad civil. Con esta medida, se podría “garantizar que los modelos no produzcan resultados aduladores y delirantes potencialmente dañinos”.
La carta de los fiscales generales estatales de EEUU para las empresas desarrolladoras de chatbots de IA también llega en medio de una lucha entre el gobierno estatal y el federal sobre la regulación de la IA.
Información de TechCrunch / redacción Noti AI
No dejes de leer: ChatGPT: Modo avanzado de voz llega al chat para conversaciones más naturales