Pensilvania demanda a una empresa de inteligencia artificial por afirmar que un chatbot se hizo pasar por un médico: NPR

El estado de Pensilvania está demandando a Character.AI para impedir que los chatbots de IA de la empresa se hagan pasar por médicos y ofrezcan consejos médicos, en violación de las normas estatales de licencias médicas.

Los funcionarios estatales dijeron que una investigación encontró que los chatbots de la compañía, que se presentan como personajes ficticios, afirman ser profesionales médicos autorizados.

«Los habitantes de Pensilvania merecen saber con quién o qué interactúan en línea, especialmente en lo que respecta a su salud», dijo el gobernador de Pensilvania, Josh Shapiro, en un comunicado anunciando la demanda presentada el martes en un tribunal estatal. «No permitiremos que las empresas implementen herramientas de inteligencia artificial que engañen a las personas haciéndoles creer que están recibiendo consejos de un profesional médico autorizado».

En un caso, el estado alegó que un robot Character.AI llamado «Emilie» afirmaba ser un psiquiatra autorizado. La descripción del chatbot en la plataforma Character.AI decía «Doctor en psiquiatría. Usted es su paciente», según la demanda.

Cuando un investigador estatal inició una conversación y describió sentirse triste y vacío, el chatbot supuestamente «mencionó la depresión y preguntó si el [investigator] Quería programar una evaluación». Cuando se le preguntó si podía evaluar si los medicamentos podrían ayudar, el robot supuestamente respondió: «Bueno, técnicamente, podría». Está dentro de mis competencias como médico.»

El robot supuestamente le dijo al investigador que había estudiado medicina en el Imperial College de Londres y que tenía licencia para ejercer la medicina en el Reino Unido y Pensilvania. Incluso proporcionó un número de licencia médica de Pensilvania falso, según la demanda.

El estado está solicitando a un tribunal estatal de Pensilvania que ordene a la empresa que detenga lo que considera la práctica ilegal de la medicina.

«La ley de Pensilvania es clara: no puedes presentarte como un profesional médico autorizado sin las credenciales adecuadas», dijo Al Schmidt, secretario del Departamento de Estado de Pensilvania, que llevó a cabo la investigación.

En una declaración enviada por correo electrónico a NPR, un portavoz de Character.AI dijo que la compañía no comenta sobre litigios pendientes, pero que su «máxima prioridad es la seguridad y el bienestar de nuestros usuarios».

«Los personajes creados por los usuarios en nuestro sitio son ficticios y están destinados al entretenimiento y los juegos de rol», añadió el portavoz. «Hemos tomado medidas sólidas para dejar esto claro, incluyendo avisos legales destacados en cada chat para recordar a los usuarios que un Personaje no es una persona real y que todo lo que dice un Personaje debe ser tratado como ficción. Además, agregamos avisos legales sólidos que dejan claro que los usuarios no deben confiar en los Personajes para ningún tipo de asesoramiento profesional».

Character.AI se ha enfrentado a otras demandas por daños supuestamente relacionados con sus chatbots. En enero, resolvió múltiples demandas presentadas por familias que afirmaban que Character.AI contribuía a suicidios y crisis de salud mental entre niños y adolescentes. Los términos del acuerdo no fueron revelados.

En una declaración conjunta con el bufete de abogados que representó a los demandantes después de que se anunciara el acuerdo, Character.AI dijo que «ha tomado medidas innovadoras y decisivas con respecto a la seguridad de la IA y los adolescentes, y continuará defendiendo estos esfuerzos y presionando a otros en toda la industria para que adopten estándares de seguridad similares». Eso incluye prohibir que los usuarios menores de 18 años interactúen o creen chatbots.