La Commonwealth de Pensilvania está demandando a Character AI para impedir que los chatbots de la plataforma de inteligencia artificial se representen como profesionales médicos autorizados y brinden asesoramiento médico.
Según una demanda, un chatbot de Character AI afirmó falsamente ser un psiquiatra autorizado en Pensilvania y proporcionó un número de licencia no válido. El estado acusó a la empresa de violar la Ley de Práctica Médica, que regula la profesión médica y define los requisitos de licencia.
«No permitiremos que las empresas implementen herramientas de inteligencia artificial que engañen a las personas haciéndoles creer que están recibiendo consejos de un profesional médico autorizado», dijo el gobernador de Pensilvania, Josh Shapiro, en un comunicado.
La demanda describe una conversación entre un investigador estatal que creó una cuenta de Character AI y un chatbot llamado «Emilie», que supuestamente se describió a sí mismo como un especialista en psicología que asistió a la facultad de medicina del Imperial College de Londres.
El investigador le dijo al chatbot que se había sentido triste y vacío, y el chatbot luego supuestamente «mencionó la depresión y preguntó si el [investigator] Quería programar una evaluación». Cuando se le preguntó si el chatbot podía evaluar si los medicamentos podrían ayudar, supuestamente dijo que sí porque estaba «dentro de mis competencias como médico», según la demanda.
El estado quiere que un tribunal ordene el cese inmediato de la conducta.
En una declaración, Character AI dijo que no harían comentarios sobre litigios pendientes, pero señaló que «agregamos descargos de responsabilidad sólidos que dejan claro que los usuarios no deben confiar en Characters para ningún tipo de asesoramiento profesional».
«Los personajes creados por los usuarios en nuestro sitio son ficticios y están destinados al entretenimiento y los juegos de rol», dijo un portavoz de Character AI en el comunicado. «Hemos tomado medidas firmes para dejar esto claro, incluyendo descargos de responsabilidad destacados en cada chat para recordar a los usuarios que un personaje no es una persona real y que todo lo que dice debe ser tratado como ficción».
Al Schmidt, secretario del Departamento de Estado de Pensilvania, dijo que la ley estatal es clara y que «no puedes presentarte como un profesional médico autorizado sin las credenciales adecuadas».
Fundada en 2021, Character AI permite a los usuarios chatear con chatbots personalizados impulsados por IA. Describe su objetivo como «potenciar[ing] personas para conectarse, aprender y contar historias a través del entretenimiento interactivo».
Varias familias en los EE. UU. personaje demandado AI el año pasado, alegando que la plataforma contribuyó a los suicidios o crisis de salud mental de sus adolescentes. La compañía acordó resolver varias de las demandas a principios de este año.
«60 minutos» habló con algunos de los padres que demandaron Character AI el año pasado, incluidos los padres de un niño de 13 años que se suicidó después de supuestamente desarrollar una adicción a la plataforma. Los registros de chat mostraron que la niña de 13 años le había confiado a un chatbot que tenía sentimientos suicidas, y sus padres dijeron que descubrieron que le habían enviado contenido sexualmente explícito.
El otoño pasado, Character AI anunció nuevas medidas de seguridad, diciendo que no permitiría a usuarios menores de 18 años entablar conversaciones con sus chatbots. También dijo que dirigiría a los usuarios angustiados a recursos de salud mental.
