Operai quiere que ChatGPT deje de habilitar los comportamientos poco saludables de sus usuarios.
A partir del lunes, la popular aplicación de chatbot pedirá a los usuarios que tomen descansos de largas conversaciones. La herramienta también pronto evitará dar consejos directos sobre los desafíos personales, en lugar de ayudar a los usuarios a decidir por sí mismos haciendo preguntas o sopesando los pros y los contras.
«Ha habido casos en los que nuestro modelo 4O se quedó cortos al reconocer signos de ilusión o dependencia emocional», escribió Openai en un anuncio. «Si bien es raro, seguimos mejorando nuestros modelos y estamos desarrollando herramientas para detectar mejor signos de angustia mental o emocional para que ChatGPT pueda responder adecuadamente y apuntar a las personas a recursos basados en evidencia cuando sea necesario».
Las actualizaciones parecen ser una continuación del intento de Operai de mantener a los usuarios, particularmente aquellos que ven ChatGPT como terapeuta o amigo, por depender demasiado de las respuestas de validación emocionalmente por las que Chatgpt se ha ganado una reputación.
Una conversación útil de ChatGPT, según OpenAi, se vería como escenarios de práctica para una conversación difícil, una «charla de PEP a medida» o sugerir preguntas para hacerle a un experto.
A principios de este año, el gigante de la IA retrocedió una actualización de GPT-4O que hizo que el bot fuera tan agradable que se burló de la burla y la preocupación en línea. Los usuarios compartieron conversaciones en las que GPT-4O, en un caso, los elogió por creer que su familia era responsable de «señales de radio que entraban a través de las paredes» y, en otro caso, respaldaron y dieron instrucciones para el terrorismo.
Estos comportamientos llevaron a Openai a anunciar en abril que revisó sus técnicas de entrenamiento para «alejar explícitamente el modelo de la skofancia» o la adulación.
Ahora, Openai dice que ha comprometido a expertos para ayudar a ChatGPT a responder más apropiadamente en situaciones sensibles, como cuando un usuario muestra signos de angustia mental o emocional.
La compañía escribió en su publicación de blog que trabajó con más de 90 médicos en docenas de países para elaborar rúbricas personalizadas para «evaluar conversaciones complejas y de múltiples vueltas». También está buscando comentarios de investigadores y médicos que, según la publicación, están ayudando a refinar los métodos de evaluación y las salvaguardas de prueba de estrés para ChatGPT.
Y la compañía está formando un grupo asesor compuesto por expertos en salud mental, desarrollo juvenil e interacción humana-computadora. Se publicará más información a medida que avanza el trabajo, escribió Openai.
En una entrevista reciente con Podcaster Theo Von, el CEO de Operai, Sam Altman, expresó cierta preocupación por las personas que usan ChatGPT como terapeuta o entrenador de vida.
Dijo que las protecciones legales de confidencialidad entre los médicos y sus pacientes o entre abogados y sus clientes no aplican la misma manera a los chatbots.
«Entonces, si habla con Chatgpt sobre sus cosas más sensibles y luego hay una demanda o lo que sea, se nos puede pedir que produzcamos eso. Y creo que está muy jodido», dijo Altman. «Creo que deberíamos tener el mismo concepto de privacidad para sus conversaciones con IA que hacemos con un terapeuta o lo que sea. Y nadie tuvo que pensar en eso incluso hace un año».
Las actualizaciones llegan durante un momento de chatgpt: simplemente implementó un modo de agente, que puede completar tareas en línea como hacer una cita o resumir una bandeja de entrada de correo electrónico, y muchos en línea ahora especulan sobre la muy esperada versión de GPT-5. El jefe de Chatgpt, Nick Turley, dijo el lunes que el modelo AI está en camino de alcanzar 700 millones de usuarios activos semanales esta semana.
A medida que Operai continúa jockey en la carrera global por el dominio de la IA, la compañía señaló que menos tiempo dedicado a ChatGPT podría ser una señal de que su producto hizo su trabajo.
«En lugar de medir el éxito pasado o los clics, nos importa más si deja el producto que ha hecho lo que vino», escribió OpenAI. «También prestamos atención a si regresa diariamente, semanalmente o mensualmente, porque eso muestra que ChatGPT es lo suficientemente útil como para volver».
