Google ha realizado grandes cambios en la forma en que Gemini maneja las cuestiones de salud mental. Después de enfrentar el escrutinio sobre cómo su IA responde a otras preguntas delicadas, la compañía ha adaptado Gemini para que actúe más como una «puerta de entrada al apoyo» que como un sustituto de un terapeuta. El asistente ofrece información general sobre salud mental y afrontamiento, pero recomienda encarecidamente a los usuarios con problemas que se acerquen a profesionales.
Cuando Gemini detecta signos de autolesión o pensamientos suicidas, muestra un panel destacado de «Ayuda disponible» que permanece en la pantalla mientras dura la conversación. El panel ofrece acceso con un solo toque a líneas directas locales o redes de crisis basadas en mensajes de texto atendidas por humanos reales.
Google dice que ha trabajado con expertos clínicos y organizaciones de crisis para transformar estos flujos y planea continuar perfeccionándolos en función de los comentarios. Dice que la IA ha actualizado su entrenamiento para evitar que refuerce creencias falsas. En cambio, intenta separar las emociones de los hechos durante conversaciones delicadas.
En el futuro, se dice que Gemini tendrá salvaguardias más estrictas para actuar como un mejor amigo, pretender ser humano o usar un lenguaje que impulse a los usuarios a desarrollar una dependencia emocional del chatbot. Google ha prometido decenas de millones de dólares para apoyar las líneas directas de crisis en todo el mundo.
Conscientes de todo esto, los expertos aún advierten que los chatbots de IA representan un peligro para los adolescentes y las personas en situación de angustia grave, y dicen que los usuarios deben tratarlos como herramientas informativas, no como terapia o atención de emergencia.
