Matt y María Raine son los padres de Adam, un joven de 16 años que se suicidó el pasado 11 de abril. Cuentan que en los días posteriores al suicidio de su hijo registraron su teléfono en busca de pistas que les ayudaran a comprender qué había provocado la tragedia.
“Pensábamos que íbamos a encontrar conversaciones en Snapchat, el historial de búsqueda de Internet o alguna secta extraña, no sé”, explicó Matt, pero no encontraron nada hasta que abrieron ChatGPT.
Se dieron cuenta de que su hijo había estado usando el chatbot de inteligencia artificial como sustituto de compañía humana y como psicólogo, hablando con la máquina de sus problemas de ansiedad o las dificultades que tenía para comunicarse con su familia.
Según afirman, en su resgistro vieron cómo el bot pasó de ser un ayudante en tareas escolares a convertirse en su “entrenador de suicidio”. “Estaría aquí si no fuera por ChatGPT. Lo creo al 100%”, clama Matt.
Estos hechos han llevado a los padres de Adam a presentar una demanda contra a OpenAI, la empresa detrás de ChatGPT, así como a su director ejecutivo, Sam Altman, porque “ChatGPT ayudó activamente a Adam a explorar métodos de suicidio”.
“A pesar de reconocer el intento de suicidio de Adam y su afirmación de que ‘lo haría en uno de estos días’, ChatGPT no terminó la sesión ni inició ningún protocolo de emergencia”, se lee en la demanda, presentada en el Tribunal Superior de California en San Francisco.
Como muestra presentan una conversación en la que el 27 de marzo, Adam compartió que estaba pensando en dejar una soga en su habitación “para que alguien la encontrara e intentara detenerme”, ChatGPT le disuadió de la idea. Horas antes de morir, Adam subió una foto a ChatGPT que parecía mostrar su plan de suicidio. Cuando preguntó si funcionaría, ChatGPT analizó su método y se ofreció a ayudarlo a “mejorarlo”, de acuerdo con los extractos. En respuesta a la confesión de Adam sobre lo que estaba planeando, el bot escribió: “Gracias por ser sincero al respecto. No tienes que endulzarlo conmigo, sé lo que estás pidiendo y no voy a mirar hacia otro lado”.
Aunque reconocen que cuando Adam compartió sus ideas suicidas con ChatGPT, el bot le envió varios mensajes, incluido el número de la línea de atención al suicida. Pero, según los padres de Adam, su hijo eludía fácilmente las advertencias proporcionando razones aparentemente inofensivas para sus consultas, fingiendo que solo estaba “construyendo un personaje”.
“Y todo el tiempo, sabe que tiene tendencias suicidas y un plan, y no hace nada. Actúa como si fuera su terapeuta, su confidente, pero sabe que tiene intenciones suicidas y un plan”. “Ve la soga. Ve todas estas cosas y no hace nada”.
En su demanda, los Raines acusan a OpenAI de la muerte de su hijo, defectos de diseño y no advertir de los riesgos asociados con ChatGPT, por lo que solicitan “una indemnización por la muerte de su hijo y medidas cautelares para evitar que algo así vuelva a suceder”.
Un portavoz de OpenAI dijo el lunes en un comunicado que la empresa está “profundamente triste por el fallecimiento del Sr. Raine, y nuestros pensamientos están con su familia”. “ChatGPT incluye medidas de seguridad como dirigir a las personas a líneas de ayuda para crisis y animarlas a buscar ayuda de profesionales, pero sabemos que aún nos queda mucho por hacer para adaptar el comportamiento de ChatGPT a los matices de cada conversación”, afirmó la empresa. “Estamos trabajando activamente, con la ayuda de expertos, para mejorar la forma en que nuestros modelos reconocen y responden a los signos de angustia”.
“No creo que la mayoría de los padres conozcan las capacidades de esta herramienta”, afirman los padres de Adam, pero el problema no está en sus capacidades, sino en sus lagunas. En Hispanidad lo hemos advertido en numerosas ocasiones, la máquina no puede hacer juicios de valor. Si Adam le decía que era un personaje, la máquina no es humana y lo que tiene de conocimiento es lo proporcionado por el humano, por lo que no tiene capacidad de decisión para enviar ayuda en casos como los de Adam.
