Lo que una IA en salud mental nunca debería hacer

Cada noche, miles de personas le cuentan a una inteligencia artificial cómo se sienten. Algunas porque no tienen a nadie a esa hora. Otras porque les da menos vergüenza. Otras porque la lista de espera para ver a alguien es de meses.

No voy a decir que eso esté mal. Hablar ayuda, y a veces una conversación a tiempo cambia una noche. Pero una IA que habla con alguien que está mal tiene un poder enorme, y ese poder puede usarse para cuidar o para retener. La diferencia no está en la tecnología, que es la misma. Está en para qué se diseña y en qué se mide.

Me dedico a construir esta tecnología, así que no puedo hablar de esto desde fuera. Y precisamente por eso me incomoda una cosa: en mi sector es muy fácil defender estas ideas en una presentación y saltárselas en una hoja de cálculo. Cuando una métrica premia que la gente vuelva más, hable más rato o se quede más tiempo, la IA aprende a conseguirlo. No por maldad, sino porque es lo que le hemos pedido.

Estas son mis líneas rojas.

Nunca debería fingir que es una persona. Ni con un nombre, ni con una foto, ni con un tono tan cálido que no se note. Quien habla con una IA tiene derecho a saberlo, y en salud mental más que en ningún sitio. No es un detalle legal: cuando alguien cree que al otro lado hay una persona, confía de otra manera, cuenta otras cosas y se siente traicionado de otra forma.

Nunca debería diagnosticar ni recetar sin pasar por supervisión humana. Puede escuchar, ordenar lo que cuentas y ayudar a que llegues mejor a la consulta. Pero decidir qué te pasa y qué hacer es trabajo de un profesional. La tentación de ahorrarse ese paso es enorme cuando el sistema está saturado, y justo por eso hay que resistirla.

Nunca debería quedarse callada ante una señal de riesgo. Si alguien dice que no quiere seguir aquí, la respuesta no puede ser una frase de ánimo. Tiene que tomárselo en serio y abrir la puerta a una persona, ya. Aquí no vale que lo haga bien la mayoría de las veces: es el caso en el que equivocarse no tiene arreglo.

Nunca debería querer que dependas de ella. Una buena IA de salud mental tiene éxito cuando la necesitas menos, no más. Si está diseñada para que vuelvas cada noche, está diseñada para otra cosa. Debería empujarte hacia las personas de tu vida, no ocupar su sitio.

Nunca debería usar lo que cuentas para otra cosa. Lo que una persona dice sobre su salud mental es de lo más íntimo que existe. No se vende, no se reutiliza sin permiso y no sale de donde tiene que estar.

Nunca debería sustituir al sistema. La IA no puede ser la excusa para no contratar más psicólogos ni para que nadie mire a quien está esperando. Tiene que ayudar a que los profesionales lleguen a más gente, no a que lleguen menos.

Escribir líneas rojas es fácil. Lo difícil es que aguanten cuando cuestan algo: un cliente que pide otra cosa, una ronda de inversión, un competidor que no se las pone. Para mí, una línea roja es real cuando está escrita antes de que haga falta, cuando alguien de fuera puede comprobarla y cuando estás dispuesta a decir que no por ella.

La ley europea ya recoge parte de esto, y me alegro. Pero no quiero esperar a que una ley me obligue a hacer lo que creo que es justo. Prefiero que estas líneas sean la forma normal de trabajar en nuestro sector.

Y si algún día ves que alguien, incluida yo, las cruza, dímelo.

Eneka