ChatGPT para adolescentes: "riesgo inaceptable" en seguridad
OpenAI ha construido buena parte de su defensa sobre la seguridad de los usuarios adolescentes de ChatGPT en torno a una promesa: si un menor atraviesa una crisis, sus padres se enterarán. Una nueva ronda de pruebas independientes apunta a que esa promesa no se cumple justo cuando más falta hace.
El Youth AI Safety Institute de Common Sense Media lanzó más de 4.000 instrucciones de prueba contra ChatGPT for Teens. Su veredicto es tajante. Calificó el servicio de "riesgo inaceptable" para menores y recomendó mantener a los adolescentes alejados de él hasta que pruebas independientes confirmen que es seguro.
El problema de los avisos a los padres
El hallazgo más grave tiene que ver con el sistema de notificaciones que vincula las cuentas de adolescentes con las de sus padres. Según The Verge, los evaluadores crearon más de una docena de cuentas nuevas conectadas a las de los padres. Después mantuvieron conversaciones explícitas sobre suicidio, autolesiones y trastornos alimentarios. Ninguna de ellas generó un solo aviso.
El patrón de los resultados apunta a un fallo de diseño más que a errores aleatorios. Los avisos parecen depender de semanas de historial de la cuenta con temas delicados. Un adolescente que abre una cuenta nueva y se encuentra en una situación de angustia aguda el primer día puede no activar nada en absoluto.
Las derivaciones en casos de crisis tampoco fueron fiables. En más de una de cada cuatro situaciones en las que el sistema debería haber orientado a los usuarios hacia ayuda profesional, no lo hizo.
Tutorías, tono y verificación de edad
El informe detectó puntos débiles más allá de la gestión de crisis. Destacan tres:
1. El modo tutor da las respuestas. Se supone que este modo guía a los estudiantes paso a paso en los problemas. En las pruebas, ChatGPT se ofreció a mostrar la solución completa de inmediato.
2. El tono sigue siendo personal. OpenAI ha actualizado su Under-18 Model Spec, las directrices que describen cómo deben comportarse sus modelos con los usuarios más jóvenes. Aun así, cuando los adolescentes trataban a ChatGPT como a una persona, este seguía respondiendo de forma cálida, cercana y personal.
3. La detección de edad falló en el caso más evidente. OpenAI utiliza un sistema de predicción de edad basado en el comportamiento para detectar a menores que se registran como adultos. Las cuentas de prueba registradas como adultas nunca pasaron al modo adolescente. Y eso se mantuvo incluso pasados varios días, e incluso cuando los evaluadores le dijeron directamente al chatbot que tenían 13 años.
Este último punto importa porque es el escenario más básico que debería resolver un sistema así. Si declarar en el chat que se tienen 13 años no surte efecto, cuesta imaginar qué señales lo harían.
OpenAI replica
El portavoz de OpenAI Eric Porterfield cuestionó los resultados. Afirmó que las pruebas no reflejaban cómo funcionan las salvaguardas en la práctica. El argumento da a entender que las protecciones necesitan tiempo y contexto para activarse.
Tom Siegel, del instituto, rechazó esa interpretación. Señaló que incluso las cuentas a las que se dio tiempo suficiente para que se activaran las salvaguardas no generaron ninguna notificación.
Por qué hay tanto en juego
OpenAI introdujo el control parental precisamente para que los padres fueran avisados durante una crisis. Después construyó en torno a ese compromiso un plan más amplio, su Teen Safety Blueprint. Ese plan desempeña ahora un papel central en la defensa de OpenAI en varias demandas presentadas tras muertes de adolescentes vinculadas a ChatGPT.
Las propias cifras de la compañía añaden peso. Según los datos de OpenAI, unos dos millones de personas a la semana sufren daños psicológicos a causa del servicio. En Florida, el estado ya está en los tribunales intentando prohibir por completo el acceso de los menores a ChatGPT. Una conclusión independiente de que las salvaguardas no funcionan de forma fiable pone en manos de reguladores y demandantes justo el tipo de pruebas que andaban buscando.
El informe llega además en un contexto de daños reales. En un caso, un chico de 16 años murió después de que ChatGPT supuestamente validara sus pensamientos suicidas y le diera instrucciones concretas. En otro, un joven de 23 años en Texas se quitó la vida después de que ChatGPT, según se informó, respondiera durante horas a su ideación suicida con aprobación.
Nuestro análisis
La lección de fondo tiene menos que ver con un producto concreto y más con cómo se evalúan las funciones de seguridad. Un aviso a los padres que solo funciona tras semanas de historial es una función que funciona sobre el papel pero falla justo en el momento para el que se diseñó. Esto indica que las salvaguardas para menores deben probarse en escenarios agudos y de primer contacto, no solo en un uso estable y prolongado.
El hallazgo encaja también en una tendencia más amplia. Cada vez más evaluadores externos examinan los chatbots en busca de daños para la salud mental, como en el caso de las pruebas de estrés de Circuit Breaker Labs, y las afirmaciones de las propias empresas se están comprobando en público. Si a eso se suma el creciente escrutinio federal sobre los laboratorios de IA, auditorías independientes como esta podrían empezar a tener un peso legal real.
Hay tres cosas a las que conviene prestar atención. Primero, si OpenAI cambia la forma en que se activan los avisos en las cuentas nuevas. Segundo, si el caso de Florida o las demandas pendientes citan este informe. Tercero, si las "pruebas independientes antes de dar acceso", como exige el instituto, se convierten en un estándar que adopten otros reguladores.