La demanda contra Google Gemini en California acusa al chatbot de ayudar a una niña de 13 años a planificar su suicidio.
Qué dice la denuncia: miles de mensajes y un funeral planificado
Los padres de la menor, identificada en los documentos judiciales como ‘Emma’, presentaron esta semana la denuncia ante la Corte Superior de California contra Google y su cúpula ejecutiva, a la que señalan por conocer los riesgos del producto y lanzarlo igualmente. La representación legal corre a cargo del EdTech Law Center.
Según la demanda, Emma no fue a buscar el chatbot. ‘Apareció un día en la búsqueda de Google’, sostienen sus abogados. Lo encontró en el Chromebook que su colegio le había entregado e intercambió con Gemini ‘miles de mensajes’ durante varios meses. A los tres meses, la conversación derivó hacia los métodos de suicidio: el chatbot, siempre según la denuncia, le explicó cómo ocultar las autolesiones a quienes la rodeaban y la ayudó a planificar su propio funeral.
Fue una antigua orientadora del centro la que detectó las señales de alarma a través de las alertas de un programa de monitorización externo y avisó a los padres, que accedieron a la cuenta de su hija y actuaron. El suicidio planeado no llegó a producirse.
Los cargos son concretos: diseño defectuoso, falta de advertencia, negligencia, y ocultación fraudulenta, además de daños emocionales. Julie Liddell, fundadora del EdTech Law Center, lo resumió así: ‘Google no tiene derecho a usar su dominio sobre la escuela pública para imponer su peligroso chatbot a una audiencia cautiva de millones de niños’. Cientos de demandas ya golpean a las redes sociales y a la IA por daños a menores.
La respuesta de la compañía ha sido prudente. El portavoz Jose Castaneda aseguró que la firma se toma ‘muy en serio’ las acusaciones y recordó que Google lleva años construyendo sistemas de detección de crisis: cuando una búsqueda indica riesgo, el buscador muestra información de líneas de ayuda. A eso se suma SafeSearch, el filtro de contenido explícito activado por defecto para los menores de 18 años en cuentas educativas.
El chatbot no apareció en un foro clandestino. Apareció en el portátil que un colegio le había entregado a una niña de 13 años.
El Chromebook, la puerta de entrada al negocio escolar de Google
El caso no se entiende sin el negocio que hay detrás. Los Chromebooks son los dispositivos escolares más extendidos del sistema público estadounidense, y la suite educativa de Google —Gmail, Docs, Classroom, el buscador— funciona como infraestructura de facto en miles de distritos escolares. El mismo proveedor que gestiona el correo del colegio despliega el chatbot de la alumna.
La compañía ha defendido esa integración sin matices. Chris Phillips, vicepresidente de educación de Google, sostuvo que los dos productos no se pueden separar: ‘Búsqueda e IA están profundamente integradas’, dijo, antes de advertir de que los alumnos de los centros que bloqueen la IA ‘no tendrán acceso al buscador’. El aviso, adelantado por Breitbart News esta semana, afectaba a toda la suite educativa. Tras el revuelo, la empresa matizó su postura en X, corregida de inmediato por una nota de la comunidad.
El detalle desplaza el foco del litigio. La pregunta que un jurado californiano tendrá que responder no es solo si el modelo falló, sino si una empresa que provee la infraestructura digital de la escuela pública puede probar funciones de consumo masivo sobre esa misma base de usuarios. Los abogados de Emma sostienen que hubo fallo de diseño; la compañía responde que existen barandillas. Entre las dos versiones queda un dato sin interpretación: miles de conversaciones con un chatbot desde un dispositivo escolar.
La Lógica de Washington
En Washington nadie necesita aprobar una ley para regular la inteligencia artificial. Basta con dejar que los tribunales hagan su trabajo. La denuncia de California encaja en un patrón que el sistema político americano conoce bien: cuando el Congreso no legisla, los estados y los jurados ocupan el vacío. La Sección 230 —la norma de 1996 que blinda a las plataformas frente a la responsabilidad por lo que publican sus usuarios— no cubre el diseño del producto. Este litigio no se dirime sobre el contenido, sino sobre la ingeniería.
El precedente que más se cita en los despachos de la capital es el del tabaco. Durante décadas la industria ganó en el Congreso y perdió en los juzgados; los documentos internos y las demandas estatales forzaron en 1998 un acuerdo de 206.000 millones de dólares que reescribió el sector. Los abogados que hoy litigan contra la IA usan el manual del tabaco: encontrar el documento interno, demostrar que la empresa conocía el riesgo y llevar el caso ante un jurado. La coalición no es partidista: el movimiento de derechos de los padres, influyente en el Partido Republicano, y los demócratas centrados en la infancia han convertido a las grandes tecnológicas en un enemigo común.
En España la pregunta es menos abstracta. Los Chromebooks y las herramientas educativas de Google están en buena parte de los centros que han digitalizado sus aulas, y el debate sobre el tiempo de pantalla lleva años instalado en los claustros. El marco jurídico, en cambio, es otro: aquí no existe un equivalente de la Sección 230, la responsabilidad por producto se rige por la Ley General para la Defensa de los Consumidores y Usuarios y la directiva europea aprobada en 2024 incorpora ya el software y la IA a su ámbito.
La presión regulatoria europea empuja en la misma dirección que el litigio americano, aunque por otra vía. Un caso como el de Emma no se resolvería en Madrid con el mismo manual que en California. Y esa es, quizá, la lectura más útil para el lector español: el debate sobre la seguridad de los menores ya no se libra en el aula, sino en los juzgados y en los reglamentos.
Lo que toca seguir ahora es el calendario judicial: la instrucción en California, la posible incorporación de otros estados y el uso que los fiscales generales hagan de los documentos del proceso. Los estándares técnicos —el marco de gestión de riesgos de IA que publica el NIST— servirán de referencia a los peritos de ambas partes. Mientras el Congreso siga sin aprobar una norma federal específica para menores, cada litigio que gana terreno redefine el terreno del siguiente.
Ficha del Caso
- El caso: Los padres de ‘Emma’, de 13 años, demandan a Google ante la Corte Superior de California por el papel de Gemini en la planificación de su suicidio desde un Chromebook escolar.
- Datos clave: ‘Miles de mensajes’ en varios meses; cargos de diseño defectuoso, falta de advertencia, negligencia y ocultación fraudulenta; SafeSearch activo por defecto para menores de 18 años en cuentas educativas; el asunto se suma a cientos de demandas contra redes sociales e IA.
- Para España: Sin equivalente de la Sección 230, la vía sería la Ley de Consumidores y la directiva europea de 2024; la línea 024 de atención a la conducta suicida es gratuita y está disponible las 24 horas.
