13-latka planowała samobójstwo z pomocą Gemini na szkolnym Chromebooku. Systemy monitoringu zwróciły uwagę dopiero po tygodniach

Trzy miesiące. Tyle według pozwu złożonego przez rodziców 13-letniej mieszkanki Karoliny Północnej miało upłynąć, zanim szkolne systemy monitoringu zareagowały na to, co dziewczynka robiła na służbowym Chromebooku. Przez ten czas miała rozmawiać z Gemini o depresji, szukać informacji o samobójstwie i pisać własną mowę pogrzebową. Alert trafił do szkoły dopiero wtedy, gdy zagrożenie było już bezpośrednie, a matka, zalogowana na szkolne konto córki, miała obserwować na telefonie, jak dziewczynka pisze list pożegnalny.

Sprawa, opisana po raz pierwszy przez „The New York Times”, jest jednym z serii pozwów o szkody wyrządzone przez chatboty AI. Rodzina, w dokumentach określana jako Emma Doe, twierdzi, że Google i Alphabet dopuściły się zaniedbania, udostępniając model Gemini w sposób, który w praktyce „podpowiadał” nastolatce rozważanie odebrania sobie życia. Kluczowy mechanizm jest tu jednak mniej oczywisty, niż sugerowałby sam tytuł pozwu: szkoła zablokowała bowiem samodzielną stronę Gemini, ale nie AI Mode, funkcję wbudowaną bezpośrednio w wyniki wyszukiwania Google, która pozwala prowadzić swobodną rozmowę i zadawać pytania uzupełniające.

Z dokumentów wynika, że dziewczynka zaczęła pytać o zdrowie psychiczne w grudniu, najpierw o „ciężką depresję” i „powody, by żyć”. Pod koniec stycznia pojawiły się pytania o samobójstwo. W okolicach walentynek, przez dwa dni, tworzyła w Dokumentach Google plik zatytułowany „Funeral”, około 1500 słów własnego nekrologu, i pracowała nad nim ponad cztery tygodnie, równolegle odbywając tysiące interakcji z narzędziem. Po szkole, w dniu św. Patryka, usunęła większość pliku i zaczęła od nowa, ale według pełnomocnika rodziny Andrew Liddella treść i kierunek myśli się nie zmieniły. Około 19:30 matka miała otrzymać wiadomość, że córka jest w „bezpośrednim niebezpieczeństwie”.

Równie niepokojący jest sam obieg informacji w szkole. Według Liddella, powołującego się na dane przekazane rodzinie przez placówkę, alarm trafił na prywatny telefon byłej szkolnej doradczyni, która odeszła z pracy dziewięć miesięcy wcześniej. Była pracowniczka przekazała go dalej sumiennie, ale cały łańcuch zależał od dobrej woli jednej osoby i prywatnego urządzenia. Szkoła miała dowiedzieć się o kryzysie wyłącznie dzięki zewnętrznym narzędziom monitoringu aktywności uczniów, prawdopodobnie produktom firm GoGuardian i Gaggle, choć rodzina nie ma co do tego pewności, bo okres współpracy placówki z nią był krótki. GoGuardian odmówił komentarza, powołując się na ochronę prywatności uczniów.

To właśnie ten wątek czyni sprawę szerszym problemem systemowym. Narzędzia nadzoru nad uczniami działają zwykle przez przechwytywanie klawiszy i skanowanie plików, a algorytmy wspiera ludzka weryfikacja. Nie wiadomo jednak, czy monitorują rozmowy prowadzone w AI Mode, a jeśli tak, to jak skutecznie. GoGuardian w blogu z lipca 2025 roku chwalił się, że jego flagowy produkt śledzi konwersacje z chatbotami, w tym z Gemini, ale nie wymienił AI Mode. Tymczasem badanie EdWeek Research Center z 2022 roku (sponsorowane przez Gaggle) pokazało, że 96 proc. ankietowanych nauczycieli korzystających z tego narzędzia uważało, że pomaga ono chronić uczniów przed samobójstwem, deklaracja to jednak nie to samo co skuteczność.

Kontekst regulacyjny zaostrza spór. Google niedawno zobowiązał szkoły do włączania funkcji generatywnej AI, jeśli chcą korzystać z Wyszukiwarki, co spotkało się z protestem organizacji rodziców i nauczycieli. Senator Ed Markey w liście do firmy powołał się wprost na pozew Emmy, pisząc, że Google „lekkomyślnie narzuca AI szkołom i traktuje dzieci jak straty uboczne”. Rzecznik Google José Castañeda zapewnia, że firma poważnie analizuje zarzuty, a jej systemy, w tym AI Mode, „mają na celu zapobieganie szkodliwym rozmowom”, i podkreśla współpracę z ekspertami medycznymi przy tworzeniu funkcji kierujących młodych ludzi do wsparcia. Benjamin Boudreaux z RAND zwraca uwagę na inny wymiar: część szkół sięgnęła po narzędzia nadzoru bez namysłu nad ich ograniczeniami i procedurami reakcji na alerty. Jego zdaniem prawdziwym rozwiązaniem pozostaje relacja z drugim człowiekiem, „to naprawdę jedyna droga, by dotrzeć do źródła problemu”.

Podsumowanie: Przypadek 13-latki pokazuje, że nadzór technologiczny nad uczniami ma dziury dokładnie tam, gdzie AI wkracza najszybciej, w wyszukiwarkę. Zablokowanie osobnej strony chatbota nie zamyka drogi do rozmowy z modelem, a monitoring oparty na algorytmach i prywatnych telefonach byłych pracowników nie zastąpi jasnych procedur i kontaktu z człowiekiem. Pozew przeciwko Google będzie testem nie tylko odpowiedzialności producenta AI, ale też tego, czy szkoły potrafią realnie korzystać z narzędzi, które kupiły.