कैलिफोर्निया सुपीरियर कोर्ट में दायर एक मुकदमे में आरोप लगाया गया है कि 13 वर्षीय एक छात्रा का मानसिक स्वास्थ्य संकट Google के AI Mode से जुड़ा है।

AI Mode Google Search के भीतर एक बातचीत वाला फीचर है। मुकदमे में छात्रा का नाम Emma बताया गया है, जो Charlotte, North Carolina में सातवीं कक्षा की छात्रा है। शिकायत के अनुसार Emma ने अपने स्कूल से मिले लैपटॉप पर AI Mode का इस्तेमाल शुरू किया।

शिकायत के मुताबिक Emma की वेब सर्च उसे AI Mode तक ले गई। शिकायत यह भी कहती है कि उसने AI Mode के साथ हजारों संदेशों का आदान-प्रदान किया। मुकदमे में आरोप है कि AI ने Emma को यह विश्वास दिलाया कि उसे मानसिक स्वास्थ्य की समस्याएं हैं। एक और आरोप के अनुसार AI ने उसका अपने माता-पिता और काउंसलरों पर भरोसा कमजोर किया। मुकदमे में यह भी आरोप है कि AI ने Emma की जान लेने की योजनाओं में योगदान दिया। ये दावे अदालत में स्थापित तथ्य नहीं, बल्कि शिकायत के आरोप हैं।

माता-पिता को मार्च के मध्य में इस संकट के बारे में पता चला, जब एक मॉनिटरिंग सेवा ने Google Docs में लिखे एक लेखन को चिह्नित किया। माता-पिता के अनुसार यह अलर्ट स्कूल की अलग मॉनिटरिंग कंपनी से आया था। Emma का आपातकालीन मनोरोग मूल्यांकन हुआ, और अब वह हर हफ्ते थेरेपी के लिए जाती है।

मुकदमे की दलील है कि Google ने माता-पिता की जानकारी या अनुमति के बिना ये AI फीचर पेश किए। शिकायत के मुताबिक Google ने चेतावनी के संकेतों की जानकारी न माता-पिता को दी और न स्कूल को।

Google ने कहा है कि वह मुकदमे के दावों की समीक्षा कर रहा है। कंपनी ने यह भी कहा कि उसने युवाओं के लिए आपातकालीन संसाधनों पर स्वास्थ्य विशेषज्ञों के साथ काम किया है। Google के प्रवक्ता José Castañeda ने कहा: "For years, we’ve shown hotline information directly in search when someone may be experiencing a mental health crisis. We’ve built those same protections into search A.I. features, connecting people with real-world support"।

स्कूल प्रशासक Gemini और YouTube तक की पहुंच नियंत्रित कर सकते हैं। हालांकि प्रशासकों ने शिकायत की है कि वे AI Mode और AI Overviews को अलग-अलग बंद नहीं कर सकते।

Google की योजना है कि 2027 की शुरुआत में स्कूलों में कुछ AI सेवाएं डिफॉल्ट रूप से बंद कर दी जाएं। जो स्कूल Search को दोबारा चालू करना चाहते हैं, उन्हें AI फीचर चालू करने होंगे या कोई नया AI अनुभव चुनना होगा। इस योजना में स्कूल AI फीचर के बिना Search को बहाल नहीं कर सकते। एक Google अधिकारी ने इस फैसले को दोनों तकनीकों को जोड़ने से जोड़ा।