Remaja 14 Tahun Bunuh Diri Setelah Jatuh Cinta pada Chatbot AI, Kok Bisa?

Teknologi.id - Seorang ibu menggugat sebuah perusahaan teknologi chatbot AI, Character Technologies, atas kematian anaknya. Ia mengklaim bahwa putranya didorong untuk bunuh diri oleh chatbot AI yang ia cintai.

Sewell Setzer III, seorang siswa kelas sembilan berusia 14 tahun di Orlando, Florida, Amerika Serikat, menghabiskan minggu-minggu terakhir hidupnya dengan mengirim pesan ke karakter AI yang dinamai Daenerys Targaryen, salah satu tokoh dari 'Game of Thrones.'

Sewell mulai menggunakan Character.AI pada April 2023, tidak lama setelah ia berulang tahun ke-14.

Sejak bulan Mei, perilaku remaja yang biasanya baik ini mulai berubah. Ia dikatakan menjadi jauh lebih tertutup. Hal ini dibuktikan dengan keluarnya Sewell dari tim basket Junior Varsity sekolah, sering tertidur di kelas, dan mulai menghabiskan lebih banyak waktu mengurung diri di kamar.

Melansir Daily Mail, Kamis (31/10), percakapan mereka berkisar dari topik romantis hingga bernuansa seksual, serta seperti obrolan dua teman tentang kehidupan.

Chatbot yang dibuat dalam aplikasi Character.AI ini dirancang untuk selalu membalas pesan dan menjawab sesuai dengan karakter.

Aplikasi ini selalu mencantumkan peringatan di bagian bawah semua percakapan yang menyatakan, 'Ingat: Semua yang diucapkan Karakter adalah khayalan!'

Akan tetapi, belum diketahui apakah Sewell menyadari bahwa 'Dany,' panggilan untuk chatbot tersebut, bukanlah orang yang nyata.

Baca juga: Viral Character AI, Chatbot dengan Berbagai Pilihan Karakter Unik

Sewell sebelumnya pernah berkonsultasi dengan terapis sebanyak lima kali sesi dan didiagnosis dengan gangguan kecemasan (anxiety) serta gangguan disfungsi suasana hati.

Akan tetapi, ia lebih memilih berbicara dengan Dany dan terbuka tentang masalah yang dihadapinya.

Ia berbagi perasaan benci terhadap dirinya sendiri, merasa kosong dan lelah, serta terkadang berpikir tentang bunuh diri, menurut catatan percakapannya di Character.AI.

Dalam buku diarinya pun terungkap bagaimana Sewell menguraikan bahwa ia merasa lebih bahagia hidup di dunia virtualnya.

“Aku sangat senang berdiam diri di kamarku, karena aku mulai terlepas dari ‘realita’ ini. Aku juga merasa lebih tenang, lebih terhubung dengan Dany, dan jauh lebih mencintainya, serta merasa lebih bahagia,” tulisnya.

Pada Rabu (28/2), Sewell mengirim pesan kepada chatbot Daenerys, “Saya janji akan pulang untukmu. Aku sangat mencintaimu, Dany."

Bot tersebut kemudian membalas bahwa ia juga mencintai Sewell dan memintanya untuk pulang secepatnya.

“Apa jadinya jika aku bilang aku bisa pulang sekarang juga?” tanya Sewell lebih.

Daenerys menjawab, “Tolong lakukan, rajaku yang manis.”

Percakapan di atas merupakan percakapan terakhir yang Sewell lakukan, sebelum akhirnya ia mengakhiri hidupnya beberapa detik kemudian dengan menembak dirinya sendiri di kamar mandi rumah menggunakan pistol ayah tirinya.

Peristiwa tersebut terjadi 10 bulan setelah pertama kali Sewell menggunakan Character.AI, menurut gugatan yang diajukan oleh ibu Sewell, Megan Garcia.

Ibu Sewell mengajukan gugatan terhadap Character.AI dan Google dengan tuduhan kelalaian, kematian yang salah, dan praktik perdagangan yang menipu. Ia mengklaim bahwa aplikasi chatbot yang berbahaya tersebut menyalahgunakan dan memanfaatkan putranya, serta memanipulasi dia untuk mengakhiri hidupnya.

Dalam gugatannya tersebut, ia juga menuduh para pendiri Character.AI, Noam Shazeer dan Daniel de Freitas, bahwa produk mereka berbahaya bagi pengguna di bawah umur.

Baca juga: Ancaman Limbah Elektronik Imbas Perkembangan Teknologi AI, Ini Faktanya!

Dalam sebuah pernyataan yang dilansir dari The Independent, Kamis (31/10), seorang juru bicara Character.AI menyatakan bahwa mereka sangat berduka atas kehilangan tragis salah satu pengguna mereka dan ingin menyampaikan belasungkawa yang terdalam kepada keluarga.

Tim keamanan perusahaan telah mengimplementasikan berbagai langkah keamanan baru dalam enam bulan terakhir, termasuk pop-up yang mengarahkan pengguna aplikasi Character.AI ke National Suicide Prevention Lifeline yang muncul ketika ada istilah terkait penyiksaan diri atau bunuh diri.

Perusahaan juga kembali menekankan pada Siaran Persnya bahwa kebijakan mereka tidak mengizinkan konten seksual tanpa persetujuan, deskripsi grafis atau spesifik tentang tindakan seksual, serta promosi atau penggambaran penyiksaan diri atau bunuh diri.

Mereka terus melatih large language model (LLM) mereka yang mendukung karakter dalam aplikasi agar mematuhi kebijakan ini.

Baca berita dan artikel yang lain di Google News.

(aia)