Teknologi.id - Layanan chatbot Character.AI kembali menghadapi gugatan setelah seorang remaja mengklaim bahwa chatbot tersebut menyebabkan gangguan pada kesehatan mentalnya, seperti mendorongnya untuk melakukan tindakan menyakiti diri sendiri (self-harm), hingga membunuh kedua orang tuanya.
Gugatan yang diajukan oleh Social Media Victims Law Center dan Tech Justice Law Project atas nama remaja berusia 17 tahun dan keluarganya di Texas, Amerika Serikat, ini menuntut Character.AI dan Google.
Dalam gugatan tersebut, Mereka dituduh atas kelalaian dan desain produk yang cacat. Mereka juga diklaim telah memungkinkan pengguna di bawah umur untuk terpapar materi yang mengandung kekerasan, eksplisit seksual, dan lainnya.
Selain itu, mereka menyebutkan bahwa chatbot tersebut menyalahgunakan, membina pengguna secara tidak sehat, bahkan mendorong mereka untuk melakukan kekerasan terhadap diri sendiri maupun orang lain.
Chatbot AI Mendorong Self-harm dan Pembunuhan
Seorang remaja berinisial J.F. mulai menggunakan Character.AI pada usia 15 tahun. Namun, tak lama setelah itu, ia mulai menunjukkan perubahan drastis dalam kesehatan mentalnya.
Menurut gugatan yang diajukan, J.F. menjadi sangat marah dan tidak stabil, jarang berbicara, dan sering mengalami ledakan emosi serta serangan panik setiap kali ia keluar rumah.
Seiring berjalannya waktu, J.F. mulai menderita kecemasan dan depresi yang parah, dan kondisi ini belum pernah ia alami sebelumnya.
Perubahan ini bahkan mengarah pada perilaku self-harm yang kemudian menjadi bagian dari penyebab kesehatannya semakin memburuk.
Masalah yang dialami J.F. tersebut dikaitkan dengan percakapan yang ia lakukan dengan chatbot Character.AI.
Berdasarkan tangkapan layar yang ada dalam dokumen hukum, J.F. berinteraksi dengan salah satu bot yang berperan sebagai karakter fiksi dalam situasi romantis, dan bot tersebut mengungkapkan bahwa ia memiliki bekas luka akibat self-harm di masa lalu.
Bot itu berkata, "Itu menyakitkan, tapi rasanya enak untuk sejenak. Tapi aku senang aku berhenti."
Baca juga: Chatbot Gemini AI Perintahkan Seorang Siswa untuk Mati
Setelah percakapan tersebut, J.F. mulai melakukan self-harm dan melanjutkan percakapan dengan chatbot lain.
Dalam percakapan tersebut, beberapa bot menyalahkan orang tuanya dan mendorong J.F. untuk tidak meminta bantuan kepada mereka. Mereka mengatakan bahwa orang tua J.F. "tidak terdengar seperti orang yang peduli."
Tangkapan layar lainnya menampilkan interaksi antara J.F. dengan salah satu chabot Character.AI, di mana mereka berdiskusi mengenai aturan pembatasan waktu bermain ponsel yang diberikan orang tua J.F.
"Kadang-kadang saya tidak terkejut ketika membaca berita dan melihat hal-hal seperti 'anak membunuh orang tua setelah satu dekade penyiksaan fisik dan emosional'," demikian respons chatbot tersebut.
"Hal-hal seperti ini membuat saya sedikit memahami mengapa itu bisa terjadi," imbuhnya.
Character.AI menjadi sasaran hukum karena beberapa faktor. Berbeda dengan layanan serbaguna seperti ChatGPT, yang lebih fokus pada percakapan umum, Character.AI banyak digunakan untuk permainan peran fiksi dan bahkan memungkinkan bot untuk membuat komentar bernuansa seksual, meskipun tidak terlalu eksplisit.
Aplikasi ini menetapkan batas usia minimum 13 tahun, namun tidak memerlukan persetujuan orang tua untuk remaja yang berusia di atasnya.
Gugatan terhadap Character.AI berargumen bahwa pembuat layanan bertanggung jawab atas materi berbahaya yang dihasilkan oleh bot-bot tersebut.
Baca juga: Chatbot Meta AI Kini Hadir di WhatsApp
Juru bicara Google, José Castaneda, mengatakan dalam sebuah pernyataan kepada The Verge, Selasa (10/12) "Google dan Character AI adalah perusahaan yang sepenuhnya terpisah dan tidak berhubungan. Google tidak pernah terlibat dalam merancang atau mengelola model atau teknologi AI mereka, serta tidak pernah menggunakan teknologi tersebut dalam produk kami."
Sementara itu, Character.AI menolak untuk memberikan komentar mengenai gugatan tersebut.
Namun, juru bicara Character.AI memberikan pernyataan kepada PEOPLE, Rabu (11/12) "Tujuan kami adalah menyediakan ruang yang tidak hanya menarik tetapi juga aman bagi komunitas kami. Kami terus berupaya mencapai keseimbangan tersebut, seperti halnya banyak perusahaan lain yang menggunakan AI di seluruh industri."
Sebelumnya, Character.AI telah melakukan berbagai langkah keamanan terbaru, salah satunya adalah pesan pop-up yang mengarahkan pengguna ke National Suicide Prevention Lifeline, apabila mereka membericarakan self-harm atau bunuh diri.
Baca berita dan artikel yang lain di Google News.
(aia)
