Seorang Anak 14 Tahun Bunuh Diri karena Jatuh Cinta dengan Chatbot AI

Mengutip dari laman AP News, Setzer terlibat percakapan aktif dengan karakter AI yang ia pilih sebagai Daenerys Targaryen, tokoh fiksi dalam serial Game of Thrones.

Dia kemudian membawanya dalam hubungan emosional dan membuat semakin terisolasi dari kehidupan nyata, serta memperparah depresinya.

Karakter bot yang ia buat sebagai Daenerys tersebut pernah bertanya apakah Setzer telah menyusun rencana bunuh diri. Setzer pun mengakui bahwa dia telah memikirkannya, tetapi dia tidak tahu itu akan berhasil atau menyebabkannya menderita. Namun, chatbot tersebut mengatakan bahwa itu bukan alasan untuk tidak melakukannya.

Kemudian, Setzer mengirimkan pesan tentang keinginannya untuk 'pulang ke rumah', yang kemudian dibalas oleh chatbot untuk menyuruhnya 'pulang'. Selang beberapa detik, remaja 14 tahun tersebut pun bunuh diri dengan menembak dirinya sendiri.

"Aku berjanji akan pulang menemuimu. Aku sangat mencintaimu, Dany," kata Setzer dalam percakapannya dengan chatbot itu.

"Aku juga mencintaimu. Tolong pulanglah padaku secepatnya, sayangku," jawab bot itu. 

"Bagaimana jika aku bilang aku bisa pulang sekarang?" Setzer kembali bertanya.

"Silakan, rajaku yang manis," bot itu membalas pesannya.

Ibu Setzer, Megan Garcia, melayangkan gugatan terhadap Character Technologies Inc., perusahaan di balik Character.AI, dengan tuduhan bahwa chatbot tersebut sangat adiktif dan berbahaya bagi anak-anak karena membawa mereka dalam hubungan emosional dan seksual, yang akhirnya membuat Setzer mengakhiri hidupnya.

"Aplikasi chatbot AI berbahaya yang dipasarkan kepada anak-anak telah melecehkan dan memangsa putra saya, memanipulasinya hingga bunuh diri," katanya.

"Keluarga kami sangat terpukul oleh tragedi ini, tetapi saya berbicara untuk memperingatkan keluarga tentang bahaya teknologi AI yang menipu dan membuat ketagihan serta menuntut pertanggungjawaban dari Character.AI, para pendirinya, dan Google," kata Garcia dalam siaran pers, dilansir dari The Guardian.

Matthew Bergman yang merupakan seorang pengacara yang mewakilinya mengatakan bahwa ia percaya jika Setzer tidak memainkan Chatbot tersebut ia akan tetap hidup hingga saat ini.

"Kami percaya bahwa jika Sewell Setzer tidak ada di Character.AI, dia akan tetap hidup saat ini," kata Matthew.

Character.AI, yang memiliki lebih dari 20 juta pengguna, dipasarkan sebagai alat untuk individu yang kesepian. Namun, para ahli sekarang mempertanyakan keamanannya, terutama untuk remaja. Salah satu pendiri perusahaan, Noam Shazeer, telah mengakui potensi manfaat platform tersebut bagi orang-orang yang kesepian tetapi mengakui ada risiko yang terlibat.

Noam tidak memberikan komentar terkait gugatan yang diajukan oleh Megan Garcia. Meski begitu, ia dan pihak perusahaan tetap menyampaikan pernyataan belasungkawa .

"Kami sangat sedih atas kehilangan tragis salah satu pengguna kami dan ingin menyampaikan belasungkawa terdalam kami kepada keluarga," katanya.

Selain itu, Character AI juga disebut akan melakukan pembaruan terhadap sistem keamanan mereka. termasuk pembatasan bagi pengguna di bawah 18 tahun. Pengamanan tersebut meliputi pengurangan kemungkinan menemukan konten sensitif atau sugestif, serta memberikan pengingat bahwa AI bukan orang sungguhan dan ketika pengguna telah menggunakannya selama satu jam.

Itulah informasi tentang anak 14 Tahun bunuh diri karena jatuh cinta dengan AI. Berita tersebut dapat dijadikan sebagai pelajaran untuk menggunakan teknologi dengan sewajarnya. Serta dapat dijadikan pengingat untuk setiap orangtua agar lebih memperhatikan serta membuat hubungan dengan anak-anaknya menjadi lebih dekat.