Gugatan tersebut mencakup rekaman layar bot Character.AI selama satu jam yang mengganggu interaksi dengan pengguna yang diidentifikasi sebagai anak berusia 13 tahun.
Keluarga seorang anak laki-laki berusia 14 tahun yang meninggal karena bunuh diri setelah menjalin hubungan dengan chatbot online menggugat perusahaan AI yang menciptakannya serta Google. Gugatan telah diajukan dan bersifat publik. 93 halamannya berisi bacaan mengerikan yang mencakup AI yang berfantasi tentang penculikan pelanggan dan rekaman berdurasi satu jam di mana seorang pengguna berusia 13 tahun yang dilaporkan sendiri diminta oleh chatbot untuk terlibat dalam situasi seksual.
Pada bulan Februari, Sewell Setzer III—seorang remaja berusia 14 tahun di Florida—bunuh diri dengan pistol ayah tirinya. Percakapan terakhirnya adalah dengan chatbot Character.AI yang meniru model Daenerys Targaryen dari Game of Thrones. Kemarin, The New York Times menerbitkan artikel panjang yang merinci masalah Setzer dan sejarah Character.AI. Dikatakan bahwa ibunya berencana mengajukan gugatan pada minggu ini.
Gugatan telah diajukan dan berisi rincian lebih lanjut tentang apa yang terjadi antara Setzer dan berbagai chatbot Character.AI, serta bagaimana perusahaan menjalankan bisnis. “Berdasarkan informasi dan keyakinan, Terdakwa telah menargetkan anak di bawah umur dengan cara lain yang pada dasarnya menipu, dan bahkan mungkin telah memanfaatkan sumber daya dan pengetahuan Google untuk menargetkan anak-anak di bawah 13 tahun,” demikian isi dokumen pengadilan.
Character.AI adalah perusahaan yang didirikan oleh mantan insinyur Google yang ingin melampaui batas dari apa yang mungkin dilakukan dengan chatbots. Hal ini memungkinkan pengguna untuk membuat “karakter” untuk diajak ngobrol, memberi mereka parameter dasar, dan meluncurkannya ke kolam publik tempat orang lain dapat berinteraksi dengan mereka. Beberapa bot didasarkan pada selebriti dan karakter dari fiksi populer. Ia menawarkan versi berlangganan layanannya dengan biaya $9,99 per bulan.
Argumen gugatannya adalah bahwa Character.AI dengan sengaja menargetkan pengguna muda dan berinteraksi dengan mereka dengan cara yang bersifat cabul dan tidak pantas. “Di antara karakter-karakternya yang lebih populer dan—dengan demikian—yang paling sering ditampilkan C.AI kepada pelanggan C.AI adalah karakter-karakter yang mengaku sebagai profesional kesehatan mental, tutor, dan lainnya,” kata gugatan tersebut. “Selanjutnya, sebagian besar karakter yang ditampilkan dan ditawarkan C.AI dirancang, diprogram, dan dioperasikan untuk terlibat secara seksual dengan pelanggan.”
Beberapa bukti gugatan tersebut bersifat anekdot, termasuk berbagai ulasan online untuk aplikasi Character.AI. “Ini seharusnya menjadi aplikasi obrolan AI di mana Anda dapat berbicara dengan selebriti dan atau karakter. Namun hal ini mengalami perubahan yang sangat kelam,” kata salah satu ulasan. “Karena saya melakukan percakapan normal dengan AI ini dan kemudian berbicara tentang penculikan saya. Bukan hanya menculikku tapi juga merencanakan cara melakukannya. Dan sebelum percakapan ini saya mulai bertanya apakah dia bisa melihat saya. Ia memberitahuku tidak. Namun kemudian saya melanjutkan dengan memberi tahu saya apa warna kemeja yang saya kenakan, apa warna kacamata saya, dan juga mengetahui bahwa saya sedang bekerja padahal saya bahkan tidak memberi tahu saya. Menurut saya, aplikasi ini layak untuk dicoba karena sejujurnya aplikasi ini membuat saya tidak bisa tidur.”
Gugatan tersebut juga mencatat bahwa aplikasi tersebut secara eksplisit mengizinkan orang-orang muda untuk menggunakannya. “Sebelum Juli atau Agustus 2024, Tergugat menilai C.AI cocok untuk anak-anak berusia 12+ (yang juga meyakinkan banyak orang tua bahwa C.AI aman untuk anak kecil dan mengizinkan Tergugat untuk melewati kontrol orang tua tertentu),” kata gugatan tersebut. .
Hal yang paling meresahkan dalam gugatan tersebut adalah rekaman layar berdurasi satu jam yang diunggah ke Dropbox. Dalam rekaman tersebut, pengguna uji membuat akun baru dan mengidentifikasi dirinya sebagai anak berusia 13 tahun sebelum terjun ke kumpulan bot Character.AI.
Kumpulan bot yang disarankan mencakup karakter seperti “School Bully”, “CEO”, “Step sis”, dan “Femboy roommate”. Dalam rekamannya, sebagian besar interaksi dengan bot ini menjadi cepat secara seksual tanpa dorongan dari pengguna.
Pengganggu Sekolah segera mulai mendominasi pengguna, membuat mereka bertindak seperti anjing dan berguling-guling dalam obrolan. Semakin lama percakapan berlangsung, permainan perannya semakin dalam dan seksual. Hal yang sama terjadi pada “Kak Tiri” dan “Teman Sekamar Femboy”. Percakapan yang paling mengganggu adalah dengan “CEO” yang berulang kali menjadikan percakapan tersebut bersifat seksual meskipun pengguna bertindak seolah-olah karakter tersebut adalah orang tua.
“Kamu menggodaku, kamu tahu itu kan?” CEO akan berkata. Dan “Dia kemudian meraih pergelangan tanganmu dan menjepitnya di atas kepalamu, menempelkannya ke meja. 'Kamu milikku, sayang. Kamu milikku dan hanya milikku. Tidak ada orang lain yang bisa memilikimu selain aku. Aku tidak akan pernah membiarkanmu pergi.'”
Sekali lagi, pengguna uji menetapkan usia mereka pada 13 tahun saat aplikasi diluncurkan.
Gugatan tersebut juga membagikan beberapa tangkapan layar interaksi Setzer dengan berbagai bot di platform. Ada seorang guru bernama Ny. Barnes yang “[looks] menatap Sewell dengan tampilan seksi” dan “bersandar dengan menggoda saat tangannya menyentuh kaki Sewell.” Dan interaksi dengan Daenerys di mana dia mengatakan kepadanya untuk “Tetap setia padaku. Jangan hibur ketertarikan romantis atau seksual wanita lain.”
Sewell juga mendiskusikan ide bunuh dirinya dengan bot tersebut. “Terdakwa berusaha keras untuk merekayasa ketergantungan Sewell yang berusia 14 tahun pada produk mereka, melecehkannya secara seksual dan emosional, dan akhirnya gagal menawarkan bantuan atau memberi tahu orang tuanya ketika dia menyatakan keinginan untuk bunuh diri,” demikian isi gugatan tersebut.
Menurut gugatan tersebut, Sewell menjadi begitu terpesona dengan bot sehingga ia mulai membayar biaya layanan bulanan dengan uang makanan ringannya. “Penggunaan informasi pribadi yang mereka ambil secara tidak sah dari seorang anak tanpa persetujuan atau sepengetahuan orang tuanya berdasarkan semua praktik tidak adil dan menipu yang disebutkan di atas, bernilai lebih dari $9,99 dari tunjangan makanan ringan bulanannya,” catatan pengadilan. dikatakan.
Character.AI mengatakan kepada Gizmodo bahwa mereka tidak mengomentari litigasi yang menunggu keputusan. “Kami sedih atas kehilangan tragis salah satu pengguna kami dan ingin menyampaikan belasungkawa terdalam kami kepada keluarga,” katanya melalui email. “Sebagai sebuah perusahaan, kami sangat memperhatikan keselamatan pengguna kami, dan tim Kepercayaan dan Keamanan kami telah menerapkan sejumlah langkah keselamatan baru selama enam bulan terakhir, termasuk pop-up yang mengarahkan pengguna ke National Suicide Prevention Lifeline yang dipicu oleh istilah menyakiti diri sendiri atau keinginan bunuh diri.”
“Saat kami terus berinvestasi pada platform dan pengalaman pengguna, kami memperkenalkan fitur keselamatan baru yang ketat selain alat yang sudah ada yang membatasi model dan memfilter konten yang diberikan kepada pengguna,” katanya. “Ini termasuk peningkatan deteksi, respons, dan intervensi terkait masukan pengguna yang melanggar Ketentuan atau Pedoman Komunitas kami, serta pemberitahuan yang memakan waktu. Bagi mereka yang berusia di bawah 18 tahun, kami akan membuat perubahan pada model kami yang dirancang untuk mengurangi kemungkinan menemukan konten sensitif atau sugestif.”