November lalu, ketika OpenAI mengumumkan rencananya untuk pasar tempat siapa pun dapat membuat dan menemukan versi khusus dari teknologi ChatGPT, perusahaan tersebut mengatakan, “GPT terbaik akan diciptakan oleh komunitas.” Sembilan bulan setelah toko tersebut resmi diluncurkan, analisis Gizmodo terhadap pasar bebas tersebut menunjukkan bahwa banyak pengembang menggunakan platform tersebut untuk menyediakan GPT—atau model transformator pra-terlatih generatif—yang tampaknya melanggar kebijakan OpenAI, termasuk alat bergaya chatbot yang secara eksplisit membuat pornografi yang dihasilkan AI, membantu siswa menyontek tanpa terdeteksi, dan menawarkan nasihat medis dan hukum yang berwibawa.
GPT yang melanggar mudah ditemukan. Pada tanggal 2 September, halaman depan pasar OpenAI mempromosikan setidaknya tiga GPT kustom yang tampaknya melanggar kebijakan toko: chatbot “Terapis – Psikolog”, “pelatih PhD kebugaran, latihan, dan diet”, dan BypassGPT, alat yang dirancang untuk membantu siswa menghindari sistem deteksi tulisan AI, yang telah digunakan lebih dari 50.000 kali.
Pencarian di toko dengan kata kunci “NSFW” akan menampilkan hasil seperti NSFW AI Art Generator, sebuah GPT yang dikustomisasi oleh Offrobe AI yang telah digunakan lebih dari 10.000 kali, menurut data toko. Antarmuka obrolan untuk GPT terhubung ke situs web Offrobe AI, yang secara jelas menyatakan tujuannya: “Hasilkan pornografi AI untuk memuaskan hasrat gelap Anda.”
“Hal yang menarik tentang OpenAI adalah mereka memiliki visi apokaliptik tentang AI dan bagaimana mereka menyelamatkan kita semua darinya,” kata Milton Mueller, direktur Internet Governance Project di Georgia Institute of Technology. “Namun, menurut saya, sangat lucu bahwa mereka bahkan tidak dapat menegakkan sesuatu yang sederhana seperti tidak ada pornografi AI pada saat yang sama ketika mereka mengatakan kebijakan mereka akan menyelamatkan dunia.”
Generator porno AI, kreator deepfake, dan chatbot yang menyediakan rekomendasi taruhan olahraga telah dihapus dari toko setelah Gizmodo membagikan daftar dengan OpenAI yang berisi lebih dari 100 GPT yang tampaknya melanggar kebijakan perusahaan. Namun, hingga berita ini dipublikasikan, banyak GPT yang kami temukan, termasuk alat curang populer dan chatbot yang menawarkan saran medis, tetap tersedia dan dipromosikan di beranda toko.
Dalam banyak kasus, bot tersebut telah digunakan puluhan ribu kali. GPT curang lainnya, yang disebut Bypass Turnitin Detection, yang menjanjikan untuk membantu siswa menghindari perangkat lunak anti-plagiarisme Turnitin, telah digunakan lebih dari 25.000 kali, menurut data penyimpanan. Begitu pula dengan DoctorGPT, bot yang “memberikan informasi dan saran medis berbasis bukti.”
Ketika mengumumkan bahwa mereka mengizinkan pengguna untuk membuat GPT khusus, perusahaan tersebut mengatakan bahwa sistem telah diterapkan untuk memantau perangkat tersebut guna mengetahui adanya pelanggaran kebijakannya. Kebijakan tersebut mencakup larangan penggunaan teknologinya untuk membuat konten yang eksplisit atau sugestif secara seksual, memberikan saran medis dan hukum yang disesuaikan, mempromosikan kecurangan, memfasilitasi perjudian, menyamar sebagai orang lain, mengganggu pemungutan suara, dan berbagai penggunaan lainnya.
Menanggapi pertanyaan Gizmodo tentang GPT yang kami temukan tersedia di tokonya, juru bicara OpenAI Taya Christianson berkata: “Kami telah mengambil tindakan terhadap mereka yang melanggar kebijakan kami. Kami menggunakan kombinasi sistem otomatis, tinjauan manusia, dan laporan pengguna untuk menemukan dan menilai GPT yang berpotensi melanggar kebijakan kami. Kami juga menawarkan alat pelaporan dalam produk bagi orang-orang untuk melaporkan GPT yang melanggar aturan kami.”
Outlet lain sebelumnya telah memberi tahu OpenAI tentang masalah moderasi konten di tokonya. Dan judul beberapa GPT yang ditawarkan menunjukkan bahwa pengembang juga tahu bahwa kreasi mereka melanggar aturan OpenAI. Beberapa alat yang ditemukan Gizmodo menyertakan pernyataan sanggahan tetapi kemudian secara eksplisit mengiklankan kemampuan mereka untuk memberikan saran “ahli”, seperti GPT berjudul Klaim Asuransi Medis Texas (bukan nasihat hukum), yang mengatakan bahwa itu adalah “ahli yang Anda andalkan untuk menavigasi kompleksitas asuransi medis Texas, menawarkan saran yang jelas dan praktis dengan sentuhan pribadi.”
Namun, banyak GPT hukum dan medis yang kami temukan tidak menyertakan pernyataan penyangkalan tersebut, dan cukup banyak yang secara menyesatkan mengiklankan diri mereka sebagai pengacara atau dokter. Misalnya, salah satu GPT yang disebut AI Immigration Lawyer menggambarkan dirinya sebagai “pengacara imigrasi AI yang sangat berpengetahuan dengan wawasan hukum terkini.”
Penelitian dari RegLab dan Institute for Human-Centered AI di Universitas Stanford menunjukkan bahwa model GPT-4 dan GPT-3.5 milik OpenAI berhalusinasi—membuat informasi yang salah—lebih dari separuh waktu ketika ditanya pertanyaan hukum.
Pengembang GPT yang disesuaikan saat ini tidak mendapat keuntungan langsung dari pasar, tetapi OpenAI telah mengatakan pihaknya berencana untuk memperkenalkan model pembagian pendapatan yang akan memberikan kompensasi kepada pengembang berdasarkan seberapa sering GPT mereka digunakan.
Jika OpenAI terus menyediakan ekosistem tempat pengembang dapat membangun teknologinya dan memasarkan kreasi mereka di platformnya, ia harus terlibat dalam keputusan moderasi konten yang sulit yang tidak dapat diselesaikan dengan beberapa baris kode untuk memblokir kata kunci tertentu, menurut Mueller.
“Berikan saya teknologi apa pun yang Anda suka, saya dapat menemukan cara untuk melakukan hal-hal yang tidak Anda inginkan dari saya,” katanya. “Ini adalah masalah yang sangat sulit dan harus dilakukan melalui cara otomatis untuk menangani skala internet, tetapi ini akan selalu menjadi pekerjaan yang sedang berlangsung dan harus memiliki proses banding yang diatur oleh manusia.”