Mengapa CEO Character.AI Masih Mengizinkan Putrinya yang Berusia 6 Tahun Menggunakan Aplikasi Tersebut

(SeaPRwire) –   Selamat datang kembali di In the Loop, buletin dua mingguan baru TIME tentang AI. Jika Anda membaca ini di peramban Anda, mengapa tidak berlangganan agar edisi berikutnya dikirim langsung ke kotak masuk Anda?

Siapa yang Harus Diketahui: Karandeep Anand, CEO Character.AI

Character.AI sedang menjadi sorotan. Platform chatbot ini, yang memungkinkan pengguna untuk mengobrol dengan AI yang mewujudkan karakter fiksi, menjadi target dari beberapa tuntutan hukum — termasuk satu dari Megan Garcia, seorang ibu yang putranya yang berusia 14 tahun bunuh diri setelah terobsesi dengan salah satu bot, yang diduga mendorongnya untuk mengakhiri hidupnya sendiri.

Setelah tuntutan hukum itu dan lainnya, bulan lalu Character.AI membuat pengumuman besar: mereka akan melarang pengguna di bawah usia 18 tahun untuk melakukan “percakapan terbuka” dengan chatbot di platform mereka. Ini adalah perubahan besar bagi perusahaan yang mengatakan bahwa Generasi Z dan Alpha merupakan inti dari lebih dari 6 juta pengguna aktif harian mereka, yang menghabiskan rata-rata 70 hingga 80 menit per hari di platform tersebut.

Minggu lalu, saya duduk bersama CEO Character.AI yang baru, Karandeep Anand, untuk membahas larangan tersebut dan apa yang menyebabkannya.

Menurut Anand, waktu pemberlakuan larangan tersebut tidak ada hubungannya dengan kasus hukum yang dihadapi Character.AI. Tuntutan hukum atas kematian yang salah oleh Garcia, tekannya, berasal dari sebelum masa jabatannya sebagai CEO. Dan dia membela rekam jejak platform dalam menciptakan pagar pembatas untuk pengguna di bawah 18 tahun.

Larangan anak-anak menggunakan Character.AI, kata Anand, sebagian berasal dari penelitian baru yang menunjukkan risiko penggunaan chatbot, terutama bagi anak-anak. “Salah satu faktor yang berkontribusi adalah berasal dari pembelajaran baru bahwa dampak longitudinal interaksi chatbot bisa tidak sehat, atau tidak sepenuhnya dipahami,” katanya kepada saya, menunjuk pada penelitian dari OpenAI dan Anthropic tentang bahaya apa yang disebut penjilat AI. Mengingat temuan tersebut, dia memutuskan bahwa mengizinkan anak-anak di platform terlalu berisiko.

Tetapi larangan anak-anak menggunakan Character.AI tidak total. Mereka masih diizinkan untuk mengakses fitur Character.AI lainnya, seperti berinteraksi dengan umpan video pendek yang dihasilkan AI, mirip dengan Halaman Untuk Anda di TikTok, yang meminta pengguna untuk mempersonalisasi video populer dengan menambahkan karakter mereka sendiri, atau dengan memodifikasi perintah.

Saya terkejut, mengingat konteks percakapan kami, mendengar Anand mengatakan bahwa putrinya yang berusia enam tahun adalah pengguna setia Character.AI. “Apa yang dulu dia lakukan sebagai melamun sekarang terjadi melalui bercerita dengan karakter yang dia buat dan ajak bicara,” kata Anand. “Bahkan dalam percakapan [di mana] dia akan merespons dengan ragu-ragu kepada saya, dia berbicara kepada chatbot dengan lebih terbuka.” (Pengguna di bawah 13 tahun sama sekali tidak diizinkan di platform, Anand mengakui, jadi dia hanya mengizinkan putrinya mengakses Character.AI melalui akunnya sendiri, dengan pengawasan.) Antusiasme putrinya terhadap fitur audiovisual Character.AI memberi Anand kepercayaan diri untuk mempertaruhkan perusahaan dalam membangun pengalaman gamifikasi semacam itu untuk anak-anak, katanya, alih-alih mengizinkan obrolan teks terbuka.

CEO pasrah kehilangan beberapa pengguna sebagai akibat dari keputusannya. “Saya bersedia bertaruh bahwa kami akan membangun pengalaman yang lebih menarik, tetapi jika itu berarti beberapa pengguna berhenti, maka beberapa pengguna berhenti,” katanya. Tetapi dia tidak sepenuhnya mengesampingkan pembalikan larangan chatbot untuk usia di bawah 18 tahun. “Saya cukup yakin pada suatu saat, ketika teknologi berkembang cukup jauh, dan kami dapat memiliki lebih banyak pengalaman yang terjaga untuk mengetik, kami akan mengembalikan pengalaman itu.”

Namun, perubahan haluan ini telah menempatkan Character.AI — yang begitu lama menjadi contoh buruk pengembangan AI yang tidak bertanggung jawab — ke dalam posisi aneh sebagai pemandu sorak untuk pengalaman online yang lebih aman bagi anak-anak. Anand mengatakan dia menyambut baik rancangan undang-undang yang baru-baru ini diusulkan oleh Senator Josh Hawley yang akan melarang siapa pun di bawah usia 18 tahun untuk menggunakan aplikasi pendamping AI secara nasional. “Hal yang akan sangat menyedihkan bagi industri ini adalah jika kita membuat keputusan ini [untuk melarang pengguna di bawah 18 tahun] dan kemudian pengguna akhirnya tertarik ke platform lain yang tidak mengambil tanggung jawab ini,” kata Anand kepada saya. “Standar untuk pengguna di bawah 18 tahun, dari perspektif keselamatan, harus ditingkatkan… Ini harus diatur.”

Jika Anda punya waktu, mohon luangkan waktu untuk mengisi singkat kami untuk membantu kami lebih memahami siapa Anda dan topik AI mana yang paling menarik bagi Anda.

Apa yang Perlu Diketahui: Uni Eropa mempertimbangkan pertukaran privasi untuk menarik uang AI

Regulator Uni Eropa sedang mempertimbangkan untuk menghapus beberapa perlindungan privasi mereka yang luas dalam upaya untuk menjadikan benua itu tempat yang lebih menarik untuk investasi AI, di tengah pertumbuhan ekonomi yang lesu.

memperoleh dokumen yang menunjukkan bahwa para pejabat berencana untuk mengubah undang-undang privasi utama UE, General Data Protection Regulation (GDPR), untuk memungkinkan perusahaan AI melatih dan menjalankan sistem mereka menggunakan kategori data pribadi yang sebelumnya dilindungi.

Apa yang Sedang Kami Baca

, oleh Andrea Miotti di TIME

Kepala Control AI, Andrea Miotti menyerukan gerakan global untuk menghentikan AI super cerdas, seperti halnya dunia bersatu untuk menghentikan lubang yang tumbuh di lapisan Ozon. “Risiko kepunahan dari superintelijen dengan demikian berpotensi untuk menembus setiap divisi,” tulisnya. “Ini dapat menyatukan orang-orang lintas partai politik, agama, bangsa, dan ideologi. Tidak seorang pun ingin hidup mereka, keluarga mereka, dunia mereka dihancurkan.”

“`