Saya membantu merancang sistem yang menghancurkan pembiayaan ISIS. Saya punya gagasan tata kelola AI yang akan disukai Paus dan Anthropic.

(SeaPRwire) –   Ketika Silicon Valley dan Takhta Suci sepakat, patut dipertanyakan apa yang mereka ketahui yang tidak diketahui oleh pemerintah.

Pada hari Senin, Paus Leo XIV menerbitkan ensiklik pertamanya, Magnifica Humanitas, yang menyerukan agar AI dilucuti dan diatur demi kemanusiaan. Berdiri di sampingnya di Vatikan adalah Christopher Olah, salah satu pendiri Anthropic, yang mengakui bahwa perusahaan AI beroperasi “di dalam serangkaian insentif dan batasan yang terkadang dapat bertentangan dengan melakukan hal yang benar.” Secara terpisah, CEO Anthropic Dario Amodei menyatakan bahwa “tingkat risiko berikutnya sebenarnya adalah perusahaan AI itu sendiri” — dan bahwa para pemimpin AI, termasuk dirinya sendiri, seharusnya tidak menjadi orang yang memutuskan masa depan teknologi tersebut.

Ini adalah para arsitek sistem AI paling mampu yang ada saat ini yang memberi tahu dunia bahwa mereka tidak dapat mengatur diri mereka sendiri. Pertanyaannya bukan lagi apakah tata kelola AI global diperlukan. Pertanyaannya adalah apakah itu akan dirancang sebelum krisis membuatnya jelas bagi semua orang.

Industri tahu — dan mengatakannya

Di dalam industri, sedikit orang serius yang menyangkal risiko inti: gangguan pasar tenaga kerja, senjata otonom, keselamatan anak, pengawasan massal, erosi pengawasan manusia, dan prospek sistem yang mampu melakukan perbaikan diri rekursif. Anthropic telah membangun Constitutional AI dan Responsible Scaling Policy. OpenAI mempertahankan Preparedness Framework dengan red-teaming terstruktur. Ini adalah upaya serius. Mereka memiliki satu keterbatasan struktural: mereka bersifat internal. Setiap perusahaan menetapkan ambang batasnya sendiri dan tingkat transparansinya sendiri.

Tata kelola internal tidak dapat menyelesaikan masalah eksternal. Perusahaan yang membangun AI terdepan beroperasi dalam lingkungan yang kompetitif di mana pengekangan sepihak merupakan kerugian strategis. Perusahaan yang melambat ketika pesaing tidak melakukannya tidak membuat dunia lebih aman. Itu hanya kehilangan pijakan. Hal yang sama berlaku untuk negara: tidak ada pemerintah yang dapat secara kredibel menahan perusahaannya sendiri jika Tiongkok, atau kekuatan AI besar lainnya, tidak terikat oleh komitmen yang sebanding. Hasilnya adalah kegagalan aksi kolektif yang klasik. Semua orang memahami risikonya. Tidak ada yang memiliki insentif individu untuk menyerap biaya penuh untuk menyelesaikannya. Itu bukan masalah pasar. Itu adalah masalah arsitektur tata kelola.

Analogi yang tepat bukanlah nuklir — melainkan keuangan

Perbandingan yang paling sering digunakan adalah pengendalian senjata nuklir. Itu adalah analogi yang salah. Senjata nuklir adalah program negara dengan fasilitas yang teridentifikasi dan uji coba yang dapat diverifikasi. AI canggih dikembangkan oleh aktor swasta pada infrastruktur komersial yang sudah tertanam secara global.

Sistem keuangan menawarkan model yang lebih berguna. Bank bersaing ketat di berbagai yurisdiksi, terhubung secara real-time, dengan risiko sistemik dari pendanaan terorisme dan kejahatan keuangan yang tidak dapat ditahan oleh satu institusi pun. Tanggapannya, yang dibangun di sekitar kerangka kerja penetapan standar FATF G20, menggabungkan norma bersama, standar operasional, kewajiban pemerintah dan sektor swasta, tinjauan ahli, dan konsekuensi nyata bagi ketidakpatuhan. Meskipun jauh dari sempurna, itu memang mengubah perilaku dalam skala besar, tanpa memerlukan proses ratifikasi perjanjian selama puluhan tahun, karena mendistribusikan akuntabilitas di seluruh koalisi yang cukup luas untuk membuat penghindaran menjadi mahal, membagi kewajiban keselamatan di antara pemerintah dan sektor swasta.

Saya menghabiskan bertahun-tahun merancang dan mengevaluasi standar tersebut, termasuk memimpin koordinasi internasional melawan pendanaan ISIS dan membentuk kerangka kerja kripto yang kini diadopsi oleh lebih dari 120 negara. Saya telah mengevaluasi program kepatuhan nasional secara langsung. Saya yakin saya telah belajar apa yang membuat mekanisme akuntabilitas berhasil — dan apa yang membuatnya gagal.

Seperti apa tata kelola itu

Arsitektur tata kelola AI yang dapat diterapkan dimulai bukan dengan spesifikasi teknis tetapi dengan norma tingkat tinggi: komitmen bersama atas risiko yang sudah mendapatkan konsensus nyata. Norma-norma tersebut diterjemahkan menjadi kriteria yang menilai hasil dunia nyata, daripada menetapkan proses teknis yang akan usang dalam beberapa bulan. Panel ahli independen, yang terdiri dari perwakilan dari sektor publik dan swasta, menilai apakah perusahaan dan negara memenuhi kriteria tersebut. Dan mekanisme tersebut membutuhkan konsekuensi: kepatuhan membuka kepercayaan, akses pasar, dan kerja sama; ketidakpatuhan membawa biaya yang meningkat. Pemahaman bilateral AS-Tiongkok akan sangat penting, tetapi tidak cukup; hanya koalisi yang lebih luas, seperti G20, yang dapat mengubah pengekangan menjadi tekanan global yang berkelanjutan.

Jendela tidak terbatas

Beberapa perkiraan kredibel menempatkan Kecerdasan Umum Buatan — sistem yang lebih mampu daripada manusia di sebagian besar domain — seawal tahun 2030. Ketika mesin melampaui kemampuan manusia, satu-satunya respons yang memadai bagi umat manusia adalah respons kolektif. Tidak ada satu perusahaan pun, dan tidak ada satu negara pun, yang dapat mengelolanya sendirian.

Amodei menyerukan kejujuran dari para pemimpin AI dan pemerintah tentang seberapa cepat ini bergerak. Paus menyerukan agar teknologi tersebut dilucuti sebelum teknologi tersebut melucuti kita. Olah berdiri di Vatikan dan mengkonfirmasi masalah insentif yang dihadapi industrinya sendiri. Konvergensi dari ujung otoritas manusia yang berlawanan — moral dan komersial — itu sendiri merupakan poin data yang tidak dapat diabaikan oleh para pembuat kebijakan.

Komunitas internasional pernah bersatu di sekitar risiko bersama yang eksistensial — proliferasi nuklir, pendanaan teroris, keruntuhan keuangan sistemik. Ia membangun mekanisme koordinasi yang bertahan, meskipun tidak sempurna, tetapi berdampak. AI menuntut hal yang sama, dan lebih mendesak. Risiko terhadap umat manusia berada dalam urutan besaran yang berbeda. Bencana tersebut bukanlah hipotesis. Menunggu untuk mengatur setelah terjadi bukanlah perbaikan. Itu adalah penyerahan diri.

Pemerintah dan organisasi internasional sekarang perlu menyelenggarakan proses tersebut. Libatkan orang-orang yang membangun sistem ini dan memahami mode kegagalannya dari dalam, serta para ahli dengan pengalaman yang diperoleh dengan susah payah dalam berkoordinasi antara pihak-pihak yang tidak saling percaya — baik itu negara atau pesaing komersial — dan menerjemahkan risiko bersama menjadi komitmen yang mengikat. Jendela semakin sempit. Kita berutang kepada anak-anak kita tata kelola yang dibangun sebelum bencana, bukan sebagai respons terhadapnya.