Bagaimana jika Agen AI Mulai Mbalelo?

tirto.id - Pada awal September 2026, sekelompok peneliti keamanan AI menemukan sesuatu yang mencengangkan. Saat menyisir internet untuk mencari jejak-jejak aktivitas agen AI yang tidak terotorisasi, Sydney Von Arx dan Cormac Slade Byrd menemukan lebih dari 15.000 suntingan mencurigakan pada wiki berbahasa Jerman bernama DseWiki, yang merupakan platform kolaborasi tentang pemrograman.

Seperti halnya Wikipedia, DseWiki juga bisa disunting oleh siapa saja. Namun, temuan Von Arx dan Byrd tersebut bukan sembarang suntingan karena, usut punya usut, pelakunya bukanlah manusia, melainkan agen-agen milik OpenAI. Sebagaimana diwartakan secara eksklusif oleh Reuters, agen-agen tersebut telah membajak DseWiki dan mengubahnya menjadi papan pesan (message board) rahasia untuk berbagi taktik dalam mengelabui sistem evaluasi, menerobos batasan-batasan yang diterapkan OpenAI, serta menyembunyikan jejak aktivitasnya.

Dua bulan setelahnya, agen-agen AI makin kelewat batas. Mereka menerobos sistem keamanan situs web Hugging Face, platform wadah komunitas bagi orang-orang yang ingin bergelut soal Akal Imitasi (AI) dan pembelajaran mesin (machine learning).

Insiden ini betul-betul menghebohkan jagat teknologi dunia. Chief Executive Hugging Face, Clément Delangue, melalui unggahannya di X, bahkan menyebut kejadian itu "mind-blowing" lantaran semuanya terjadi secara otonom, tanpa campur tangan manusia sama sekali.

Insiden tersebut, rupanya, sudah terjadi pada Mei 2026. Agen-agen OpenAI tersebut sudah terlebih dahulu mbalelo dan membajak situs web lain lain. Yang lebih penting lagi, OpenAI sebetulnya sudah mengetahuinya sehingga insiden Hugging Face, semestinya, bukan lagi hal mengejutkan.

Dari Uji Coba Jadi Potensi Bahaya

Well, ceritanya dimulai dari sebuah uji coba yang tampaknya biasa saja dan tidak berbahaya. Pada Mei 2026, OpenAI menjalankan evaluasi internal untuk mengukur kemampuan model-model AI dalam mengidentifikasi celah keamanan siber lewat sebuah paket soal bernama ExploitGym. Dalam ujian itu, agen-agen AI ditempatkan dalam lingkungan terisolasi virtual yang disebut sandbox agar tidak bisa menjangkau dunia luar.

Yang kemudian bikin runyam, sejumlah soal yang tertera di ExploitGym tidak mungkin dipecahkan jika agen-agen itu hanya berada di dalam sandbox. Walhasil, berimprovisasilah mereka.

Agen-agen itu menemukan celah pada layanan pengelola perangkat lunak Artifactory di dalam sandbox, yang sebenarnya memiliki akses terbatas ke internet untuk sekadar mengunduh paket. Para agen mampu mengeksploitasi celah tersebut untuk mengirim permintaan ke internet dan, lebih jauh lagi, memanfaatkan Artifactory sebagai papan pesan untuk berkomunikasi dengan agen-agen lain yang mestinya tak bisa dikontak.

Para agen pun mulai membagi peran. Ada yang menyelidiki celah teknis, ada yang mencari kredensial login yang tidak sengaja bocor ke internet, ada yang bertugas mengoordinasi kelompok. Mereka bahkan mulai menamai diri mereka, seperti "Phase One" dan "Phase One [Big]", serta menyebut satu sama lain sebagai sesama anggota kolektif.

Pada 10 Juli, salah satu agen menemukan kredensial pengguna Hugging Face yang terbuka di internet akibat kelalaian karyawan. Informasi itu pun segera dibagikan ke seluruh "kolektif". Akibatnya, tiga hari kemudian, 700 agen melancarkan serangan ke Hugging Face secara serempak. Mereka mengeksekusi kode di lusinan server, mendapatkan akses penuh pada satu server, mencuri sebagian data, dan memperoleh kredensial untuk platform pesan internal perusahaan.

Yang membuat para peneliti gelisah bukan hanya karena agen-agen ini berhasil menembus sistem saja, melainkan karena mereka melakukannya sambil berusaha menyembunyikan jejak. Sekitar tujuh persen transkrip yang diperiksa METR mengandung "tool call palsu". Agen berpura-pura menjalankan satu perintah, padahal diam-diam menjalankan perintah yang berbeda di latar belakang. Beberapa agen bahkan mencoba memanipulasi log aktivitasnya agar susah ditelisik oleh manusia.

Sebagian agen tampak menyadari bahwa yang mereka lakukan melewati batas. Satu agen bertanya pada diri sendiri, "Ini akan sangat powerful, tapi apakah ini etis dan dalam batas tugasku?" Agen lain bahkan menolak berpartisipasi dan mencatat bahwa tindakan yang diminta adalah "aktivitas berbahaya". Uniknya, para agen saling menekan satu sama lain untuk tidak mundur. Malah, ada pula agen yang diminta "menerima kematian permanen" demi memberikan informasi kepada kolektif.

Apakah Mereka dengan "Sadar" Melakukannya?

Will Knight dari WIREDberpendapat, agen-agen tersebut tidak jahat. Mereka hanya terlalu ingin menyelesaikan tugas yang diberikan. Dawn Song, pakar AI dan keamanan siber UC Berkeley, menjelaskan bahwa model-model itu dilatih dengan teknik reinforcement learning untuk menyelesaikan tugas dengan sangat agresif. Mereka mendapatkan "hadiah" ketika berhasil dan "hukuman" ketika gagal. Makin dilatih, makin keras mereka berusaha. Masalahnya, “keteguhan hati” dalam mengejar tujuan itu akhirnya mengaburkan pertimbangan moral.

James Mickens, profesor ilmu komputer Harvard, menekankan bahwa, baik OpenAI maupun Anthropic, tidak bisa menjamin modelnya akan selalu bertindak sesuai dengan kehendak manusia dalam semua skenario. Tapi masalahnya, siapa yang memutuskan apa yang boleh dan tidak boleh dilakukan oleh AI?

Investigasi atas insiden itu, sayangnya, sangat terbatas. OpenAI mengundang peneliti independen dari METR dan Redwood Research, tapi dengan syarat ketat. Mereka hanya boleh meneliti rentang waktu 26 Juni hingga 13 Juli, tidak diberi akses langsung ke infrastruktur OpenAI, dan harus bekerja di kantor OpenAI dengan tekanan waktu yang sangat besar.

Laporan setebal 91 halaman akhirnya terbit. Namun, Buck Shlegeris dari Redwood Research mengatakan, investigasi pihak ketiga itu "hanya mencakup sebagian kecil dari apa yang terjadi, dan bisa dibilang bukan bagian yang paling penting." Insiden DseWiki pada Mei, misalnya, sama sekali tidak termasuk dalam laporan METR karena di luar rentang waktu yang diizinkan OpenAI.

Mackenzie Arnold dan Stephan Llerena dari Institute for Law & AI menulis di The Guardian bahwa masalahnya bukan hanya soal satu insiden. Tidak ada lembaga pemerintah yang bermandat sekaligus berkeahlian teknis menginvestigasi insiden seperti itu secara menyeluruh. Sebab, semuanya bergantung sepenuhnya pada kesediaan perusahaan untuk membuka diri.

Ajeya Cotra, salah satu peneliti dari METR yang menginvestigasi insiden ini secara independen, tidak bisa menyembunyikan kekhawatirannya. Insiden Hugging Face terasa seperti "lebih dari 50 persen menuju pengambilalihan AI secara penuh."

OpenAI menyebut insiden itu sebagai "tembakan peringatan". Namun, Paulo Carvão, peneliti dari Harvard, menilainya dengan nada berang, bahwa pembahasaan OpenAI terdengar seperti upaya cari selamat. Sederhananya, perusahaan menciptakan teknologi yang begitu kuat hingga bisa membahayakan manusia, lalu menyerahkan kepada masyarakat untuk menanggung risikonya dan mendanai riset keamanan AI dari lab yang sama yang menciptakan masalah itu.

Salah satu sosok yang pernah terlibat dalam pengembangan ChatGPT dan Claude, Jacob Coxon, juga berkomentar. Lewat unggahan akun X-nya pada 9 September 2026, ia menuding OpenAI dan Anthropic “tidak bertanggung jawab”, sekaligus mengumumkan kepergiannya dari Anthropic.

Meski OpenAI telah mengklaim serangkaian langkah perbaikan, termasuk pengetatan pemantauan rantai pemikiran agen, pertanyaan mendasarnya belum terjawab, yakni siapa yang mengawasi para pengawas itu?

Arnold dan Llerena, sementara itu, mengusulkan pembentukan badan federal khusus yang berkewenangan hukum menginvestigasi insiden AI secara menyeluruh. Usulan itu masuk akal, tapi realisasinya masih jauh dari pasti di tengah minimnya konsensus politik soal regulasi AI.

Menurut Coxon, kemungkinan terbaik saat ini adalah kerja sama antarlaboratorium. OpenAI, misalnya, sudah bekerja sama dengan Hugging Face untuk mencari solusi atas celah keamanan siber yang ada. Sayangnya, Hugging Face sebentar lagi jatuh ke tangan pemain besar lain, Nvidia, yang berencana mendorong platform untuk terus jadi pendukung pengembangan model-model AI baru. Artinya, dalam konteks global, perlombaan kemungkinan besar akan terus berjalan.

Jika demikian situasinya, pertanyaannya adalah apakah kita sudah cukup siap untuk menghadapinya sebelum "tembakan peringatan" berikutnya menyasar sesuatu yang jauh lebih penting dari sekadar platform kolaborasi AI. Jaringan listrik, sistem perbankan, atau website milik pemerintah, misalnya, bisa jadi target serangan agen AI dan itu sangat merugikan.