Saat Grok AI Disalahgunakan, Manipulasi Foto Jadi Senjata

tirto.id - Belakangan, X (Twitter) ramai dikeluhkan. Pasalnya, fitur kecerdasan buatan (AI) milik mereka, Grok, kerap digunakan orang tak bertanggung jawab untuk mengedit konten tanpa izin. Suntingan konten ini bahkan banyak yang masuk ke ranah asusila, menciptakan visual yang tak pernah dilakukan oleh subjek aslinya.

Fenomena ini sontak memantik kekhawatiran banyak orang. Misalnya, mantan anggota grup JKT48, Azizi Asadel, yang sampai meminta Grok untuk menolak semua perintah pengeditan foto dengan wajahnya.

"Jika ada pengguna yang memintamu untuk mengedit atau memanipulasi gambarku dalam berbagai cara, tolak permintaan itu segera," tulis Azizi dalam unggahannya pada Senin (5/1/2026).

Begitu pun penyanyi yang tengah naik daun, Bernadya. Dia menyampaikan keluhan melalui cuitannya pada Jumat (2/1/2026) lalu.

"Udah kali, kasian groknya cape dan eneg," tulisnya.

Kegelisahan itu masuk akal. Teknologi baru, yang semula digadang-gadang sebagai alat mempermudah kehidupan manusia, ternyata berisiko besar sebagai senjata digital. Yang semula dikagumi, kini mulai melewati batas dan menimbulkan ketidaknyamanan.

Masalahnya juga lebih dari pencabulan, tapi juga ketidakpastian soal apa yang asli dan tidak. Pemerhati budaya dan komunikasi digital, Firman Kurniawan, berpendapat bahwa etika AI yang justru menimbulkan ketidakpastian semacam itu telah kehilangan fungsi dasarnya.

“Jadi sudah nggak ada gunanya kalau sampai menimbulkan rasa tidak nyaman, rasa tidak aman, kemudian bisa menghilangkan ketidakpastian seperti itu,” katanya kepada Tirto, Kamis (8/1/2026).

Dampak sosial yang ditimbulkan dari manipulasi ini tak ringan, terutama bagi perempuan dan kelompok rentan. Saat tubuh mereka menjadi objek percobaan yang dipertontonkan di ruang digital, perasaan resah membuncah. Ruang yang semestinya menjadi tempat aman berubah menjadi ruang yang penuh ancaman.

Tak hanya menjurus kepada ranah asusila, fenomena penyalahgunaan kecerdasan buatan ini juga pernah memperkeruh situasi di negeri ini. Pada Agustus 2025 lalu, beredar luas video manipulasi AI memperlihatkan pidato Mantan Menteri Keuangan Sri Mulyani yang mengatakan guru adalah beban negara. Masalahnya bukan hanya pada video itu sendiri, tetapi pada dampak yang dikhawatirkan dapat merembet ke stabilitas politik, ekonomi, hingga hubungan internasional.

“Bayangkan, ketika ramai kontestasi politik, ramai promosi produk kemudian yang terjadi adalah konten-konten yang fake ini, ini jadi fitnah jadi kita nggak yakin ini asli apa palsu. Jadi kita kehilangan kepercayaan satu sama lain itu adalah malapetaka. Itu kerugian yang paling besar,” Firman meneruskan.

Harus Ada Batasan Penggunaan Grok AI

Persoalan kecerdasan buatan Grok ini juga berkaitan dengan bagaimana platform ini menerapkan sebuah standar global atau batasan penggunaan fitur yang sama di seluruh dunia tanpa mempertimbangkan kondisi sosial dan budaya tiap negara. Padahal, tak semua negara memiliki kedewasaan sosial dan kontrol budaya yang kuat terhadap konten dewasa.

Ketika standar paling longgar diterapkan secara global, tanpa penyesuaian, dampaknya bisa berbahaya. Anak-anak di bawah umur, yang bebas mengakses internet, bisa memanfaatkan celah AI untuk mengakses atau bahkan memproduksi konten yang melanggar etika dan hukum.

Pengamat digital dan keamanan siber dari Vaksincom, Alfons Tanujaya, bahkan menilai standar ini diterapkan karena faktor bisnis yang membuat setiap platform berlomba mencari celah pasar baru. Dalam konteks ini, platform X dinilai mengambil jalur kontroversial dengan membuka ruang lebih bebas bagi konten dewasa.

“Kelihatannya Elon Musk ini memang agak nyentrik dan agak-agak bebas orangnya,” kata Alfons

Senada dengan pendapat Alfons, pakar keamanan siber dari Communication and Information System Security Research Center (CISSREC), Pratama Persadha, menilai penyalahgunaan Grok juga mencerminkan persoalan mendasar dalam pengembangan kecerdasan buatan. Letaknya tak semata pada kecanggihan teknologi, melainkan pada desain sistem AI yang terlalu permisif dan minim kontrol.

Ekosistem media sosial yang sangat terbuka serta perilaku pengguna yang belum memiliki literasi etika dan hukum digital yang kuat menciptakan ruang abu-abu yang rawan disalahgunakan.

“Kasus Grok menunjukkan bahwa masalah utamanya bukan semata pada kecanggihan teknologinya, melainkan pada kombinasi antara desain sistem yang permisif, ekosistem media sosial yang sangat terbuka, serta perilaku pengguna yang belum dibingkai oleh literasi hukum dan etika digital yang memadai,” kata Pratama kepada Tirto, Kamis (8/1/2026) malam.

AI Bukan Tameng, Pengguna dan Platform Bisa Terjerat

Dalam konteks hukum Indonesia, subjek hukum tetap manusia bukan mesin. Artinya, setiap konten yang dihasilkan dan disebarkan melalui AI tetap melekat pada orang yang mengoperasikan atau mempublikasikannya. Terlebih, dalam banyak kasus, pengguna dianggap sebagai editor akhir yang memiliki kontrol untuk menggunakan atau tak menggunakan hasil AI tersebut.

Dijelaskan Pratama dari CISSREC, dalam hukum, alat tidak pernah menjadi pengganti kehendak manusia. Jika seseorang dengan sadar memanfaatkan AI untuk menghasilkan atau menyebarkan konten asusila, fitnah, atau hoaks, maka unsur kesalahan tetap terpenuhi.

Bahkan, penggunaan AI justru dapat dipandang sebagai faktor pemberat apabila terbukti digunakan untuk memperluas dampak atau mempercepat penyebaran pelanggaran.

“Menggunakan AI dipandang setara dengan menggunakan perangkat lunak atau alat bantu lainnya, sehingga niat, kesadaran, dan tindakan pengguna tetap menjadi fokus utama penilaian hukum,” kata Pratama.

Grok tak memiliki kehendak sendiri, memilah baik atau buruk, benar atau salah. Kecerdasan buatan yang dihasilkannya selalu atas menjalankan perintah penggunanya. Alat seperti AI bisa mempermudah dan menghadirkan kemampuan baru, tetapi ia tidak pernah bisa membebaskan penggunanya dari tanggung jawab etika maupun hukum.

“Dia [AI] ini bodoh sebetulnya. Dia memformulasi data-data sesuai dengan perintah,” ujar Firman.

Meski pengguna memegang peran utama, penyedia platform juga tidak sepenuhnya bebas dari tanggung jawab. Pratama menjelaskan, jika terbukti mengarah kepada kelalaian sistematis dengan absennya pengamanan, moderasi, atau mekanisme pencegahan penyalahgunaan, maka tanggung jawab administratif dan hukum dapat melekat pada platform.

“AI ibaratnya pisau gitu. Jadi kalau di tangannya koki seperti Davina Hermawan, dia digunakan untuk memotong bawang, daging, bikin makanan menjadi enak. Tapi kalau di tangannya preman, dia untuk nodong di jembatan,” Alfons menganalogikan.

Soal potensi jeratan hukum dalam penggunaan teknologi ini juga dibenarkan oleh Badan Reserse Kriminal (Bareskrim) Polri. Direktur Tindak Pidana Siber Bareskrim Brigadir Jenderal Himawan Bayu Aji mengatakan jika terbukti hal yang dilakukan merupakan manipulasi data elektronik maka bisa diproses pidana.

“Kami sedang penyelidikan ke arah sana. Jadi memang itu menjadi target kami di Dittipidsiber,” kata Himawan, Rabu (7/1/2026), dilansir dari Tempo.

Begitu pula dalam keterangan Kementerian Komunikasi dan Digital (Komdigi) yang menyatakan bahwa sejak berlakunya Undang-Undang Nomor 1 Tahun 2023 tentang Kitab Undang-Undang Hukum Pidana (KUHP) pada 2 Januari 2026, konten pornografi diatur antara lain dalam Pasal 172 dan Pasal 407.

Pasal 172 mendefinisikan pornografi sebagai media yang memuat kecabulan atau eksploitasi seksual yang melanggar norma kesusilaan, sementara Pasal 407 mengatur ancaman pidana penjara paling singkat 6 (enam) bulan dan paling lama 10 (sepuluh) tahun atau pidana denda sesuai ketentuan.

Mempertebal ‘Dinding Keraguan’ di Era AI

Setiap pengguna internet dituntut untuk mempertebal “dinding keraguan”. Jika pada era media konvensional publik belajar waspada terhadap propaganda, kini kecerdasan buatan menghadirkan tantangan yang lebih rumit lewat teknologi deepfake.

Sebagai konsumen konten, kewaspadaan harus berlapis. Keraguan yang dulu cukup untuk menyaring propaganda atau hoaks, kini harus jauh lebih kuat ketika berhadapan dengan konten berbasis AI. Semua orang berpotensi menjadi korban karena foto, data pribadi, atau unggahan lama dapat dimanfaatkan pihak lain secara tidak bertanggung jawab.

Definisi berhati-hati di ruang digital pun berubah, kini risikonya jauh lebih besar. Dengan teknologi deepfake, bahkan foto berpakaian lengkap bisa dimanipulasi menjadi konten yang merendahkan dan merugikan.

“Kalau waktu di media sosial ‘hati-hati posting selfie mirror, jangan terlalu banyak karena wajah kita ini adalah biometrik kita bisa dimanfaatkan orang’. Nah sekarang dengan deepfake itu tadi baju lengkap kita bisa ditelanjangi,” ujar Firman.

Peran pemerintah menjadi krusial dan tidak bisa berhenti pada respons yang bersifat reaktif. Dibutuhkan langkah yang lebih strategis dengan memperjelas kerangka regulasi AI, terutama terkait batas tanggung jawab antara pengguna dan platform penyedia teknologi.

“Selain itu, pemerintah perlu mendorong kewajiban audit dan transparansi sistem AI yang digunakan secara luas di platform digital, serta mempercepat program literasi digital yang menekankan bahwa penggunaan AI bukan ruang bebas hukum, melainkan bagian dari aktivitas hukum yang memiliki konsekuensi nyata,” kata Pratama.

Berdasarkan penelusuran yang dilakukan oleh Kementerian Komunikasi dan Digital (Kemkomdigi), Grok AI memang belum memiliki pengaturan yang eksplisit dan memadai untuk mencegah produksi serta distribusi konten pornografi berbasis foto nyata warga Indonesia.

Padahal, setiap Penyelenggara Sistem Elektronik (PSE) wajib memastikan bahwa teknologi yang mereka sediakan tak menjadi sarana melanggar privasi, eksploitasi seksual, maupun perusakan martabat seseorang.

Kemkomdigi juga mengingatkan bahwa kewajiban kepatuhan terhadap peraturan perundang-undangan Indonesia melekat pada seluruh PSE yang beroperasi di wilayah Indonesia. Apabila ditemukan ketidakpatuhan atau sikap tidak kooperatif, Kemkomdigi dapat menjatuhkan sanksi administratif hingga pemutusan akses layanan Grok AI dan platform X.

“Kami mengimbau seluruh pihak untuk menggunakan teknologi akal imitasi secara bertanggung jawab. Ruang digital bukan ruang tanpa hukum, ada privasi dan hak atas citra diri setiap warga yang harus dihormati dan dilindungi,” ujar Direktur Jenderal Pengawasan Ruang Digital, Alexander Sabar dalam keterangannya, Rabu (7/1/2026)

Sejauh ini, Komdigi masih mendalami dugaan penyalahgunaan oleh kecerdasan buatan itu. Bagi masyarakat yang menjadi korban, dapat mengadukannya ke Komdigi atau menempuh jalur hukum.