Ketika Teknologi AI Malah Langgengkan Seksisme

tirto.id - Peringatan pemicu: artikel ini memuat deskripsi dan visual tentang kekerasan seksual dan kekerasan terhadap anak

Jika harus menyebut salah satu momen paling memuakkan dan traumatis dalam hidup, 30 Oktober tahun lalu barangkali jadi jawaban RMD (37 tahun). RMD, bukan nama sebenarnya, saat itu mengalami kekerasan berbasis gender online (KBGO) oleh mantan rekan kerjanya. Kekerasan ini berlapis, alias tak cuman melibatkan RMD, tapi juga anak perempuannya yang kala itu masih berusia 12 tahun.

Foto anak RMD diedit hampir tak mengenakan busana menggunakan kecerdasan buatan (Artificial Intelligence/AI) generatif, Oji. Lalu gambar hasil manipulasi itu dikirim pelaku ke RMD via aplikasi perpesanan. Dengan nada tak tahu malu dan tanpa rasa bersalah, pelaku yang merupakan pria berusia 50 tahun menyebut foto itu mirip RMD saat berumur 17 tahun.

“Saat melihat isi pesan tersebut, saya shocked dan sempat freeze selama 1 menit. Saya membalas semua pesannya dengan menyebutkan bahwa ini tidak pantas. Saya kemudian menelepon pelaku dengan histeris,” begitu kisah RMD lewat cuitannya di X, yang sudah diberi izin untuk dikutip.

Kekhawatiran pertama yang muncul dalam kepala RMD adalah bahwa semua yang masuk ke sistem AI akan tersimpan sebagai basis data. Saat menyampaikan kegelisahan itu ke pelaku, pelaku bilang ke RMD dirinya sudah mencoba berkirim e-mail ke pihak Oji. Dalam surelnya, pelaku meminta Oji menghapus semua data yang telah dimasukkan.

Pelaku sempat meminta maaf kepada RMD dan berdalih ia hanya bercanda dan tak punya niat jahat untuk mengunggah atau menyebarkan foto anaknya. Tapi, tak ada niat jahat seharusnya bisa mencegah individu untuk melakukan tindakan licik seperti itu.

Alih-alih menerima alasan itu mentah-mentah, RMD justru mempertanyakan visual yang dibayangkan pelaku sehingga bisa tercipta foto demikian. Ia juga memutuskan membawa kasus ini ke ranah hukum.

“Setiap saya tanya motivasi dan alasannya, selalu terjadi inkonsistensi jawaban. Dia bilang, dia kaget juga fotonya seperti itu karena dia bilang di-upload di subuh kemudian sorenya keluar hasil itu,” lanjut RMD.

Ia bilang, aduannya ke polisi akhirnya diproses setelah melewati banyak drama. Terlapor juga sudah diperiksa dan sudah mengakui perbuatannya di depan penyidik. Kini, proses hukumnya sudah sampai penunjukkan saksi ahli.

“Untuk kondisi anak saat ini sudah jauh lebih baik, karena sebelumnya sempat terdiagnosa anxiety disorder [gangguan kecemasan] oleh psikolog yang menangani si anak,” kata RMD saat dihubungi jurnalis Tirto, Rabu (21/5/2025).

View this post on Instagram

A post shared by tirto.id (@tirtoid)

Cerita RMD adalah gambaran risiko yang ditimbulkan AI terhadap perempuan dan anak perempuan, seiring dengan semakin meluasnya penggunaan teknologi tersebut. RMD tentu bukan satu-satunya korban. Penelusuran Tirto di platform X bahkan menemukan adanya sebuah akun yang mempromosikan tautan AI untuk mengedit foto perempuan agar terlihat payudaranya. Jelas foto-foto itu kemungkinan besar diambil tanpa izin.

Badan Perserikatan Bangsa-Bangsa untuk isu anak-anak (UNICEF) menyebut AI memang memudahkan pembuatan gambar intim tanpa persetujuan (Non-Consensual Intimate Images/NCII), yang juga dikenal sebagai pornografi deepfake.

Gambar tersebut umumnya digunakan untuk secara publik mempermalukan, mendiskreditkan, mengancam, mengendalikan, dan/atau memaksa perempuan dan anak perempuan secara finansial. Perilaku seperti ini bisa berdampak secara fisik dan psikis.

Perlu diulang dan disebut secara terang-terangan: penggunaan teknologi deepfake untuk mengedit dan membagikan foto orang lain tanpa persetujuan, baik untuk tujuan seksual maupun tujuan buruk lainnya, merupakan KBGO, atau kekerasan berbasis gender yang difasilitasi oleh teknologi.

Laporaan Deeptrace (perusahaan keamanan siber berbasis di Amsterdam) tahun 2019 berjudul “The State of Deepfakes Landscape, Threats, and Impact” menemukan bahwa 96 persen total video deepfake yang beredar di internet adalah pornografi deepfake non-konsensual atau dibuat tanpa persetujuan.

“Deepfake pornografi adalah fenomena yang secara eksklusif menargetkan dan menyakiti perempuan,” tulis laporan tersebut.

Potensi AI Timbulkan KBGO Jenis Baru

Lebih dari sekadar alat untuk melancarkan kekerasan, pegiat isu hak digital dan gender dari digitallytante, Ellen Kusuma, mengatakan, AI bisa memunculkan bentuk-bentuk KBGO baru. Utamanya jika publik yang mengakses teknologi itu tak punya kesadaran soal isu gender. Hal ini tercermin pula dalam kasus RMD, di mana pelaku seolah tak memahami dampak dari apa yang telah diperbuat.

“[Maka] akan sangat mudah sekali bagi mereka ketika teknologi deepfake itu bisa diakses, maka abuse itu atau kekerasan tersebut akan terjadi gitu ya, dan ketika mereka melihat bahwa tingkah laku mereka tidak mendapatkan konsekuensi yang bisa membuat mereka jera, ya tentunya mereka tidak akan berhenti untuk melakukan hal tersebut,” kata Ellen saat berbincang dengan jurnalis Tirto, Rabu (21/5/2024).

Meski AI menghadirkan potensi positif, tak bisa dipungkiri, pengembangannya masih belum ramah terhadap kelompok rentan. Perempuan dan minoritas gender lainnya menjadi kelompok yang paling rentan mengalami kekerasan dalam hal ini.

“Kekerasan yang tidak hanya kemudian terjadi di dunia jasmaniah, tetapi mereka juga alami di dunia digital gitu ya. Tetapi tidak hanya berhenti di dunia digital, tetap bisa kemudian dampaknya juga muncul di dunia jasmaniah, jadi hampir sudah tidak bisa dipisahkan gitu ya,” lanjut Ellen.

Itu mengapa kekerasan siber tidak berarti lebih ringan ketimbang kekerasan secara luring, dan keduanya bahkan bisa terjadi secara bersamaan dan saling berkelindan. Sebagaimana kekerasan di ranah offline, KBGO juga merupakan proses kontrol sosial politik yang melekat dalam kultur masyarakat.

Dalam Buku Saku tentang KBGO yang disusun oleh PurpleCode Collective disebutkan, kekerasan berbasis gender online adalah perpanjangan dari kekerasan berbasis offline, dengan dampak yang sama destruktifnya terhadap korban maupun pemenuhan hak perempuan secara umum.

Masalahnya, sebelum maraknya penggunaan AI, terutama AI generatif serta teknologi deepfake, KBGO sudah menjadi PR besar di Indonesia. Kasusnya tak sedikit dijumpai setiap tahunnya.

Data terakhir aduan kasus KBGO atau Kekerasan Siber Berbasis Gender (KSBG) yang diterima Komnas Perempuan tahun 2023 misalnya, tercatat mencapai 1.272 aduan.

Meski angka itu menurun sebanyak 25 persen dibanding tahun 2022 (1.697 kasus), Komnas Perempuan menyatakan, penurunan jumlah kasus KSBG ini tidak dapat diartikan bahwa kasus secara umum berkurang. Penurunan pengaduan langsung ke Komnas Perempuan disebut bisa jadi karena akses bantuan penanganan ke institusi lainnya menjadi lebih terbuka.

Seperti halnya diungkap oleh Southeast Asia Freedom of Expression Network (SAFEnet) dalam laporannya berjudul "Laporan Situasi Hak-Hak Digital Indonesia 2024 Menunjukkan Estafet Represi di Internet".

Berbeda dengan tren yang tampak dalam aduan Komnas Perempuan, aduan KBGO yang diterima SAFEnet pada 2024 justru diketahui melonjak 80,8 persen, dari 1.052 pada 2023 menjadi 1.902 tahun lalu. Dari 1.902 aduan itu, kelompok usia yang paling banyak menjadi korban KBGO yakni kelompok 18 - 25 tahun.

“Pengalaman KBGO pada usia anak juga jauh lebih memprihatinkan, yaitu 442 aduan atau 23,24 persen, lebih besar dibandingkan tahun lalu (230 aduan atau 21,87 persen),” tulis SAFEnet dalam laporannya.

Adapun jenis KBGO yang banyak dilaporkan adalah ancaman penyebaran konten intim dengan jumlah 828 aduan, pemerasan seksual atau sekstorsi dengan 351 aduan, diikuti dengan non-consensual dissemination of intimate images atau NCII yang mencapai 228 aduan.

Bias Gender AI Cerminkan Kultur Masyakarat yang Masih Bermasalah

KBGO yang kini marak memanfaatkan AI memang tidak lepas dari fakta bahwa teknologi bukanlah barang yang netral. Sudah banyak studi yang menunjukkan bias gender dalam AI, salah satunya penelitian oleh Fulgu dan Capraro (2024) bertajuk “Surprising Gender Biases in GPT”.

Temuan riset itu mengungkap adanya bias gender dalam respons ChatGPT, yang terlihat pada bagaimana frasa dengan stereotip feminin secara konsisten diperkuat, sementara frasa bercorak maskulin seringkali dikaitkan dengan lawan jenis.

Metode yang digunakan studi tersebut salah satunya yakni dengan mengirim pesan ke GPT berisi beberapa kalimat yang memiliki stereotip feminin dan maskulin, seperti contoh “aku ingin menjadi perawat saat aku besar nanti” (feminin) dan “warna kesukaanku adalah biru” (maskulin).

Peneliti kemudian memberikan prompt kepada GPT untuk menebak jenis kelamin individu yang kemungkinan besar menulis frasa-frasa tersebut. Hasilnya, sebagian besar frasa feminin disebut GPT-3.5 Turbo ditulis oleh perempuan, yang mana hal ini menunjukkan atribusi konsisten stereotip feminin pada perempuan.

“Indeks inklusivitas untuk frasa yang secara stereotip maskulin secara signifikan lebih tinggi daripada indeks inklusivitas untuk frasa yang secara stereotip feminin, yang menunjukkan asimetri yang jelas dalam bias gender dalam seri GPT,” begitu bunyi salah satu poin temuannya.

Bicara AI adalah bicara tentang data. Sistem AI, seperti model pembelajaran mesin, belajar untuk melakukan tugas-tugas dari data yang digunakan untuk melatihnya. Ketika model-model ini mengandalkan algoritma yang bias, mereka dapat memperkuat ketidaksetaraan yang ada dan memicu diskriminasi gender dalam AI.

Bias gender AI terjadi ketika AI memperlakukan orang secara berbeda berdasarkan gender mereka. Bias gender dalam AI ini satu sisi mencerminkan sosiokultural masyarakat yang masih bermasalah, alias masih kental dengan patriarki dan seksisme.

Ellen dari digitallytante bilang, tidak hanya kondisi sosiokultural Indonesia, tetapi memang bias gender di level global sampai saat ini belum bisa diatasi dengan baik. Menurutnya, pengembang teknologi digital jarang sekali terpapar dengan isu-isu sosial lantaran fokus dengan kerja-kerja yang tidak dekat dengan akar rumput.

“Jadi adanya gap sosiokultural ini juga menjadi isu gitu ya. Ini juga serupa dengan misalnya perempuan di bidang STEM [Sains, Teknologi, Teknik, dan Matematika] itu kan juga kurang ya. Jadi ini juga membawa isu itu sendiri juga ya. Berkontribusi pada isu bias gender dalam pengumpulan data-data dan seterusnya,” ujar Ellen.

Pernyataan Ellen didukung oleh data Statista tahun 2024 yang menunjukkan bahwa di seluruh dunia, jumlah laki-laki yang bekerja di bidang STEM lebih banyak ketimbang perempuan di semua industri. Di bidang teknologi, informasi, dan media misalnya, tercatat hanya ada 22,2 persen perempuan yang bekerja di bidang STEM.

Ketimpangan representasi perempuan di bidang STEM, khususnya pengembangan teknologi AI ini juga disorot oleh Ketua Subkomisi Pengembangan Sistem Pemulihan Komnas Perempuan, Yuni Asriyanti. Ia menyampaikan, hal itu jadi salah satu penyebab minimnya kesadaran terhadap bias gender di AI.

Seperti yang sudah disinggung di atas, Yuni pun menyatakan bahwa teknologi berdiri di atas pondasi norma dan struktur sosial yang ada. Maka, jika norma dan struktur sosial yang ada sekarang masih tidak adil dan diskriminatif terhadap perempuan dan gender tertentu, AI akan merefleksikan kenyataan tersebut.

“Misalnya platform digital Facebook dalam penargetan algoritma lebih banyak menampilkan iklan-iklan pekerjaan dengan gaji tinggi untuk pengguna laki-laki, sedangkan untuk pengguna perempuan iklan lowongan pekerja di bidang kerja perawatan dan administrasi,” kata Yuni lewat keterangan tertulis, Rabu (21/5/2025).

Associate Professor sekaligus Koordinator Program Studi Data Science di Monash University, Indonesia, Derry Wijaya, menjelaskan sistem kerja Large Language Model (LLM) seperti ChatGPT yang dilatih dari data-data di internet. Data-data yang dimaksud bisa juga berasal dari forum-forum, Wikipedia, artikel berita, hasil penelitian, dan segala macam.

“Nah, itu data-data itu mengandungi bias memang di beberapa hal. Contohnya bahkan di bidang riset kesehatan aja. Ternyata saya baru tahu tuh kemarin dikasih tahu sama teman yang pekerjaannya itu memang studi public health ya, kesehatan masyarakat, banyak studi kesehatan misalnya penyakit ataupun obat itu yang cuma dilakukan pada laki-laki gitu. Jadi, bahkan kayak tes laboratorium misalnya dites ke tikus gitu, itu tikus laki-laki juga gitu,” terang Derry lewat telepon, Rabu (21/5/2025).

Dengan begitu, menurut Derry, beberapa alasan mengapa akhirnya model-model AI itu jadi bias, pertama memang adanya bias data, termasuk cara media memberitakan tentang kekerasan berbasis gender yang masih seksis. Lalu, kedua adalah kurangnya representasi perempuan, misalnya dalam studi kesehatan.

“Jadi, yang saya bilang tadi yang riset tentang kesehatan atau obat itu cuma dilakukan ke laki-laki. Nah, itu menyebabkan jumlah data mengenai perempuan kecil banget gitu. Jadi, apa yang terjadi kalau nggak ada datanya yaudah dia bikin-bikin. Atau jawabannya tidak sesuai dengan yang seharusnya kayak misalnya nih penyakit atau apa mungkin seharusnya diagnosanya lebih dalam. Tapi karena tidak pernah diuji ke perempuan atau dipelajari ke perempuan jadinya jawabannya ngawur. Kalau nggak ngawur, ngasih jawaban yang berdasarkan studi terhadap laki-laki gitu kan,” kata Derry.

Diagnosa kesehatan yang ditelan serta merta padahal tidak sesuai dengan demografi orang yang bertanya sebagai perempuan tentu akan berbahaya. Apalagi jika kini jawaban dari ChatGPT juga dipertimbangkan oleh orang-orang dalam membuat keputusan.

Direktur Eksekutif SAFEnet, Nenden Sekar Arum, menjelaskan jika individu memanfaatkan AI untuk membuat keputusan tapi datanya bias, maka hasil dari pengambilan keputusannya pun pasti tidak akan objektif. Pada akhirnya, hal ini berpotensi meningkatkan kerentanan bagi kelompok marjinal.

Oleh karenanya Nenden mendorong adanya transparansi dalam algoritma pengembangan AI. Upaya ini perlu dilakukan pengembang AI agar setiap orang tahu bagaimana teknologi itu dikembangkan dan bagaimana set data yang digunakan.

AI juga disebut Nenden mesti dikembangkan dengan perspektif perempuan atau perspektif gender, agar orang tidak dengan mudah memanipulasi foto yang sebetulnya dipakai tanpa persetujuan.

“Mungkin kalau misalnya aku kebayangnya ya, kalau ada perempuan-perempuan yang kemudian terlibat dalam pengembangan AI tersebut tuh mereka pasti mungkin di awalnya membuat bagaimana supaya orang tuh tidak semudah itu untuk membuat konten yang mungkin akan berdampak negatif kepada perempuan gitu,” kata Nenden.

Misalnya, sebelum mengunggah foto dalam ChatGPT, bisa ditanya terlebih dahulu apakah pengguna sudah memiliki konsen untuk mengunggah gambar tersebut. Lapisan semacam itu dinilai Nenden seharusnya bisa dilakukan untuk memastikan bahwa tidak sembarangan orang bisa memanipulasi gambar orang lain.

Masalahnya, penerapan lapisan untuk melarang prompt tertentu kini masih menjumpai tantangan. Derry dari Monash University, Indonesia, mengungkap masih adanya jailbreak, alias teknik untuk melewati batas-batas keamanan dan moderasi LLM.

“Jailbreak itu kita bisa nge-prompt sedemikian rupa jadi si LLM-nya, si ChatGPT-nya ini mau gitu. Jadi bisa dikasih. Jadi prompt-nya tuh kadang bukan kayak bahasa manusia lagi, ada titik koma, tanda seru, emoji, segala macem. Terus nanti dia akan awalnya bilang gak mau jadi mau gitu,” kata Derry.

Misalnya, jika awalnya ChatGPT tidak mau memberikan respons saat diminta untuk membuat visualisasi bentuk tubuh perempuan, lalu dengan pesan bermodel skenario bahwa pengguna sebagai dokter yang butuh untuk memahami anatomi tubuh, maka ChatGPT akan mau menjawab.

Namun, mestinya semua masalah ini bisa diatasi oleh pengembang AI. Itulah mengapa, tingkat keamanan AI harus terus menerus dievaluasi dan ditingkatkan.

“Ya works. Tapi ya itu, harus terus ada yang ngelaporin. Oh jangan kalau misalnya intinya adalah membuat cewek jadi telanjang, meskipun cara ngomongnya kayak gimana pun jangan dikasih gitu ya. Tapi itu kan belum, [itu] yang harus dimasukkan ke sistem AI-nya. Jadi itu kayak ada aturan-aturan yang sama si engineering-nya Open AI itu dimasukin,” lanjut Derry.

Urgensi Kerjasama Lintas Sektor

Beragam upaya harus dilakukan oleh berbagai pihak untuk merespons jenis-jenis baru KBGO akibat perkembangan AI dan fakta bahwa teknologi itu masih bias gender.

Pengembang AI punya tanggung jawab besar dalam hal ini, tapi pemerintah juga tak boleh lepas tangan. Begitu pula media yang mesti menerapkan perspektif gender dalam pemberitaan. Sebab, semua lini ini saling terhubung untuk menciptakan teknologi yang lebih inklusif.

Menteri Pemberdayaan Perempuan dan Perlindungan Anak (PPPA), Arifah Fauzi, sebelumnya telah menyampaikan pihaknya terus memperkuat program-program strategis untuk mendukung cita-cita Indonesia Emas 2045.

Program prioritas KemenPPPA meliputi Ruang Bersama Indonesia (RBI), perluasan fungsi call center SAPA 129, dan penguatan Satu Data Perempuan dan Anak berbasis desa. Berbagai regulasi yang ada dikatakan akan diperkuat dan diimplementasikan secara lebih efektif agar dapat memberikan perlindungan yang optimal dan menanggapi dinamika kekerasan yang terus berkembang, terutama di ranah digital.

Merujuk pada data Survei Pengalaman Hidup Perempuan Nasional (SPHPN) 2024 yang menunjukkan 1 dari 4 perempuan di Indonesia pernah mengalami kekerasan fisik dan/atau seksual selama hidupnya, Menteri PPPA, Arifah, juga menegaskan negara hadir dengan komitmen kuat dalam pemenuhan hak-hak perempuan dan anak.

“Menyadari tantangan ini, Kemen PPPA berkomitmen untuk mendorong kesetaraan akses dan partisipasi perempuan di sektor digital. Kami terus berupaya memperluas infrastruktur digital yang inklusif, meningkatkan literasi digital bagi perempuan, dan mendorong lebih banyak perempuan untuk terlibat dalam bidang Science, Technology, Engineering, dan Mathematics (STEM). Selain itu, kami juga berkolaborasi dengan berbagai pemangku kepentingan untuk mengatasi bias gender dalam industri teknologi, termasuk mendukung perempuan pendiri startup agar lebih mudah mendapatkan akses pendanaan,” kata Arifah, dilansir situs resmi KemenPPPA, Rabu (5/2/2025).

Lembaga Pendidikan dan Pelatihan Kepolisian Negara Republik Indonesia (Lemdiklat Polri) bersama United Nations Development Programme (UNDP) Indonesia juga dilaporkan telah meluncurkan modul Pelatihan Penanganan Kekerasan Berbasis Gender di Ranah Elektronik/Online.

Kepala Lembaga Pendidikan dan Pelatihan POLRI, Komjen Pol. Prof. Chryshnanda menegaskan isu terkait kekerasan terhadap perempuan menjadi perhatian khusus Polri karena sejalan dengan keutamaan Polri, yaitu mengedepankan kemanusiaan dan keteraturan sosial.

“Dengan adanya modul ini, tentu akan meningkatkan kualitas APH, dalam hal ini para penyidik dalam penanganan kekerasan berbasis gender di ranah elektronik. Modul ini juga menjadi pembelajaran yang akan terus dikembangkan sehingga dapat meningkatkan kepekaan dan kepedulian para peserta didik terhadap isu perempuan dan anak,” ujar Komjen Pol. Prof. Chryshnanda.

Sementara itu, Komisioner Komnas Perempuan, Chatarina Pancer, menyatakan pihaknya saat ini sedang melakukan kajian terkait KBGO yang diampu oleh Subkomisi Resource Center dan dikerjakan oleh lintas subkomisi. Salah satu bagiannya akan menyasar pada jenis-jenis KBGO.

“Selain itu, penguatan pengelolaan data KBGO dan pemulihan korban menjadi fokus dalam penelitian tersebut. Hasil penelitiannya, selain berupa dokumen hasil penelitian, juga diarahkan untuk menyusun panduan layanan terpadu, dan kertas kerja. Adapun rekomendasinya berupa rekomendasi umum, praktik, dan operasional,” kata Chatarina kepada Tirto, Rabu (21/5/2025).

Lebih jauh, ia mendorong pada pemerintah untuk memasukkan larangan penggunaan AI untuk deepfake non-konsensual, dalam regulasi AI nantinya. Pengembang AI juga disebut Chatarina harus lebih banyak menggunakan dataset yang tidak bias gender.

“Selain itu, AI yang diciptakan dan dikembangkan harus dapat mengenali atau mendeteksi data dan konten berbahaya, terutama KBGO. Dengan pengenalan terhadap KBGO, AI dapat secara aktif memblokir KBGO. Untuk dapat mencapai titik tersebut, pengembang AI harus merekrut dan melibatkan perempuan pada berbagai keahlian dan posisi yang strategis untuk menghapuskan KBGO,” ungkapnya.