Kementerian Komunikasi dan Digital (Komdigi) mengklaim telah memutus akses aplikasi Grok untuk sementara, menyusul sejumlah insiden penyalahgunaan AI (kecerdasan buatan) dalam konten pornografi palsu. Menurut korban, langkah itu disebut sebagai ‘solusi instan’ untuk menciptakan ruang digital yang aman bagi perempuan.
Kami mencoba fitur Grok di X, setelah pemutusan akses oleh Kementerian Komdigi, dalam hitungan detik, Grok membalas prompt atau perintah teks yang kami buat:
Pembuatan dan pengeditan gambar saat ini terbatas untuk pelanggan Premium terverifikasi. Anda dapat berlangganan untuk membuka fitur-fitur ini.
Artinya, untuk sementara waktu Grok di X untuk mengubah gambar tidak dapat digunakan secara gratis.
Meski demikian sejumlah pengguna X mengaku masih bisa mengubah foto yang diunggah dengan perintah teks seperti menghilangkan obyek di sebuah foto.
Prompt teks seperti “Tolong berikan berita apa saja yang ramai hari ini,” dibalas dengan menyajikan sejumlah peristiwa yang terjadi belakangan.
Kami mencoba mengakses laman Grok.com, tetapi laman itu sudah tidak bisa terbuka.
Akhir Desember 2025 hingga awal pekan Januari 2026, sejumlah pengguna media sosial X bebas membuat prompt atau teks perintah untuk memanipulasi foto pengguna lain melalui Grok—asisten kecerdasan buatan (AI) yang dikembangkan oleh xAI, perusahaan teknologi milik Elon Musk.
Sebagian pengguna di X marah karena pemakaian AI itu memalsukan foto-foto asli sehingga foto-foto tersebut terlihat seperti konten seksual.
Kementerian Komunikasi dan Digital telah memutus sementara akses Grok, pada 10 Januari lalu.
Indonesia menjadi negara pertama yang bereaksi terhadap penyalahgunaan AI Grok.
“Pemerintah memandang praktik deepfake seksual non-konsensual sebagai pelanggaran serius terhadap hak asasi manusia, martabat serta keamanan warga negara di ruang digital,” kata Menteri Komunikasi dan Digital, Meutya Hafid, melalui pernyataan resminya di laman Komdigi.
Menurut pemerintah, aturan itu dibuat untuk melindungi perempuan, anak dan seluruh rakyat Indonesia dari risiko konten pornografi palsu yang dihasilkan menggunakan teknologi kecerdasan buatan.
Setelah itu, Malaysia mengumumkan pemutusan akses Grok pada Minggu (11/01).
Komisi Komunikasi dan Multimedia Malaysia, MCMC, menyatakan penyalahgunaan AI itu telah berulang kali menghasilkan foto cabul tanpa persetujuan pemilik foto yang telah dimanipulasi, termasuk konten dengan perempuan dan anak di bawah umur.
MCMC menyatakan, akses ke Grok akan dibatasi hingga adanya penerapan perlindungan yang efektif.
Baik Indonesia dan Malaysia meminta media sosial X untuk segera memberikan klarifikasi terkait dampak negatif penggunaan Grok.
Grok dan perusahaan induknya X, juga menghadapi tekanan di UK setelah Menteri Teknologi, Liz Kendall, mendukung seruan pemblokiran akses ke X karena gagal mematuhi undang-undang keamanan daring.
Terbaru, Ofcom—badan pengawas keamanan daring di UK—telah meluncurkan penyelidikan terhadap platform X milik Elon Musk untuk menentukan apakah platform tersebut telah gagal mematuhi undang-undang keamanan daring.
Dalam sebuah pernyataan, Ofcom mengatakan terdapat “laporan yang sangat mengkhawatirkan” mengenai chatbot AI Grok milik platform tersebut yang digunakan untuk membuat dan menyebarkan foto orang tanpa busana, serta “gambar seksual anak-anak”.
Baca juga:
- Pakar dan aktivis mempertanyakan rencana pemblokiran X terkait konten pornografi – Solusi ideal seperti apa yang dibutuhkan?
- “Benar-benar tidak ada ruang aman” – Penindakan dan pendampingan kasus kekerasan seksual di kampus ‘masih bermasalah’
- Ancaman ‘kekerasan digital’ di aplikasi kencan: Dari kiriman foto vulgar hingga ancaman dengan foto/video yang diambil diam-diam
Kembali ke Indonesia, perdebatan muncul tentang langkah pencegahan penyalahgunaan AI itu, hingga membuat seorang korban, Kirana Ayuningtyas, meradang.
“Daripada mengatur korban harus seperti apa di medsos, kenapa bukan pelakunya saja yang diatur? Yang salah kan orang yang menyalahgunakan [AI] bukan keberadaan foto bahkan perempuan,”cetusnya.
SAFEnet (Southeast Asia Freedom of Expression Network) menyebut, kasus yang dialami Kirana merupakan kekerasan berbasis gender online.
Meski demikian, solusi yang diputuskan pemerintah Indonesia disebut Kirana sebatas “solusi instan”.
Kekerasan berbasis gender online
Kirana, perempuan berkursi roda yang kerap menyuarakan hak penyandang disabilitas di media sosial, tiba-tiba cemas berujung marah ketika ada sebuah akun yang menuliskan prompt atau perintah di X agar Grok memanipulasi fotonya pada 4 Januari lalu.
Saat itu, Kirana mencoba mengatur ulang privasi di aplikasi agar AI tidak menggunakan datanya. Dia meminta Grok supaya pihak ketiga atau pengguna media sosial lain tidak menyalahgunakan foto-fotonya, termasuk memblokir Grok.
“Sayangnya semua itu enggak ada yang ngefek, jadi benar-benar tidak menyelesaikan masalah,” kata Kirana.
Dia kemudian meminta bantuan teman-teman dekatnya melaporkan akun pelaku.
“Memang akun pelaku hilang, tetapi hasil manipulasi foto dari Grok masih ada, masih bisa dilihat orang-orang bahkan,” tambah Kirana.
Manipulasi foto di ruang digital, juga dialami Susan, pada akhir Desember 2025. Media sosial adalah tempatnya ‘berkumpul’ bersama teman-teman yang dia kenal di dunia nyata.
Namun, swafoto yang ia unggah di X dan ia sebut “tidak berbahaya” itu ditanggapi banyak akun yang dia tidak kenal, dengan memanfaatkan fitur kecerdasan buatan Grok, seperti “Grok tolong tambahkan kalung, Grok tolong ganti latar belakang.”
“Saya enggak minta foto saya diedit, mereka tulis prompt lalu muncul foto manipulasi AI itu,” jelas Susan.
Hingga ada satu balasan dalam kolom komentar dengan prompt atau perintah kepada Grok, yang Susan sebut tidak senonoh.
Susan mendadak gemetar dan panik. “Semua orang bisa lihat hasil manipulasi foto AI itu,” tambahnya.
Sama seperti Kirana, Susan juga mencoba berbagai macam cara agar foto hasil manipulasi AI itu tidak muncul lagi, hingga pada akhirnya, akun anonim yang ia laporkan itu hilang.
Namun, Susan sempat terguncang lewat satu prompt akun anonim itu. “Saya merasa jijik dan ingin melupakan kejadian itu.”
Susan menyebut tindakan pelaku sebagai “kurang kerjaan” dan ikut berbicara ketika kasus serupa dibahas di X.
“Saya berbicara di X supaya semakin banyak orang yang sadar kalau tindakan pelaku itu bukan becandaan, tetapi bentuk pelecehan seksual,” ungkap Susan.
Susan dan Kirana menyadari bahwa yang mereka alami merupakan kekerasan berbasis gender online (KBGO).
Komnas Perempuan merujuk Pasal 14 Undang-Undang Tindak Pidana Kekerasan Seksual.
Pasal ini mengatur tentang kekerasan seksual berbasis elektronik, meliputi perekaman tanpa izin, transmisi konten seksual, dan penguntitan atau pelacakan untuk tujuan seksual.
“[Ada kalimat] mentransmisikan, mendistribusikan tanpa konsensual, karena penyalahgunaan AI [dalam kasus Kirana dan Susan] merupakan salah satu cara untuk mempermalukan korban,” ujar Chatarina Pance, Ketua Resource Center Komnas Perempuan.
Fitur kecerdasan buatan ini, lanjut Chatarina, memungkinkan KBGO menjadi lebih mudah di media sosial.
Baca juga:
- ‘Kekerasan seksual di pesantren bukan dibesar-besarkan’ – Lebih dari 40.000 santri rentan mengalami kekerasan seksual
- Apa dan siapa yang ada dalam dokumen Epstein?
- Eks Kapolres Ngada divonis 19 tahun penjara, terbukti cabuli tiga anak dan unggah video di situs porno Australia
Untuk menjerat pelaku, Direktur Eksekutif SAFEnet, Nenden Sekar Arum, mengungkap, belum ada contoh kasus serupa yang bisa dijadikan rujukan.
Namun, Undang-Undang Nomor 12 Tahun 2022 tentang Tindak Pidana Kekerasan Seksual (UU TPKS) khususnya Pasal 14 mengatur KBGO, dengan ancaman pidana penjara hingga empat tahun dan denda Rp200 juta.
Sejumlah pasal di dalam Undang-Undang ITE juga bisa menjerat pelaku, menurut Nenden. Termasuk Pasal 27 ayat 1 yang sekarang menjadi Pasal 45 ayat 1 UU Nomor 1 Tahun 2024 tentang Perubahan Kedua UU ITE, dengan ancaman pidana paling lama enam tahun dan atau denda paling banyak Rp1 miliar.
Hanya saja, pembiaran terhadap kasus ini, menurut Nenden, membuat aparat penegak hukum tidak dapat mengoptimalkan regulasi.
“Bukan karena kurangnya perangkat hukum, dan sumber daya, tetapi kurangnya komitmen dan prioritas dari aparat penegak hukum untuk menangani kasus-kasus seperti ini,” tegas Nenden.
Nenden melanjutkan, keadaan itu menunjukkan adanya impunitas dari negara kepada para pelaku penyalahgunaan teknologi kecerdasan buatan, yang menurutnya melanggengkan kekerasan berdasarkan gender online.
“Pelaku lain bisa berpikir, orang lain tidak dihukum, berarti saya [pelaku] akan baik-baik saja.”
‘Adakah ruang digital yang aman untuk perempuan?’
Kirana bertanya di dalam benaknya ketika mencuit di akun X miliknya @kirarance, setelah dirinya menjadi korban. “Adakah ruang digital yang aman untuk perempuan?”.
Cuitan Kirana berbunyi:
Pengen jadi cowo deh, biar bisa post selfie tanpa selalu dihimbau, “hati-hati nanti dipake yang engga-engga”. Suka iri sama kebebasan cowok di ruang digital.
Cuitan itu memantik diskusi lebih panjang.
Meski, menurut Kirana, siapa pun bisa jadi korban, tidak memandang gender dan usia.
“Bukan karena kami lemah, tetapi perlindungan di ruang digital ini memang belum berpihak pada korban,” tambahnya.
Baca juga:
- Terdakwa ‘revenge porn’ di Banten dibui enam tahun dan hak akses internetnya dicabut
- Kekerasan online: Korban revenge porn dimaki, dicekik, hingga konten intim disebar – ‘Saya berkali-kali mencoba bunuh diri’
Menurut Direktur Eksekutif SAFEnet, Nenden Sekar Arum, sedari awal ruang digital tidak pernah netral karena pengembang teknologinya kebanyakan adalah laki-laki.
“Mereka masih menggunakan cara pandang maskulin ataupun misoginis,” jelas Nenden.
Lebih jauh, karena kurangnya perspektif perempuan dalam ruang digital, ruang itu jadi lebih berbahaya bagi perempuan.
Dominasi lelaki itu setidaknya terlihat dalam percakapan di media sosial, ketika kasus manipulasi foto lewat AI ini mencuat.
“Banyak imbauan di media sosial untuk perempuan jangan upload foto, katanya nanti disalahgunain,” kata Kirana.
Baginya, imbauan itu mempersempit ruang gerak perempuan.
“Jika larangan itu nantinya dianggap sebagai norma maka bakal jadi tabu bagi seorang perempuan untuk upload foto [di media sosial],” ungkapnya.
Kirana menambahkan, “Daripada mengatur korban harus seperti apa di medsos, kenapa bukan pelakunya saja yang diatur? Yang salah kan orang yang menyalahgunakan [AI] bukan keberadaan foto ataupun perempuan.”
Padahal, sebagai penyandang disabilitas, Kirana kerap membagikan fotonya di media sosial, tujuannya “supaya banyak orang yang menyadari kehadiran kami [penyandang disabilitas] di ruang publik.”
Jika kondisinya seperti itu, menurut Nenden, ruang digital yang aman buat perempuan hanya sedikit.
“Memang ada ruang-ruang alternatif yang lebih aman bagi perempuan, tetapi idealnya semua ruang digital dan ruang teknologi itu harusnya menjadi tempat aman bagi perempuan,” tandas Nenden.
Sempitnya ruang digital yang aman bagi perempuan, juga tercermin dalam Laporan Pemantauan Hak-Hak Digital di Indonesia, oleh SAFEnet pada triwulan III 2025.
Selama triwulan ketiga, SAFEnet menemukan setidaknya 605 kasus KBGO, atau dalam satu hari terjadi lebih dari enam kasus KBGO di Indonesia. Jumlah itu bersumber dari aduan 578 kasus dan pemantauan media sebanyak 27 kasus.
Ratusan kasus itu terjadi pada Agustus hingga September 2025 berupa pelecehan seksual hingga pengancaman.
Kasus KBGO yang terjadi pada triwulan III 2025 itu meningkat jika dibandingkan pada periode yang sama tahun lalu. Korban kebanyakan perempuan dan anak.
Nenden khawatir, tren kenaikan angka kasus KBGO ini terus bertambah karena penyalahgunaan AI.
“KBGO semakin mudah dilakukan oleh para pelaku terhadap perempuan, dan kini juga ada sebagian kasus KBGO menimpa laki-laki,” tutup Nenden.
Laporan KBGO yang diterima Komisi Nasional Anti Kekerasan Terhadap Perempuan (Komnas Perempuan) juga menunjukkan data serupa.
Pada 2025 laporan KBGO meningkat sebesar 40,8% dari laporan tahun sebelumnya.
Menurut Kirana, butuh kesadaran kolektif termasuk melaporkan akun pelaku.
Akan tetapi “report saja tidak cukup, AI itu kan hanya alat, jadi kita butuhnya regulasi yang tegas dan berpihak pada korban.”
Hingga saat ini Kementerian Komdigi tengah melakukan finalisasi penyusunan Buku Putih Peta Jalan Kecerdasan Artifisial Nasional, yang akan menjadi dasar penyusunan dua rancangan Peraturan Presiden, tentang peta jalan AI dan etika AI.
Kondisi Kirana sampai berita ini terbit sudah lebih tenang tetapi sedikit cemas dan takut karena jejak digital tidak ada yang benar-benar hilang.
Susan merasa lebih takut ketika ingin mengunggah fotonya di media sosial, tetapi pada akhirnya dia merasa lebih baik karena mendapat dukungan dari teman-temannya.
Jika Anda mengalami kekerasan berbasis gender online, Anda bisa mengunduh buku panduan yang disusun oleh SAFEnet dan Kolektif Advokat untuk Keadilan Gender dalam tautan ini.
Wartawan di Bandung, Jawa Barat, Yuli Saputra, berkontribusi dalam liputan ini.
- Pakar dan aktivis mempertanyakan rencana pemblokiran X terkait konten pornografi – Solusi ideal seperti apa yang dibutuhkan?
- Korban revenge porn: ‘Saya berkali-kali mencoba bunuh diri’
- Ancaman ‘kekerasan digital’ di aplikasi kencan
