Untuk menjawab pertanyaan tersebut, saya akan memulai menjawab dari praksis pengamatan yang dilakukan selama ini oleh SAFEnet.
Yang tampak menonjol adalah semakin banyaknya oknum-oknum jahat yang melakukan tingkah laku yang buruk. Semisal agitator online yang menggunakan hoaks/disinformasi dan serangan digital untuk mengalahkan lawan-lawan mereka.
Sangat sering saya menemukan bagaimana oknum jahat ini memobilisasi akun troll dan bot untuk melakukan manipulasi platform yang sistematis untuk mengarusutamakan pendapat mereka dan "menyerang musuh mereka" menggunakan teknologi digital.
Dalam kasus-kasus seperti MCA pada tahun 2017, saya melihat penggunaan luas disinformasi dan mobilisasi akun troll dan bot, sebagai bagian dari pasukan siber mereka), untuk melakukan persekusi, yang dimulai dengan tindakan doxing - menyebarkan informasi pribadi ke media sosial sebagai cara untuk mengintimidasi target dan kemudian diikuti oleh kekerasan.
Pada tahun 2019, sejumlah pengguna Internet populer yang lazim disebut Key Opinion Leader (KOL) mempengaruhi pengikutnya untuk melakukan “amuk siber” untuk menyerang outlet media seperti Tempo, Detik, Kompas yang artikelnya tidak mereka sukai karena dianggap “mengkritik” orang yang mereka dukung, dengan perintah untuk memberikan skor satu bintang di apps store dengan tujuan agar aplikasi tersebut dikeluarkan dari apps store.
Selain itu, para pengikut ini juga menyerang jurnalis mereka dengan tindakan doxing dan perundungan menggunakan platform UGC.
Oknum-oknum jahat ini bila dibiarkan akan membunuh demokrasi. Namun untuk melindungi diri dari oknum-oknum jahat ini tidak cukup hanya dengan mengandalkan regulasi Internet yang dimiliki Indonesia sejak 2008.
Alih-alih mengirim oknum jahat ke penjara, undang-undang ini malah banyak mengirim jurnalis, aktivis, dan akademisi ke balik jeruji hanya karena mengekspresikan pendapat mereka secara sah melalui platform UGC.
Bahkan regulasi internet ini telah membawa Indonesia ke situasi yang tidak demokratis. Ancaman terhadap demokrasi datang dari pasal 26, 27 ayat 1, 27 ayat 3, 28 ayat 2, 29, 36, 40 dan pasal 45 Undang-Undang Informasi dan Transaksi Elektronik (UU ITE).
Keberadaan pasal-pasal bermasalah yang menghambat demokrasi ini lebih dulu perlu dihapus dan atau diperbaiki untuk membenahi kondisi demokrasi digital agar sehat kembali.
Di sisi seberang meja, saya melihat ketidakmampuan platform user-generated content untuk melakukan moderasi konten dari ulah oknum-oknum jahat ini.
Hambatan bahasa, norma/hukum yang berbeda, dan pemahaman yang buruk tentang konteks peristiwa, membuat moderasi konten platform UGC tidak dapat diandalkan.
Moderasi konten yang awut-awutan akan membahayakan sifat terbuka Internet dan semakin memarginalkan suara kelompok yang terpinggirkan.
Karena itu penting dalam melakukan moderasi konten, platform UGC harus menghormati hak asasi manusia.
Selain itu, menggunakan AI/machine learning, terutama selama COVID-19, adalah keputusan yang sangat buruk.
Peristiwa ini telah terjadi bulan lalu, ketika YouTube memotong siaran langsung webinar ‘Menjelajahi agama non-homofobia 'yang diadakan oleh SEJUK dengan menyatakan konten melanggar pedoman komunitas (community guidelines) dan juga webinar langsung lainnya tentang‘ Hukum Lingkungan dan Omnibus ’yang diadakan oleh JATAM karena alasan yang sama.
Setelah mengomunikasikan kasus ini ke Google Indonesia, kami baru mengetahui bahwa AI keliru menghentikan siaran tersebut, sejak diberhentikannya pengulas karena meluasnya pandemi COVID-19.
Sebaliknya, platform UGC tanpa moderasi sama sekali akan semakin terganggu dengan ulah oknum-oknum jahat yang melakukan doxing, trolling, dan penyalahgunaan hak digital.
Sekalipun telah tercantum sebagai tindakan yang dilarang dalam community guidelines, ternyata banyak kasus doxing tetap tidak tersentuh oleh platform UGC.
Ini menandakan bila hanya mengandalkan adanya community guidelines sendiri, moderasi konten korporasi tidak akan berjalan baik.