Mengapa Obrolan YouTube Tentang Catur Ditandai karena Ujaran Kebencian


Juni lalu, Antonio Radić, pembawa acara saluran catur YouTube dengan lebih dari satu juta pelanggan, melakukan streaming langsung wawancara dengan grandmaster Hikaru Nakamura ketika siaran tiba-tiba dihentikan.

Alih-alih berdiskusi tentang bukaan catur, permainan terkenal, dan pemain ikonik, pemirsa diberi tahu bahwa video Radić telah dihapus karena konten “berbahaya dan berbahaya”. Radić melihat pesan yang menyatakan bahwa video tersebut, yang berisi tidak lebih memalukan daripada diskusi tentang Pertahanan India Raja, telah melanggar pedoman komunitas YouTube. Itu tetap offline selama 24 jam.

Sebenarnya apa yang terjadi masih belum jelas. YouTube menolak berkomentar dengan mengatakan bahwa menghapus video Radić adalah kesalahan. Tetapi sebuah studi baru menunjukkan bahwa itu mencerminkan kekurangan dalam program kecerdasan buatan yang dirancang untuk secara otomatis mendeteksi perkataan yang mendorong kebencian, pelecehan, dan informasi yang salah secara online.

Ashique KhudaBukhsh, seorang ilmuwan proyek yang berspesialisasi dalam AI di Universitas Carnegie Mellon dan juga seorang pecatur yang serius, bertanya-tanya apakah algoritme YouTube mungkin membingungkan dengan diskusi yang melibatkan bidak hitam dan putih, serangan, dan pertahanan.

Jadi dia dan Rupak Sarkar, seorang insinyur di CMU, merancang sebuah eksperimen. Mereka melatih dua versi model bahasa yang disebut BERT, satu menggunakan pesan dari situs rasis sayap kanan Stormfront dan yang lainnya menggunakan data dari Twitter. Mereka kemudian menguji algoritme pada teks dan komentar dari 8.818 video catur dan menemukan bahwa mereka jauh dari sempurna. Algoritme menandai sekitar 1 persen transkrip atau komentar sebagai ujaran kebencian. Tetapi lebih dari 80 persen dari mereka yang ditandai adalah positif palsu — baca dalam konteksnya, bahasanya tidak rasis. “Tanpa manusia dalam lingkaran,” kata pasangan itu di makalah mereka, “mengandalkan prediksi pengklasifikasi off-the-shelf pada diskusi catur bisa menyesatkan.”

Eksperimen tersebut mengungkap masalah inti untuk program bahasa AI. Mendeteksi perkataan yang mendorong kebencian atau pelecehan lebih dari sekadar menangkap kata dan frasa kotor. Kata-kata yang sama dapat memiliki arti yang sangat berbeda dalam konteks yang berbeda, jadi algoritme harus menyimpulkan makna dari serangkaian kata.

“Pada dasarnya, bahasa masih merupakan hal yang sangat halus,” kata Tom Mitchell, seorang profesor CMU yang sebelumnya bekerja dengan KhudaBukhsh. “Jenis pengklasifikasi terlatih ini tidak akan segera menjadi 100 persen akurat.”

Yejin Choi, seorang profesor di Universitas Washington yang berspesialisasi dalam AI dan bahasa, mengatakan dia “sama sekali tidak terkejut” dengan penghapusan YouTube, mengingat batasan pemahaman bahasa saat ini. Choi mengatakan kemajuan tambahan dalam mendeteksi ujaran kebencian akan membutuhkan investasi besar dan pendekatan baru. Dia mengatakan bahwa algoritme bekerja lebih baik ketika mereka menganalisis lebih dari sekadar sepotong teks secara terpisah, menggabungkan, misalnya, riwayat komentar pengguna atau sifat saluran tempat komentar tersebut diposkan.

Tetapi penelitian Choi juga menunjukkan bagaimana deteksi ujaran kebencian dapat melanggengkan bias. Dalam sebuah studi tahun 2019, dia dan yang lainnya menemukan bahwa anotator manusia lebih cenderung memberi label pada posting Twitter oleh pengguna yang mengidentifikasi diri sebagai orang Afrika-Amerika sebagai pelecehan dan bahwa algoritme yang dilatih untuk mengidentifikasi penyalahgunaan menggunakan anotasi tersebut akan mengulangi bias tersebut.

Panduan WIRED untuk Kecerdasan Buatan

Algoritme supersmart tidak akan mengambil semua pekerjaan, tetapi mereka belajar lebih cepat dari sebelumnya, melakukan segalanya mulai dari diagnostik medis hingga menayangkan iklan.

Perusahaan telah menghabiskan jutaan untuk mengumpulkan dan membuat anotasi data pelatihan untuk mobil self-driving, tetapi Choi mengatakan upaya yang sama belum dimasukkan ke dalam bahasa anotasi. Sejauh ini, belum ada yang mengumpulkan dan memberi anotasi pada kumpulan data perkataan yang mendorong kebencian atau pelecehan yang mencakup banyak “kasus tepi” dengan bahasa yang ambigu. “Jika kami melakukan investasi pada tingkat itu pada pengumpulan data — atau bahkan sebagian kecil dari itu — saya yakin AI dapat melakukan jauh lebih baik,” katanya.

Mitchell, profesor CMU, mengatakan YouTube dan platform lain kemungkinan memiliki algoritme AI yang lebih canggih daripada yang dibuat oleh KhudaBukhsh; tapi itu pun masih terbatas.

Diposting oleh : Lagutogel