Perusahaan Ini Menggunakan AI untuk Mengecoh AI Berbahaya


Pada bulan September 2019, Institut Standar dan Teknologi Nasional mengeluarkan peringatan pertamanya untuk serangan terhadap algoritme kecerdasan buatan komersial.

Peneliti keamanan telah menemukan cara untuk menyerang produk Proofpoint yang menggunakan pembelajaran mesin untuk mengidentifikasi email spam. Sistem menghasilkan header email yang menyertakan “skor” tentang seberapa besar kemungkinan sebuah pesan menjadi spam. Namun menganalisis skor ini, bersama dengan konten pesan, memungkinkan untuk membuat tiruan model pembelajaran mesin dan membuat pesan spam yang menghindari deteksi.

Pemberitahuan kerentanan mungkin yang pertama dari banyak lainnya. Seiring AI digunakan secara lebih luas, peluang baru untuk mengeksploitasi titik lemah dalam teknologi juga muncul. Itu memunculkan perusahaan yang menyelidiki kerentanan sistem AI, dengan tujuan menangkap masukan berbahaya sebelum dapat menimbulkan malapetaka.

Startup Robust Intelligence adalah salah satunya. Over Zoom, Yaron Singer, salah satu pendiri dan CEO-nya, mendemonstrasikan program yang menggunakan AI untuk mengecoh AI yang membaca cek, aplikasi awal untuk pembelajaran mesin modern.

Program Singer secara otomatis mengubah intensitas beberapa piksel yang membentuk angka dan huruf yang tertulis di cek. Ini mengubah apa yang dirasakan oleh algoritma pemindaian cek komersial yang banyak digunakan. Seorang scammer yang dilengkapi dengan alat semacam itu dapat mengosongkan rekening bank target dengan memodifikasi cek yang sah untuk menambahkan beberapa angka nol sebelum menyimpannya.

“Dalam banyak aplikasi, perubahan yang sangat, sangat kecil dapat memberikan hasil yang sangat berbeda,” kata Singer, seorang profesor di Harvard yang menjalankan perusahaannya saat cuti panjang di San Francisco. “Tapi masalahnya lebih dalam; ini hanyalah cara kami melakukan pembelajaran mesin. “

Teknologi Robust Intelligence sedang digunakan oleh perusahaan termasuk PayPal dan NTT Data, serta perusahaan transportasi online yang besar; Singer mengatakan dia tidak dapat menjelaskan bagaimana tepatnya itu digunakan, karena takut memberi tahu calon musuh.

Perusahaan menjual dua alat: satu yang dapat digunakan untuk menyelidiki kelemahan algoritma AI dan yang lainnya secara otomatis mencegat input yang berpotensi bermasalah — semacam firewall AI. Alat probing dapat menjalankan algoritme berkali-kali, memeriksa input dan output, serta mencari cara untuk mengelabui.

Ancaman semacam itu tidak hanya bersifat teoritis. Para peneliti telah menunjukkan bagaimana algoritme permusuhan dapat menipu sistem AI dunia nyata, termasuk sistem penggerak otonom, program penambangan teks, dan kode visi komputer. Dalam salah satu kasus yang sering disebutkan, sekelompok mahasiswa MIT mencetak kura-kura 3D yang dikenali perangkat lunak Google sebagai senapan, berkat tanda halus di permukaannya.

“Jika Anda sedang mengembangkan model pembelajaran mesin sekarang, maka Anda benar-benar tidak memiliki cara untuk melakukan semacam tim merah, atau pengujian penetrasi, untuk model pembelajaran mesin Anda,” kata Singer.

Penelitian penyanyi berfokus pada mengganggu masukan dari sistem pembelajaran mesin untuk membuatnya berperilaku buruk dan merancang sistem agar aman sejak awal. Sistem AI yang menipu bergantung pada fakta bahwa mereka belajar dari contoh dan mengambil perubahan halus dengan cara yang tidak dilakukan manusia. Dengan mencoba beberapa masukan yang dipilih dengan cermat — misalnya, menampilkan wajah yang diubah ke sistem pengenalan wajah — dan melihat bagaimana sistem merespons, algoritme “permusuhan” dapat menyimpulkan apa yang harus dilakukan tweak untuk menghasilkan kesalahan atau hasil tertentu.

Bersamaan dengan sistem pembodohan cek, Singer mendemonstrasikan cara mengecoh sistem deteksi penipuan online sebagai bagian dari pemeriksaan kelemahan. Sistem penipuan ini mencari tanda-tanda bahwa seseorang yang melakukan transaksi sebenarnya adalah bot, berdasarkan berbagai karakteristik, termasuk browser, sistem operasi, alamat IP, dan waktu.

Singer juga menunjukkan bagaimana teknologi perusahaannya dapat menipu pengenalan gambar komersial dan sistem pengenalan wajah dengan penyesuaian halus pada foto. Sistem pengenalan wajah menyimpulkan bahwa foto Benjamin Netanyahu yang direkayasa secara halus menunjukkan pemain bola basket Julius Barnes. Singer memberikan penawaran yang sama kepada calon pelanggan yang khawatir tentang bagaimana sistem AI bermodel baru mereka dapat ditumbangkan, dan apa yang mungkin terjadi pada reputasi mereka.

Rahasia Machine Learning? Guru Manusia

Beberapa perusahaan besar yang menggunakan AI mulai mengembangkan pertahanan AI mereka sendiri. Facebook, misalnya, memiliki “tim merah” yang mencoba meretas sistem AI-nya untuk mengidentifikasi titik lemah.

Diposting oleh : Lagutogel