Cluster Chip Baru Akan Memungkinkan Model AI Besar-besaran


Desainnya dapat menjalankan jaringan saraf besar secara lebih efisien daripada bank GPU yang dihubungkan bersama. Tetapi membuat dan menjalankan chip adalah sebuah tantangan, membutuhkan metode baru untuk mengetsa fitur silikon, desain yang mencakup redundansi untuk memperhitungkan kekurangan manufaktur, dan sistem air baru untuk menjaga chip raksasa tetap dingin.

Untuk membangun sekelompok chip WSE-2 yang mampu menjalankan model AI dengan ukuran rekor, Cerebras harus memecahkan tantangan teknis lainnya: cara memasukkan dan mengeluarkan data dari chip secara efisien. Chip biasa memiliki memori sendiri, tetapi Cerebras mengembangkan kotak memori off-chip yang disebut MemoryX. Perusahaan juga menciptakan perangkat lunak yang memungkinkan jaringan saraf untuk sebagian disimpan dalam memori off-chip, dengan hanya perhitungan yang dialihkan ke chip silikon. Dan itu membangun sistem perangkat keras dan perangkat lunak yang disebut SwarmX yang menghubungkan semuanya.

Foto: Cerebras

“Mereka dapat meningkatkan skalabilitas pelatihan ke dimensi besar, melampaui apa yang dilakukan siapa pun saat ini,” kata Mike Demler, analis senior Linley Group dan editor senior Laporan Mikroprosesor.

Demler mengatakan belum jelas berapa banyak pasar yang akan ada untuk cluster, terutama karena beberapa pelanggan potensial sudah merancang chip mereka sendiri yang lebih khusus. Dia menambahkan bahwa kinerja chip yang sebenarnya, dalam hal kecepatan, efisiensi, dan biaya, masih belum jelas. Cerebras belum mempublikasikan hasil benchmark apa pun sejauh ini.

“Ada banyak teknik yang mengesankan dalam teknologi MemoryX dan SwarmX yang baru,” kata Demler. “Tetapi seperti halnya prosesor, ini adalah hal yang sangat khusus; masuk akal untuk melatih model yang paling besar.”

Chip Cerebras sejauh ini telah diadopsi oleh laboratorium yang membutuhkan kekuatan superkomputer. Pelanggan awal termasuk Argonne National Labs, Lawrence Livermore National Lab, perusahaan farmasi termasuk GlaxoSmithKline dan AstraZeneca, dan apa yang digambarkan Feldman sebagai organisasi “intelijen militer”.

Ini menunjukkan bahwa chip Cerebras dapat digunakan untuk lebih dari sekadar memberi daya pada jaringan saraf; perhitungan yang dijalankan lab ini melibatkan operasi matematika paralel besar yang serupa. “Dan mereka selalu haus akan daya komputasi yang lebih besar,” kata Demler, yang menambahkan bahwa chip tersebut dapat menjadi penting bagi masa depan superkomputer.

David Kanter, seorang analis dengan Real World Technologies dan direktur eksekutif MLCommons, sebuah organisasi yang mengukur kinerja berbagai algoritma dan perangkat keras AI, mengatakan dia melihat pasar masa depan untuk model AI yang jauh lebih besar. “Saya biasanya cenderung percaya pada ML yang berpusat pada data [machine learning], jadi kami ingin kumpulan data yang lebih besar yang memungkinkan pembuatan model yang lebih besar dengan lebih banyak parameter,” kata Kanter.

Diposting oleh : Lagutogel