MLCommons Mengeluarkan Pengujian Baru untuk Chip AI dan Sistem AI Teratas

JAKARTA - Pada Rabu, 27 Maret, kelompok benchmark kecerdasan buatan MLCommons merilis serangkaian pengujian dan hasil baru yang menilai kecepatan di mana perangkat keras terbaik dapat menjalankan aplikasi kecerdasan buatan (AI) dan merespons pengguna.

Dua benchmark baru yang ditambahkan oleh MLCommons mengukur kecepatan di mana chip AI dan sistem dapat menghasilkan respons dari model AI yang kuat yang dipenuhi dengan data. Hasilnya secara kasar menunjukkan seberapa cepat sebuah aplikasi AI seperti ChatGPT dapat memberikan respons terhadap pertanyaan pengguna.

Salah satu benchmark baru menambahkan kemampuan untuk mengukur kecepatan dalam skenario pertanyaan dan jawaban untuk model bahasa besar. Dikenal sebagai Llama 2, ini mencakup 70 miliar parameter dan dikembangkan oleh Meta Platforms Inc.

Pejabat MLCommons juga menambahkan generator teks ke gambar kedua ke dalam rangkaian alat pengujian, yang disebut MLPerf, berdasarkan model Stable Diffusion XL dari Stability AI.

Server yang didukung oleh chip Nvidia H100 yang dibangun oleh perusahaan seperti Google dari Alphabet, Supermicro, dan Nvidia  sendiri dengan mudah memenangkan kedua benchmark baru tersebut dalam kinerja mentah. Beberapa pembangun server mengirimkan desain berdasarkan chip L40S yang kurang kuat dari perusahaan tersebut.

Pembangun server Krai mengirimkan desain untuk benchmark pembangkitan gambar dengan chip AI Qualcomm  yang menggunakan daya yang jauh lebih sedikit daripada prosesor terdepan Nvidia.

Intel  juga mengirimkan desain berdasarkan chip akselerator Gaudi2 miliknya. Perusahaan tersebut menggambarkan hasilnya sebagai "solid."

Kinerja mentah bukanlah satu-satunya ukuran yang kritis saat men-deploy aplikasi AI. Chip AI canggih menghabiskan jumlah energi yang besar dan salah satu tantangan terbesar bagi perusahaan AI adalah men-deploy chip yang memberikan jumlah kinerja optimal dengan jumlah energi minimal.

MLCommons memiliki kategori benchmark terpisah untuk mengukur konsumsi daya.