Peneliti AI Google Mengembangkan Metode Inovatif untuk Meningkatkan Kinerja Model Bahasa Besar

JAKARTA - Peneliti kecerdasan buatan (AI) dari Google Research dan Google DeepMind telah mengembangkan metode di mana model bahasa besar (LLM) dapat diperkuat dengan model bahasa lain.

Ini menangani salah satu masalah terbesar yang masih ada dengan LLM dengan memungkinkan pengembang memberikan kemampuan baru pada model yang sudah ada tanpa harus memulai dari awal atau melibatkan sesi pelatihan/pemajuan yang mahal.

Menurut tim Google Research, penguatan LLM dengan model bahasa lain tidak hanya meningkatkan kinerja pada tugas-tugas yang sudah ada, tetapi juga memungkinkan tugas-tugas baru yang tidak dapat dicapai oleh model itu sendiri.

Mengajarkan trik baru pada chatbot lama Penelitian ini dilakukan dengan menggunakan PaLM2-S LLM dari Google, sebuah model yang disebut setara dengan GPT-4, kecerdasan buatan yang menjadi dasar ChatGPT milik OpenAI.

PaLM2-S diuji sendiri dalam eksperimen tim tersebut dan kemudian diuji kembali setelah diperkuat dengan model bahasa yang lebih kecil dan khusus. Tugas yang dilakukan termasuk terjemahan, di mana versi yang diperkuat menunjukkan peningkatan hingga 13% dibandingkan dengan baseline, dan pemrograman.

Ketika diuji dalam tugas pemrograman, model hibrid ini menunjukkan peningkatan signifikan, seperti yang dijelaskan dalam paper:

"Sama halnya, ketika PaLM2-S diperkuat dengan model yang khusus untuk pemrograman, kami melihat peningkatan relatif sebesar 40% dibandingkan dengan model dasar untuk tugas generasi dan penjelasan kode - sebanding dengan model yang sepenuhnya dipajukan."

Potensi implikasi besar Secara langsung, peningkatan kinerja yang ditunjukkan dapat memiliki dampak langsung pada sektor kecerdasan buatan. Peningkatan kinerja dalam tugas terjemahan, misalnya, ternyata terbesar saat menerjemahkan bahasa dengan dukungan rendah ke dalam bahasa Inggris. Ini masih merupakan masalah yang belum terpecahkan dalam pembelajaran mesin, dan penelitian Google di sini memiliki potensi untuk memberikan kontribusi signifikan.

Namun, secara lebih luas, mungkin bahwa garis penelitian ini dapat mengatasi masalah hukum yang mengancam banyak CEO teknologi di sektor kecerdasan buatan: masalah hukum yang dapat menghancurkan dasar dari chatbot seperti ChatGPT.

Saat ini pembuat beberapa model bahasa besar paling populer telah menjadi terdakwa dalam banyak tuntutan hukum yang bergantung pada tuduhan bahwa sistem AI ini dilatih dengan menggunakan data yang dilindungi hak cipta.

Pertanyaan yang harus dijawab oleh pembuat undang-undang dan pengadilan adalah apakah perusahaan berorientasi laba secara sah dapat menggunakan data ini untuk melatih model bahasa mereka. Jika pengadilan memutuskan bahwa pengembang tidak dapat menggunakan data tersebut dan bahwa model-model yang dilatih dengan materi berhak cipta harus dihapus, mungkin secara teknis tidak mungkin atau tidak ekonomis untuk terus menawarkan layanan yang terkena dampak.

Pada dasarnya, karena biaya tinggi yang terlibat dalam melatih model bahasa besar dan ketergantungan mereka pada data besar, produk seperti ChatGPT, sebagaimana dibangun saat ini, mungkin tidak layak dalam lanskap kecerdasan buatan Amerika Serikat yang lebih terregulasi.

Namun, jika skema peningkatan LLM baru dari Google berhasil dengan pengembangan lebih lanjut, mungkin bahwa banyak persyaratan dan biaya untuk memulai LLM dari awal atau memajukan yang sudah ada bisa dikurangi.