ServiceNow Luncurkan Proyek BigCode, Program AI Penghasil Open Source

JAKARTA - ServiceNow Research dan Hugging Face mengumumkan proyek pengembangan sistem Kecerdasan Buatan (AI) yang diberi nama BigCode. Proyek ini bertujuan untuk mengembangkan Large Language Models (LLM) yang canggih dengan kode terbuka dan bertanggung jawab pada Senin, 26 September.

Kode LLM ini nantinya akan bekerja di berbagai domain, tugas, dan bahasa pemrograman. Model-model ini dapat membantu pengembang profesional dan warga negara dengan pengkodean aplikasi baru.

Proyek BigCode akan terbuka untuk siapa saja yang memiliki latar belakang penelitian AI, dan mengundang mereka untuk berkolaborasi terkait beberapa topik berikut ini:

We're excited to announce our collaboration with @huggingface to develop state-of-the-art LLMs for code. Code LLMs enable the completion & synthesis of code & work across a wide range of domains, tasks, & programming languages. #BigCodeProject

Read more: https://t.co/C1XFgr3nkf https://t.co/PhWprKKtwD

— ServiceNow Research (@ServiceNowRSRCH) September 26, 2022

• Rangkaian evaluasi representatif untuk LLM kode yang mencakup beragam tugas dan bahasa pemrograman
• Pengembangan dan tata kelola set data yang bertanggung jawab untuk kode LLM
• Pelatihan lebih cepat dan metode inferensi untuk LLM

"Tujuan pertama BigCode adalah mengembangkan dan merilis kumpulan data yang cukup besar untuk melatih model bahasa kode yang canggih. Kami akan memastikan bahwa hanya file dari repositori dengan lisensi permisif yang masuk ke kumpulan data," tulis perusahaan di blog ServiceNow.

Dengan kumpulan data tersebut, kemudian mereka akan melatih model bahasa dengan 15 miliar parameter untuk kode, menggunakan kluster GPU in-house ServiceNow. Selanjutnya, dengan versi Megatron-LM yang diadaptasi, perusahaan akan melatih LLM pada infrastruktur terdistribusi.

"Setelah model dilatih, kami akan mengevaluasi kemampuannya. Penelitian akademis biasanya berhenti setelah evaluasi, disinilah pekerjaan untuk praktisi aplikasi dimulai," tambahnya.

Selama proses pengembangan LLM, ServiceNow dan Hugging Face akan menjunjung tinggi prinsip keterbukaan dan transparansi. Mereka mengaku bahwa eksperimen ini bisa jadi mahal dan membutuhkan banyak waktu untuk dijalankan, meski demikian, perusahaan meminta umpan balik dari peserta sebelum resmi dimulai.

"Praktisi AI dari berbagai latar belakang diundang untuk bergabung dengan proyek BigCode. Undangan ini terbuka bagi mereka yang memiliki latar belakang penelitian AI profesional dan dapat meluangkan waktu untuk proyek tersebut," ujar perusahaan