ServiceNowがBigCodeプロジェクト、オープンソース生成AIプログラムを開始

ジャカルタ - ServiceNow Research and Hugging Faceは、BigCodeと呼ばれる人工知能(AI)システムを開発するプロジェクトを発表しました。このプロジェクトは、9月26日(月)にオープンで責任あるコードを備えた最先端の大規模言語モデル(LLM)を開発することを目的としています。

このLLMコードは、後でさまざまなドメイン、タスク、およびプログラミング言語で動作します。これらのモデルは、プロの開発者と市民が新しいアプリケーションをコーディングするのに役立ちます。

BigCode プロジェクトは、AI 研究のバックグラウンドを持つ人なら誰でも参加でき、次のトピックで共同作業を行うよう招待します。

コード用の最先端のLLMを開発するために@huggingfaceとのコラボレーションを発表できることを嬉しく思います。Code LLMは、幅広いドメイン、タスク、プログラミング言語にわたるコードと作業の完了と統合を可能にします。さらに#BigCodeProjectRead: https://t.co/C1XFgr3nkf https://t.co/PhWprKKtwD

— ServiceNow Research (@ServiceNowRSRCH) September 26, 2022

さまざまなタスクとプログラミング言語 をカバーするLLMコードの代表的な評価スイートLLMコードの責任あるデータセット開発とガバナンスLLMのためのより速いトレーニングと推論方法LLM コードのための代表的な評価スイートは、多種多様なタスクとプログラミング言語をカバーしています

「BigCode の最初の目標は、高度なコード言語モデルをトレーニングするのに十分な大きさのデータセットを開発してリリースすることでした。許可ライセンスを持つリポジトリからのファイルのみがデータセットに入るようにします」と同社はServiceNowブログに書いています。

そのデータセットを使用して、ServiceNowの社内GPUクラスターを使用して、150億個のパラメータを持つ言語モデルをトレーニングしてコーディングします。さらに、Megatron-LMの適応バージョンにより、同社は分散インフラストラクチャでLLMを訓練します。

「モデルのトレーニングが終わったら、その能力を評価します。学術研究は通常、評価後に停止し、これがアプリケーション実務家のための仕事が始まるところです」と彼は付け加えました。

LLMの開発プロセス全体を通して、ServiceNowとHugging Faceはオープン性と透明性の原則を支持します。彼らは、これらの実験は高価であり、実行に多くの時間がかかる可能性があることを認めていますが、同社は正式に開始する前に参加者からのフィードバックを求めました。

「さまざまなバックグラウンドを持つAIプラクティショナーがBigCodeプロジェクトに参加するよう招待されています。この招待状は、専門的なAI研究の背景を持ち、プロジェクトのための時間を作ることができる人に開かれています」と同社は述べています。