Google AI 研究者が大規模言語モデルのパフォーマンスを向上させる革新的な方法を開発

Google DeepMindは大規模な言語モデリング(LLM)方法を開発しました(写真:x @GoogleDeepMind)

ジャカルタ - Google ResearchとGoogle DeepMindの人工知能(AI)研究者は、大規模言語モデル(LLM)を他の言語モデルで強化できる方法を開発しました。

これにより、開発者がゼロから開始したり、高価なトレーニング/進歩セッションを必要としたりすることなく、既存のモデルに新しい機能を提供できるようになり、LLM に残された最大の問題の 1 つが解決されます。

Google Research チームによると、LLM を別の言語モデルで強化すると、既存のタスクのパフォーマンスが向上するだけでなく、モデルだけでは達成できない新しいタスクも可能になります。

古いチャットボットに新しいトリックを教える この研究は、OpenAI の ChatGPT のベースとなる人工知能である GPT-4 と同等と呼ばれるモデルである Google の PaLM2-S LLM を使用して実施されました。

PaLM2-S はチームの実験で単独でテストされ、その後、より小規模でより特化された言語モデルで強化された後、再度テストされました。実行されたタスクには、翻訳とプログラミングが含まれており、増幅されたバージョンではベースラインと比較して最大 13% の改善が見られました。

このハイブリッド モデルは、プログラミング タスクでテストすると、次の論文で説明されているように大幅な改善が見られます。

「同様に、PaLM2-S がプログラミング固有のモデルで拡張された場合、コード生成および説明タスクに関して、基本モデルと比較して 40% の相対的な改善が見られました。これは、完全に拡張されたモデルに匹敵します。」

潜在的な大きな影響 実証されたパフォーマンスの向上は、人工知能分野に直接的な影響を与える可能性があります。たとえば、翻訳タスクのパフォーマンスの向上は、サポートの低い言語を英語に翻訳するときに最大であることがわかりました。これは機械学習の分野ではまだ未解決の問題であり、Google の研究は大きな貢献をする可能性があります。

しかし、より広範には、この一連の研究が、人工知能分野の多くのハイテク CEO を脅かす法的問題、つまり ChatGPT のようなチャットボットの基盤そのものを破壊する可能性のある法的問題に対処できる可能性があります。

今日、最も人気のある大規模言語モデルのいくつかの作成者は、これらの AI システムが著作権で保護されたデータを使用してトレーニングされたという申し立てに基づく多数の訴訟の被告となっています。

議員と裁判所が答えなければならない問題は、営利企業が言語モデルをトレーニングするためにこのデータを合法的に使用できるかどうかです。開発者がデータを使用できず、著作権で保護された素材でトレーニングされたモデルを削除する必要があると裁判所が判断した場合、影響を受けるサービスの提供を継続するのは技術的に不可能または不経済になる可能性があります。

基本的に、大規模な言語モデルのトレーニングには高額なコストがかかることと、ビッグデータへの依存により、現在構築されている ChatGPT のような製品は、より規制の厳しい米国の人工知能環境では実行できない可能性があります。

ただし、Google の新しい LLM アップグレード スキームがさらなる開発に成功すれば、LLM を最初から開始したり、既存の LLM を拡張したりするための要件とコストの多くが削減される可能性があります。