ジャカルタ-グローバルテクノロジー企業であるYandexは、ジェネレーティブAIがリアルタイムでユーザーと対話できるようにする大口語モデル(LLM)をトレーニングするためのオープンソースの方法であるYaFSDPを立ち上げました。
世界の人工知能(AI)コミュニティに貢献するという同社のコミットメントの一環として、YandexはYaFSDPを世界中のLLM開発者やAI愛好家が公開しています。
「これが世界中のジェネレーティブAI研究者と開発者のアクセシビリティと効率性の向上に貢献できることを願っています」と、Yandexのシニア開発者であり YaFSDPチームであるMikhail Khrushevは、6月12日水曜日に引用された声明で説明しました。
Yandexは、YaFSDPは学習速度とパフォーマンスを最適化することができ、世界中のAI開発者がモデルのトレーニング中に計算能力とGPUリソースを減らすことができると述べています。
現在、YaFSDPは、一般に公開されている他の完全に分割されたデータパラレル(FSDP)方法と比較して、LLMのトレーニングにおいて最も効果的な方法です。
YaFSDPを使用すると、アーキテクチャとパラメータの数に応じて、通常のFSDPと比較して速度を最大26%向上させることができます。これにより、LLMのトレーニング時間を短縮すると同時に、GPUリソースの使用を最大20%節約できます。
「はいFSDPは、13〜700億のパラメータを扱うモデルで印象的な結果を示し、30〜700億の範囲の非常に強力なパフォーマンスを示しています」とMikhail氏は述べています。
「現在、YaFSDPはLLaMAアーキテクチャに基づいて広く使用されているオープンソースモデルに最も適していると考えています」と彼は付け加えました。
The English, Chinese, Japanese, Arabic, and French versions are automatically generated by the AI. So there may still be inaccuracies in translating, please always see Indonesian as our main language. (system supported by DigitalSiber.id)
