ジャカルタ - Apple は、テキスト生成における大規模な言語モデル (LLM) のパフォーマンスを加速するためにNVIDIA と提携すると発表しました。このコラボレーションは、Apple の最新のテクニックである Recurrent Drafter (ReDrafter) を活用しており、これは以前に公開され、オープンソースになっています。
ReDrafterは、LLMでテキストをより迅速に生成し、最高のパフォーマンスを達成する新しい方法を提供します。この手法は、弱気検索を組み合わせて、さまざまな可能性を探求し、選択を効率的に処理するためのダイナミックなドアアバウトを提供します。
NVIDIAとともに、AppleはReDrafterをGPU上のLLM処理を高速化するために設計されたNVIDIAツールであるTensorRT-LLMに統合しました。このコラボレーションの結果は非常に有望です:
NVIDIAは新しいオペレーターを追加し、より高度なモデルとデコード方法をサポートするためにTensorRT-LLM機能を改善しています。これにより、NVIDIA GPUを使用する機械学習開発者は、ReDrafterの利点を簡単に活用できます。
Appleの機械学習研究者は、LLMが生産アプリケーションをサポートするためにますます使用されているため、参考効率が重要であると述べています。
「TensorRT-LLMフレームワークに統合された挑発的デコード化に対する革新的なReDrafterアプローチにより、開発者は生産アプリ用のNVIDIA GPUでより高いトークン世代の速度を楽しむことができます」とAppleは公式ブログで述べています。
このテクノロジーは、コンピューティングコストを削減するだけでなく、より敏感なユーザーエクスペリエンスを提供し、さまざまなLLMベースのアプリケーションに最適なソリューションとなっています。
The English, Chinese, Japanese, Arabic, and French versions are automatically generated by the AI. So there may still be inaccuracies in translating, please always see Indonesian as our main language. (system supported by DigitalSiber.id)
