تعاونت Apple و NVIDIA لتحسين أداء LLM

JAKARTA - أعلنت Apple عن شراكتها مع NVIDIA لتسريع أداء نماذج اللغة الكبيرة (LLM) في إنتاج النص. يستخدم هذا التعاون أحدث تقنية من Apple ، Recurrent Drafter (ReDrafter) ، والتي تم نشرها سابقا وهي مفتوحة المصدر.

يقدم ReDrafter طريقة جديدة لإنتاج نص مع LLM بسرعة أكبر وتحقيق أفضل أداء. تجمع هذه التقنية بين البحث عن البقع لاستكشاف مختلف الاحتمالات والاهتمام الديناميكي للشجرة للتعامل مع الاختيارات بكفاءة.

جنبا إلى جنب مع NVIDIA ، تقوم Apple بدمج ReDrafter في TensorRT-LLM ، وهي أداة NVIDIA مصممة لتسريع معالجة LLM في وحدات معالجة الرسومات الخاصة بها. نتائج هذا التعاون واعدة للغاية:

JAKARTA - تضيف NVIDIA مشغلين جدد وتعمل على تحسين قدرات TensorRT-LLM لدعم نماذج وطرق إزالة التشفير الأكثر تقدما. هذا يسمح لمطوري التعلم الآلي الذين يستخدمون GPU NVIDIA بالاستفادة بسهولة من مزايا ReDrafter.

ذكر باحثو Apple للتعلم الآلي أن LLM يستخدم على نطاق متزايد لدعم تطبيقات الإنتاج ، وبالتالي فإن كفاءة الإحالة مهمة للغاية.

"مع نهج ReDrafter المبتكر للتشفير المضاربة الذي تم دمجه في إطار TensorRT-LLM ، يمكن للمطورين الآن الاستمتاع بوتيرة جيل أكبر من الرموز المميزة على GPU NVIDIA لتطبيقات الإنتاج الخاصة بهم" ، قالت Apple على مدونتها الرسمية.

لا تقلل هذه التقنية من تكاليف الحوسبة فحسب ، بل توفر أيضا تجربة مستخدم أكثر استجابة ، مما يجعلها الحل المثالي لمختلف التطبيقات القائمة على LLM.