苹果和NVIDIA 合作提高LLM的性能

雅加达 - 苹果 宣布与NVIDIA 合作,以加速长语言模型 (LLM) 在文本制作方面的性能。此次合作利用了苹果的最新技术Recurrent Drafter(ReDrafter),该技术以前发布并开源。

ReDrafter提供了一种新方法,可以更快地使用LLM生成文本并取得最佳性能。该技术结合了 beam 搜索,以探索 各种可能性和动态 树木关注,以有效地处理选择。

苹果与NVIDIA一起,将ReDrafter集成到TensorRT-LLM中,TensorRT-LLM是一种NVIDIA工具,旨在加速其GPU上的LLM处理。此次合作的成果非常有希望:

NVIDIA添加了新的运营商,并提高了TensorRT-LLM的能力,以支持更先进的解码模型和方法。这使得使用NVIDIA GPU的机器学习开发人员能够轻松利用ReDrafter的优势。

苹果的机器学习研究人员表示,LLM越来越被用来支持生产应用,因此结论的效率非常重要。

“凭借ReDrafter的创新方法,投机解码已集成到TensorRT-LLM框架中,开发人员现在可以为其生产应用程序在NVIDIA GPU上享受更高一代代代币速度,”苹果在其官方博客中表示。

该技术不仅降低了计算成本,而且还提供了更具响应性的用户体验,使其成为各种基于LLM的应用程序的理想解决方案。