雅加达 - 苹果 宣布与NVIDIA 合作,以加速长语言模型 (LLM) 在文本制作方面的性能。此次合作利用了苹果的最新技术Recurrent Drafter(ReDrafter),该技术以前发布并开源。
ReDrafter提供了一种新方法,可以更快地使用LLM生成文本并取得最佳性能。该技术结合了 beam 搜索,以探索 各种可能性和动态 树木关注,以有效地处理选择。
苹果与NVIDIA一起,将ReDrafter集成到TensorRT-LLM中,TensorRT-LLM是一种NVIDIA工具,旨在加速其GPU上的LLM处理。此次合作的成果非常有希望:
NVIDIA添加了新的运营商,并提高了TensorRT-LLM的能力,以支持更先进的解码模型和方法。这使得使用NVIDIA GPU的机器学习开发人员能够轻松利用ReDrafter的优势。
苹果的机器学习研究人员表示,LLM越来越被用来支持生产应用,因此结论的效率非常重要。
“凭借ReDrafter的创新方法,投机解码已集成到TensorRT-LLM框架中,开发人员现在可以为其生产应用程序在NVIDIA GPU上享受更高一代代代币速度,”苹果在其官方博客中表示。
该技术不仅降低了计算成本,而且还提供了更具响应性的用户体验,使其成为各种基于LLM的应用程序的理想解决方案。
The English, Chinese, Japanese, Arabic, and French versions are automatically generated by the AI. So there may still be inaccuracies in translating, please always see Indonesian as our main language. (system supported by DigitalSiber.id)
