Yandex 推出 YaFSDP, 是生成人工智能最先进的 LLM 培训工具

雅加达 - 全球科技公司Yandex刚刚推出了YaFSDP,这是一种开源方法,用于练习大语言模型(LLM),允许生成的人工智能实时与用户交互。

作为公司致力于为全球人工智能(AI)社区做出贡献的一部分,Yandex使YaFSDP向全球LLM开发人员和AI粉丝公开提供。

“我们希望这可以为世界各地的生成AI研究人员和开发人员的可访问性和效率的提高做出贡献,”Yandex高级开发商兼YaFSDP团队Mikhail Khruschev在6月12日星期三引用的声明中解释道。

Yandex表示,YaFSDP能够优化学习速度和性能,从而允许世界各地的AI开发人员在培训其模型时使用更少的计算能力和GPU资源。

今天,YaFSDP是培训LLM的最有效方法,与公众提供的其他完全共享数据平行(FSDP)方法相比。

YaFSDP使用,与通常的FSDP相比,速度可以提高26%,具体取决于架构和参数数数。因此,LLM的培训时间可以缩短,同时节省高达20%的GPU资源使用。

米哈伊尔说:“YaFSDP在处理13至700亿个参数的模型上取得了令人印象深刻的成果,在300亿至700亿的范围内取得了非常强大的表现。

“目前,我们看到YaFSDP最适合基于LLaMA架构广泛使用的开源模型,”他补充说。