야누스(Yandex)는 글로벌 기술 회사로서 대규모 언어 모델(LLM)을 훈련하는 오픈 소스 방법인 YaFSDP를 출시했습니다. 이는 생성 AI가 사용자와 실시간으로 상호 작용할 수 있도록합니다.
글로벌 인공 지능(AI) 커뮤니티에 기여하기 위한 회사의 약속의 일환으로, Yandex는 전 세계 LLM 개발자와 AI 팬들에게 YaFSDP를 공개적으로 제공합니다.
"우리는 이것이 전 세계적으로 생성 된 AI 연구자 및 개발자의 접근성과 효율성을 향상시키는데 기여할 수 있기를 바랍니다."라고 6월 12일 수요일 인용된 Yandex의 수석 개발자 Mikhail Khruschev과 YaFSDP 팀은 성명서에서 말했습니다.
Yandex는 YaFSDP가 학습 속도와 성능을 최적화 할 수 있기 때문에 전 세계의 AI 개발자가 모델을 훈련 할 때 더 적은 컴퓨팅 파워와 GPU 리소스를 사용할 수 있도록 지원한다고 말했습니다.
현재, YaFSDP는 공개적으로 사용할 수 있는 다른 완전 분산 데이터 병렬(FSDP) 방법에 비해 LLM을 훈련하는 데 가장 효과적인 방법입니다.
YaFSDP를 사용하면 일반 FSDP에 비해 아키텍처 및 매개 변수 수에 따라 26%까지 속도가 향상 될 수 있습니다. 따라서 LLM의 교육 시간을 단축하고 GPU 자원 사용을 최대 20% 절약 할 수 있습니다.
"YaFSDP는 130억에서 700억 개의 매개 변수를 다루는 모델에서 압도적 인 성과를 보여주었으며 300억에서 700억 사이의 범위에서 매우 강력한 성능을 보여주었습니다."라고 Mikhail은 말했습니다.
"현재 우리는 YaFSDP가 LLaMA 아키텍처를 기반으로 널리 사용되는 오픈 소스 모델에 가장 적합하다고 생각합니다."
The English, Chinese, Japanese, Arabic, and French versions are automatically generated by the AI. So there may still be inaccuracies in translating, please always see Indonesian as our main language. (system supported by DigitalSiber.id)
