Yandex, 생성적 AI를 위한 가장 진보된 LLM 교육 도구인 YaFSDP 출시

야누스(Yandex)는 글로벌 기술 회사로서 대규모 언어 모델(LLM)을 훈련하는 오픈 소스 방법인 YaFSDP를 출시했습니다. 이는 생성 AI가 사용자와 실시간으로 상호 작용할 수 있도록합니다.

글로벌 인공 지능(AI) 커뮤니티에 기여하기 위한 회사의 약속의 일환으로, Yandex는 전 세계 LLM 개발자와 AI 팬들에게 YaFSDP를 공개적으로 제공합니다. 

"우리는 이것이 전 세계적으로 생성 된 AI 연구자 및 개발자의 접근성과 효율성을 향상시키는데 기여할 수 있기를 바랍니다."라고 6월 12일 수요일 인용된 Yandex의 수석 개발자 Mikhail Khruschev과 YaFSDP 팀은 성명서에서 말했습니다. 

Yandex는 YaFSDP가 학습 속도와 성능을 최적화 할 수 있기 때문에 전 세계의 AI 개발자가 모델을 훈련 할 때 더 적은 컴퓨팅 파워와 GPU 리소스를 사용할 수 있도록 지원한다고 말했습니다. 

현재, YaFSDP는 공개적으로 사용할 수 있는 다른 완전 분산 데이터 병렬(FSDP) 방법에 비해 LLM을 훈련하는 데 가장 효과적인 방법입니다. 

YaFSDP를 사용하면 일반 FSDP에 비해 아키텍처 및 매개 변수 수에 따라 26%까지 속도가 향상 될 수 있습니다. 따라서 LLM의 교육 시간을 단축하고 GPU 자원 사용을 최대 20% 절약 할 수 있습니다. 

"YaFSDP는 130억에서 700억 개의 매개 변수를 다루는 모델에서 압도적 인 성과를 보여주었으며 300억에서 700억 사이의 범위에서 매우 강력한 성능을 보여주었습니다."라고 Mikhail은 말했습니다. 

"현재 우리는 YaFSDP가 LLaMA 아키텍처를 기반으로 널리 사용되는 오픈 소스 모델에 가장 적합하다고 생각합니다."