러시아의 거대 기술 기업 Yandex는 효율성이 업계를 선도하는 LLM(대형 언어 모델) 훈련을 위한 최적화 방법인 자체 개발 YaFSDP 도구를 오픈 소스로 공개했습니다. YaFSDP는 LLM 훈련 속도를 최대 26%까지 크게 높이고 GPU 리소스 비용을 크게 절감할 수 있으며 이는 의심할 여지 없이 AI 개발자와 기업에 큰 이점입니다. 이 도구는 훈련 매개변수 크기가 300억~700억에 도달할 때 특히 효과적이므로 중소기업과 개인 개발자가 LLM을 독립적으로 훈련할 수 있는 더 많은 가능성을 제공합니다.
러시아의 거대 기술 기업 Yandex는 최근 자체 개발한 YaFSDP 도구를 글로벌 AI 커뮤니티에 오픈 소스로 공개했습니다. 이는 현재 업계에서 가장 효율적인 LLM(대형 언어 모델) 훈련 최적화 방법입니다. 업계에서 널리 사용되는 FSDP 기술과 비교하여 YaFSDP는 LLM 훈련 속도를 최대 26%까지 높일 수 있으며, 이는 AI 개발자와 기업을 위한 많은 GPU 리소스를 절약할 수 있을 것으로 예상됩니다.
YaFSDP(Yandex Full Sharded Data Parallel)는 FSDP를 기반으로 하는 Yandex의 향상된 버전으로, GPU 통신 효율성과 메모리 사용을 최적화하고 LLM 교육 프로세스에서 병목 현상을 제거하는 데 중점을 둡니다. 사전 훈련, 정렬 및 미세 조정과 같은 통신 집약적인 작업에서 YaFSDP는 특히 훈련 매개변수 크기가 300억~700억에 도달할 때 탁월한 성능 향상을 보여줍니다.
Yandex의 수석 개발 전문가이자 YaFSDP 팀의 일원인 Mikhail Khruschev는 다음과 같이 말했습니다. "YaFSDP는 LLaMA 아키텍처를 기반으로 널리 사용되는 오픈 소스 모델에 가장 적합합니다. 우리는 계속해서 다양한 모델 아키텍처와 매개변수에 걸쳐 다양성을 최적화하고 확장하고 있습니다. 다양한 시나리오에서 훈련 효율성을 향상시킵니다."
예를 들어 700억 개의 매개변수가 있는 모델을 훈련할 때 YaFSDP를 사용하면 약 150개의 GPU 리소스를 절약할 수 있는 것으로 추정됩니다. 이는 매월 컴퓨팅 전력 비용을 US$500,000~US$150만 절약하는 것과 같습니다. 이러한 비용 절감으로 인해 중소기업과 개인 개발자가 자율적인 LLM 교육을 더욱 실현할 수 있게 될 것으로 예상됩니다.
동시에 Yandex는 글로벌 AI 커뮤니티의 발전에 지속적으로 기여할 것을 약속합니다. YaFSDP 오픈 소스는 이러한 약속을 반영합니다. 이전에 회사는 CatBoost 고성능 그래디언트 부스팅 라이브러리, AQLM 익스트림 모델 압축 알고리즘, Petals 모델 훈련 단순화 라이브러리 등 높이 평가되는 다수의 오픈 소스 AI 도구를 공유했습니다.
업계 분석가들은 LLM의 규모가 계속 확대됨에 따라 교육 효율성을 향상시키는 것이 인공 지능 개발의 핵심이 될 것이라고 지적합니다. YaFSDP와 같은 기술적 혁신은 AI 커뮤니티가 대규모 모델 연구를 더 빠르게 발전시키고 자연어 처리, 컴퓨터 비전 및 기타 분야에서 응용 가능성을 탐색하는 데 도움이 될 것으로 예상됩니다.
YaFSDP의 오픈 소스는 AI 기술 개발 촉진에 대한 Yandex의 긍정적인 태도와 기여를 보여줍니다. 또한 글로벌 AI 커뮤니티를 위한 강력한 도구를 제공하여 대규모 모델 훈련의 문턱을 더욱 낮추고 AI 기술의 대중화 및 적용을 가속화합니다.