Der russische Technologieriese Yandex hat sein selbst entwickeltes YaFSDP-Tool, eine Optimierungsmethode für das Training großer Sprachmodelle (LLM), deren Effizienz branchenweit führend ist, als Open Source bereitgestellt. YaFSDP kann die LLM-Trainingsgeschwindigkeit deutlich um bis zu 26 % steigern und GPU-Ressourcenkosten erheblich einsparen, was zweifellos ein großer Vorteil für KI-Entwickler und Unternehmen ist. Dieses Tool funktioniert besonders gut, wenn die Trainingsparametergröße 30 bis 70 Milliarden erreicht, und bietet kleinen und mittleren Unternehmen sowie einzelnen Entwicklern mehr Möglichkeiten, LLM unabhängig zu trainieren.
Yandex, ein Technologieriese aus Russland, hat der globalen KI-Community kürzlich sein unabhängig entwickeltes YaFSDP-Tool als Open Source zur Verfügung gestellt, das derzeit die effizienteste Trainingsoptimierungsmethode für große Sprachmodelle (LLM) in der Branche ist. Im Vergleich zur in der Branche weit verbreiteten FSDP-Technologie kann YaFSDP die LLM-Trainingsgeschwindigkeit um bis zu 26 % steigern, was voraussichtlich eine Menge GPU-Ressourcen für KI-Entwickler und Unternehmen einsparen wird.
YaFSDP (Yandex Full Sharded Data Parallel) ist eine erweiterte Version von Yandex, die auf FSDP basiert. Sie konzentriert sich auf die Optimierung der GPU-Kommunikationseffizienz und der Speichernutzung und beseitigt Engpässe im LLM-Trainingsprozess. Bei kommunikationsintensiven Aufgaben wie Vortraining, Ausrichtung und Feinabstimmung zeigt YaFSDP hervorragende Leistungsverbesserungen, insbesondere wenn die Trainingsparametergröße 30 bis 70 Milliarden erreicht.
Mikhail Khruschev, leitender Entwicklungsexperte bei Yandex und Mitglied des YaFSDP-Teams, sagte: „YaFSDP eignet sich am besten für weit verbreitete Open-Source-Modelle, die auf der LLaMA-Architektur basieren. Wir optimieren und erweitern weiterhin seine Vielseitigkeit über verschiedene Modellarchitekturen und Parameter hinweg.“ Größen, im Hinblick auf eine breitere Nutzung. Verbesserung der Trainingseffizienz in verschiedenen Szenarien.“
Es wird geschätzt, dass am Beispiel des Trainings eines Modells mit 70 Milliarden Parametern durch die Verwendung von YaFSDP etwa 150 GPU-Ressourcen eingespart werden können, was einer Einsparung von 500.000 bis 1,5 Millionen US-Dollar an Rechenleistungskosten pro Monat entspricht. Es wird erwartet, dass diese Kosteneinsparung das autonome LLM-Training für KMU und einzelne Entwickler praktikabler macht.
Gleichzeitig verspricht Yandex auch weiterhin, zur Entwicklung der globalen KI-Community beizutragen. Open Source spiegelt dieses Engagement wider. Zuvor hat das Unternehmen eine Reihe hoch angesehener Open-Source-KI-Tools gemeinsam genutzt, darunter die leistungsstarke Gradient-Boosting-Bibliothek CatBoost, den extremen Modellkomprimierungsalgorithmus AQLM und die Bibliothek zur Vereinfachung des Petals-Modelltrainings.
Branchenanalysten weisen darauf hin, dass mit der weiteren Ausweitung des LLM-Bereichs die Verbesserung der Ausbildungseffizienz zum Schlüssel für die Entwicklung künstlicher Intelligenz werden wird. Es wird erwartet, dass technische Durchbrüche wie YaFSDP der KI-Community dabei helfen, die Forschung an großen Modellen schneller voranzutreiben und ihre Anwendungsaussichten in der Verarbeitung natürlicher Sprache, Computer Vision und anderen Bereichen zu erkunden.
Die offene Quelle von YaFSDP zeigt die positive Einstellung und den Beitrag von Yandex zur Förderung der Entwicklung der KI-Technologie. Es stellt auch ein leistungsstarkes Werkzeug für die globale KI-Community dar, das die Schwelle für das Training großer Modelle weiter senkt und die Popularisierung und Anwendung der KI-Technologie beschleunigt.