Lenovo gab heute bekannt, dass sein erstes AMD-AI-Big-Model-Trainingsserver, Lenovo Wentian Wa7785a G3, einen extremen Durchsatz von bis zu 6708Token/s erreichte, als er den 671B (Vollblutversion) Deepseek-Big-Modell auf einem eigenständigen Maschine einsetzt, und einmal die Aufzeichnung des Aufzeichnungen eines einzelnen Servers eines einzelnen Servers eines einzelnen Servers.
Berichten zufolge ist dieser Leistungsbruch auf die starke Unterstützung der heterogenen intelligenten Computerplattform von Lenovo Wanquan zurückzuführen. Lenovo optimiert kontinuierlich den gesamten Prozess großer Modelle von Vorausbildung, nach der Schulung bis hin zur Folgerung durch eine Reihe innovativer technischer Mittel wie Speicherzugriffsoptimierung, Videospeicheroptimierung, innovative PCIE5.0-Architektur mit Vollinterminktion und ausgewählte optimale Operatoren im Sglang-Framework. Die tatsächlichen Testergebnisse zeigen, dass auf dem Lenovo Wentian WA7785A G3 -Server, auf dem das Big -Modell von Deepseek671B bereitgestellt wird, der höchste Durchsatz erstaunlich 6708Token/s erreicht.
Bei der Simulation eines Problemgesprächsszenario (Kontextsequenzlänge 128/1k) kann der Server bis zu 158 Parallelitätsnummern unterstützen, TPOT (Zeit pro Ausgangs -Token) 93 Millisekunden, TTFT (Zeit bis zum ersten Token) 2,01 Sekunden; Bei der Simulation eines Codegenerierungsszenario (Kontextsequenzlänge 512/4K) können die Parallelitätszahlen 140 erreichen, TPOT beträgt 100 Millisekunden und TTFT 5,53 Sekunden. Lenovo sagte, dass diese Leistung bedeutet, dass ein einzelner Lenovo Wentian WA7785A G3 Server die normale Verwendung von Unternehmen mit einer Skala von 1.500 Personen unterstützen kann. Es ist ein weiterer großer Sprung in der Inferenzleistung des groß angelegten Modells, das von Lenovo Wentian WA7780G3-Server bereitgestellt wurde, nachdem die Vollblutversion des Deepseek Big-Modells vom Single-Machine Deepseek Big Model eingesetzt wurde.
Lenovo betonte, dass dieser technologische Durchbruch das Ergebnis der gemeinsamen Gestaltung, der kollaborativen Optimierung und der gemeinsamen Umsetzung von Lenovo China Infrastructure Business Group, dem ICI Laboratory und AMD des Lenovo Research Institute ist. Gleichzeitig ist dies nicht das Endergebnis. Lenovo und AMD untersuchen weiterhin neue Methoden der Tiefenabstimmung, um höhere Leistungsbranchen zu erzielen.