Официальный веб-сайт www.binance.com/zh-cn :введите официальный веб-сайт ☜☜
Приложение: ☞☞official App Download☜☜
Сегодня Lenovo объявил, что его первый сервер обучения AMD AI Big Model, Lenovo Wondian WA7785A G3, достиг экстремальной пропускной способности до 6708Token/S при развертывании 671B (полноцветная версия) DeepSeek Big модели.
Согласно сообщениям, этот прорыв производительности обусловлен сильной поддержкой Lenovo Wanquan, гетерогенной интеллектуальной вычислительной платформы. Lenovo непрерывно оптимизирует весь процесс крупных моделей от предварительного обучения, после тренировки до вывода посредством ряда инновационных технических средств, таких как оптимизация доступа к памяти, оптимизация видео памяти, инновационная архитектура PCIE5.0, а также выбранные оптимальные операторы в структуре SGLANG. Фактические результаты теста показывают, что на сервере Lenovo Wondian WA7785A G3, который развертывает большую модель DeepSeek671b, самая высокая пропускная способность достигает удивительного 6708token/s.
При моделировании проблемного сценария разговора (длина последовательности контекста 128/1K) сервер может поддерживать до 158 номеров параллелизма, TPOT (время на токен для вывода) составляет 93 миллисекунд, TTFT (время до первого токена) составляет 2,01 секунды; При моделировании сценария генерации кода (длина последовательности контекста 512/4K) номера параллелизма могут достигать 140, TPOT составляет 100 миллисекунд, а TTFT составляет 5,53 секунды. Lenovo сказал, что эта производительность означает, что один сервер Lenovo Wondian WA7785A G3 может поддерживать нормальное использование предприятий со шкалой 1500 человек. Это еще один серьезный скачок в производительности вывода крупномасштабной модели, развернутой сервером Lenovo wandian WA7780G3, после того, как полнокровная версия Deepseek Big Model была развернута в большой модели Deepseek Deepseek.
Lenovo подчеркнул, что этот технологический прорыв является результатом совместной проектирования, совместной оптимизации и совместной реализации бизнес -группы Lenovo China Infrastructure, Lenovo Research Institute Laboratory и AMD. В то же время это не конечный результат. Lenovo и AMD все еще продолжают изучать новые методы глубокой настройки, чтобы добиться более высоких прорывов производительности.