今日，国内人工智能领域的领军企业DeepSeek正式公布了其开源计划的第四日成果——Optimized Parallelism Strategies（优化并行策略）。此次发布的核心技术包括双向管道并行算法DualPipe、专家并行负载均衡器EPLB，以及对计算-通信重叠机制的深度优化。这些技术升级直接针对大规模语言模型训练中的关键问题，为超万卡级集群的高效运行提供了全新的解决方案。
DualPipe是本次技术升级的核心之一，专为V3/R1架构设计。通过创新的双向数据流管道，DualPipe实现了计算与通信的高度重叠。与传统的单向流水线相比，该技术显着提升了计算吞吐量，特别适用于千亿至万亿参数规模的模型训练。根据GitHub代码库的显示，DualPipe通过智能调度机制，在反向传播阶段同步执行前向计算，使硬件利用率提升了约30%。
EPLB技术则针对混合专家（MoE）模型训练中的“热点专家”问题，首次实现了专家并行的动态负载平衡。传统方法由于专家任务分配不均，常常导致部分计算卡过载，而EPLB通过实时监控与自适应分配，使万卡级集群的整体利用率提升至92%以上，有效避免了资源闲置。
此外，DeepSeek还基于V3/R1架构的通信重叠分析工具，首次构建了3D并行（数据/流水线/张量并行）的时空效率模型。通过开源的分析数据集，开发者可以精准定位计算与通信的冲突节点，为超大规模模型训练提供调优基准。据测试，这一优化可减少约15%的端到端训练耗时。
此次技术发布在业界引起了强烈关注。专家指出，DualPipe与EPLB的组合创新，直接回应了当前大模型训练的两大挑战：一是随着模型规模指数级增长，传统并行策略的扩展性瓶颈日益凸显；二是混合专家模型的普及使得动态负载均衡成为刚需。某云计算厂商技术负责人评价称：“这些工具将大幅降低千亿级模型训练的硬件门槛，预计可使训练成本下降20%-30%。”
DeepSeek的CTO在技术文档中强调，此次开源的策略已在其内部多个千亿参数模型训练中验证，未来将持续迭代优化。目前，这三项技术均已在GitHub开放源码，支持开发者定制化应用于不同硬件环境。
随着全球AI竞赛进入“规模决胜”阶段，DeepSeek通过连续四天的关键技术开源，不仅展示了中国AI企业的技术实力，更为行业提供了可复用的基础设施。这场以“开放协作”驱动的技术革新，或将重塑大模型训练的产业生态。