IT之家 2 月 27 日消息，在 DeepSeek 開源周第四日，摩爾線程宣布已成功支持 DeepSeek 開源通信庫 DeepEP 和并行算法 DualPipe，并發(fā)布相關開源代碼倉庫：MT-DeepEP 和 MT-DualPipe。
據介紹，DeepEP 是一個用于 MoE（混合專家）模型訓練和推理的開源 EP（expert parallelism，專家并行）通信庫，主要適用于大模型訓練，特別是需要 EP 的集群訓練。它通過優(yōu)化通信信道的使用率，提升了訓練效率。摩爾線程基于 MUSA Compute Capability 3.1 全功能 GPU 適配了 DeepEP，并支持以下特性：
高效優(yōu)化的 All-to-All 通信，支持 dispatch & combine
支持 MTLink + GPU（MUSA Compute Capability 3.1）節(jié)點內通信
訓練及推理預填充階段的高吞吐量計算核心
推理解碼階段的低延遲計算核心
原生支持 FP8 數據分發(fā)
靈活控制 GPU 資源，實現計算與通信的高效重疊
DualPipe 是 DeepSeek-V3 提出的雙向流水線并行算法，通過前向計算與后向計算階段的計算與通信完全重疊，減少了“流水線氣泡”（設備空閑等待）。摩爾線程依托深度學習框架 Torch-MUSA（已開源）和 MUSA 軟件棧全方位的兼容性，實現了對 DualPipe 這一算法的支持。
目前，MT-DualPipe 可以完整接入摩爾線程 MT-Megatron 框架和 MT-TransformerEngine 框架（即將開源），實現 DeepSeek V3 訓練流程完整復現。此外，MT-DualPipe 結合 MT-Megatron 可實現完整 DeepSeek V3 模型 MLP-FFN 分離以及 DW-DG 分離，進一步降低氣泡占比，優(yōu)化通信效率。同時，MT-DualPipe 與 MT-TranformerEngine 和 MT-DeepEP 的結合，可利用 MT-DeepEP 和異步通信引擎實現更高效的通信掩蓋，降低對計算資源損耗。
IT之家附 Torch-MUSA 開源地址如下：
https://github.com/MooreThreads/Torch_MUSA
相關閱讀：
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。