3月2日消息，國(guó)產(chǎn)果日前摩爾線程宣布，顯卡線程隨著DeepSeek開源周收官，動(dòng)作摩爾線程在短時(shí)間內(nèi)，神速成功實(shí)現(xiàn)對(duì)DeepSeek各個(gè)開源項(xiàng)目的全面全面支持，涵蓋FlashMLA、支持周成DeepEP、開源DeepGEMM、國(guó)產(chǎn)果DualPipe 以及 Fire-Flyer文件系統(tǒng)（3FS）。顯卡線程

摩爾線程表示，動(dòng)作這一成果充分驗(yàn)證了MUSA架構(gòu)和全功能GPU在生態(tài)兼容與快速適配方面的神速?gòu)?qiáng)大優(yōu)勢(shì)。

以下是全面摩爾線程支持DeepSeek開源周“全家桶”代碼合集：

FlashMLA：

FlashMLA是一款高效的MLA（Multi-Head Latent Attention）推理內(nèi)核開源倉(cāng)庫(kù)，旨在加速M(fèi)LA機(jī)制的支持周成計(jì)算，特別適用于DeepSeek系列模型（如DeepSeek-V2、開源V3和R1）。國(guó)產(chǎn)果

摩爾線程基于全新MUSA Compute Capability 3.1計(jì)算架構(gòu)，可提供原生FP8計(jì)算能力，同時(shí)升級(jí)了高性能線性代數(shù)模板庫(kù)MUTLASS，快速支持了FlashMLA。

借助MUTLASS 0.2.0，摩爾線程發(fā)布開源倉(cāng)庫(kù)MT-FlashMLA，能夠快速對(duì)DeepSeek FlashMLA進(jìn)行兼容部署。

MT-FlashMLA開源地址：

https://github.com/MooreThreads/MT-flashMLA

MUTLASS FlashAttention3地址：

https://github.com/MooreThreads/mutlass/tree/main/experimental/mp31_flash_attention_fwd

DeepEP：

DeepEP是一個(gè)用于MoE（混合專家）模型訓(xùn)練和推理的開源EP（expert parallelism，專家并行）通信庫(kù)，主要適用于大模型訓(xùn)練，特別是需要EP的集群訓(xùn)練。

它通過(guò)優(yōu)化通信信道的使用率，顯著提升了訓(xùn)練效率。摩爾線程基于MUSA Compute Capability 3.1全功能GPU，第一時(shí)間適配了DeepEP。

MT-DeepEP開源地址：

https://github.com/MooreThreads/MT-DeepEP

DeepGEMM：

DeepGEMM是一個(gè)支持密集矩陣與混合專家（MoE）矩陣乘法的FP8 GEMM庫(kù)，為V3/R1的訓(xùn)練與推理提供強(qiáng)大動(dòng)力。

這個(gè)開源倉(cāng)庫(kù)基于高性能通用矩陣乘法（GEMM）的C++模板庫(kù)進(jìn)行開發(fā)，摩爾線程基于MUTLASS在全新GPU架構(gòu)上優(yōu)化實(shí)現(xiàn)了FP8矩陣乘法，支持DeepGEMM的相應(yīng)功能。

MUTLASS FP8 GEMM地址：

https://github.com/MooreThreads/mutlass/tree/main/examples/02_mp31_fp8_gemm_with_collective_builder

https://github.com/MooreThreads/mutlass/tree/main/examples/03_mp31_fp8_scaling_gemm

DualPipe：

DualPipe是DeepSeek-V3提出的雙向流水線并行算法，通過(guò)前向計(jì)算與后向計(jì)算階段的計(jì)算與通信完全重疊，顯著減少了“流水線氣泡”（設(shè)備空閑等待）。

與傳統(tǒng)流水線并行相比，DualPipe 采用雙向數(shù)據(jù)流設(shè)計(jì)，使數(shù)據(jù)從兩端相向處理，大幅提升了資源利用率與訓(xùn)練效率。 

摩爾線程依托深度學(xué)習(xí)框架Torch-MUSA（已開源）和MUSA軟件棧全方位的兼容性，實(shí)現(xiàn)了對(duì)DualPipe這一算法的高效支持。

MT-DualPipe可以完整接入摩爾線程 MT-Megatron框架和MT-TransformerEngine框架（即將開源），實(shí)現(xiàn)DeepSeek V3訓(xùn)練流程的完整復(fù)現(xiàn)。

MT-DualPipe開源地址：

https://github.com/MooreThreads/MT-DualPipe

Torch-MUSA開源地址：

https://github.com/MooreThreads/Torch_MUSA

3FS：

Fire-Flyer文件系統(tǒng)（3FS）是一種利用現(xiàn)代SSD和RDMA網(wǎng)絡(luò)的全部帶寬的并行文件系統(tǒng)，可以把固態(tài)硬盤的帶寬性能利用到極致。

摩爾線程在一天內(nèi)完成了高性能分布式文件系統(tǒng)3FS的搭建，并高效開發(fā)了存儲(chǔ)插件，成功實(shí)現(xiàn)與夸娥智算集群的無(wú)縫集成，為AI訓(xùn)練、AI推理、科學(xué)計(jì)算等場(chǎng)景提供全棧存儲(chǔ)加速方案。

3FS CSI Driver地址：

https://github.com/MooreThreads/csi-driver-3fs