4月24日，摩爾線程攜手智源眾智FlagOS社區(qū)，在旗艦級AI訓(xùn)推一體全功能GPU MTT S5000上，率先實現(xiàn)對新一代大模型DeepSeek-V4-Flash的Day-0極速適配，并完成了全量核心算子的深度優(yōu)化與部署支持。

DeepSeek-V4-Flash 采用混合專家（MoE）架構(gòu)，總參數(shù)量高達(dá)284B，激活參數(shù)13B，支持百萬token上下文長度。其預(yù)訓(xùn)練數(shù)據(jù)超32Ttoken，在最大推理力度模式（Flash-Max）下推理能力逼近Pro版本。值得關(guān)注的是，V4模型首次采用“FP4+FP8”混合精度策略，而當(dāng)前國內(nèi)主流 AI 芯片仍普遍以BF16為主。而摩爾線程憑借獨特的原生FP8支持優(yōu)勢，能夠更高效承載 DeepSeek-V4 的前沿精度設(shè)計，為模型部署與推理優(yōu)化提供了堅實的算力底座。

作為國內(nèi)率先原生支持FP8精度的全功能GPU，MTT S5000配置了強(qiáng)大的硬件級FP8 Tensor Core 加速單元。相比傳統(tǒng)的BF16/FP16，F(xiàn)P8能夠?qū)?shù)據(jù)位寬直接減半，使顯存帶寬壓力降低 50%，理論計算吞吐量實現(xiàn)翻倍。

為充分發(fā)揮MTT S5000在FP8計算上的內(nèi)核優(yōu)勢，FlagOS對DeepSeek V4模型進(jìn)行了FP8量化。通過系統(tǒng)級分析，雙方技術(shù)團(tuán)隊將本次適配的攻堅重點鎖定在FP8算子與Sparse Attention算子。針對這兩個決定長上下文效率與極致推理性能的關(guān)鍵算子，團(tuán)隊從“編譯優(yōu)化”與“自動調(diào)優(yōu)”兩個核心方向取得了重大突破：

▼ 方向一：深入利用摩爾線程 FlagTree編譯器能力，提升底層執(zhí)行效率。通過精細(xì)化的 shape 對齊策略，使 FP8 和 Sparse Attention 的計算 shape 更好地滿足摩爾線程張量訪存與計算引擎（TME/TCE）的要求；同時結(jié)合 MUSA_ENABLE_SQMMA，進(jìn)一步加速 tl.dot 矩陣計算。

▼ 方向二：借助 FlagOS-Tune，自動搜索最優(yōu) Triton 內(nèi)核配置。FlagOS-Tune 能夠擴(kuò)展算子的搜索空間，基于模型真實 shape 離線搜索 FP8 和 Sparse Attention 算子的最優(yōu)內(nèi)核配置，效果優(yōu)于手工調(diào)參。

在離線優(yōu)化之外，F(xiàn)lagOS-Tune還支持在線內(nèi)核配置搜索能力。用戶只需開啟環(huán)境變量 USE_FLAGTUNE=1，經(jīng)過一段時間的 warmup 后，系統(tǒng)基于實際運行過程持續(xù)搜索并應(yīng)用最佳配置。其中，TTFT 時延降低 16.5%，ITL 時延降低 39.7%，Throughput 提升 65.7%。

當(dāng)前，摩爾線程與FlagOS社區(qū)正持續(xù)推進(jìn)擁有1.6T旗艦?zāi)Ｐ停?.86萬億參數(shù)）的DeepSeek-V4-Pro在MTT S5000上的遷移適配工作。未來，摩爾線程將繼續(xù)以MUSA架構(gòu)與全功能GPU的全棧技術(shù)優(yōu)勢，為國產(chǎn)大模型生態(tài)提供更高效、更自主可控的算力基石。

開發(fā)者可下載鏡像進(jìn)行開箱體驗：

DeepSeek-V4-Flash

▼魔塔平臺

https://modelscope.cn/models/FlagRelease/DeepSeek-V4-Flash-mthreads-FlagOS 

▼ HuggingFace 平臺

https://huggingface.co/FlagRelease/DeepSeek-V4-Flash-mthreads-FlagOS