今年1月，中國(guó)人工智能公司深度求索（DeepSeek）發(fā)布了令人矚目的DeepSeek-R1模型，采取創(chuàng)新的MoE架構(gòu)和高效的訓(xùn)練方法，使得其在保持高性能的同時(shí)實(shí)現(xiàn)了較低的算力需求。眾多主流大模型企業(yè)也紛紛加碼MoE架構(gòu)創(chuàng)新。

近日，科大訊飛攜手華為在國(guó)產(chǎn)算力領(lǐng)域取得重大進(jìn)展，雙方聯(lián)合團(tuán)隊(duì)率先突破國(guó)產(chǎn)算力集群上MoE模型的大規(guī)?？绻?jié)點(diǎn)專家并行集群推理。這是繼DeepSeek公布其MoE模型訓(xùn)練推理方案后，業(yè)界首個(gè)基于國(guó)產(chǎn)算力的全新解決方案。

想要了解科大訊飛與華為的這次突破的意義，需要先了解一下什么是MoE模型。

MoE模型全稱Mixture of Experts，即混合專家模型，是一種先進(jìn)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，旨在通過(guò)整合多個(gè)模型或“專家”的預(yù)測(cè)來(lái)提升整體模型性能。

MoE模型的核心工作設(shè)計(jì)思路是“術(shù)業(yè)有專攻”，通過(guò)將輸入數(shù)據(jù)分配給不同的專家子模型，然后將所有子模型的輸出進(jìn)行合并，以生成最終結(jié)果。舉個(gè)例子，MoE模型類似一個(gè)酒店的后廚，后廚里面有徽菜、川菜、粵菜等不同菜系的大廚，這些大廚就是專家?？腿它c(diǎn)完菜，后廚接到任務(wù)后，就由對(duì)應(yīng)菜系的大廚來(lái)做。

DeepSeek通過(guò)MoE架構(gòu)的創(chuàng)新讓激活參數(shù)比大幅下降，使得同等效果的大模型所需的算力明顯下降。“不過(guò)，MoE架構(gòu)雖然能有效降低算力消耗，但在分布式訓(xùn)練過(guò)程中，仍然面臨著跨設(shè)備通信開(kāi)銷巨大的挑戰(zhàn)。”科大訊飛有關(guān)負(fù)責(zé)人表示。

DeepSeek成為“國(guó)產(chǎn)大模型之光”，但其背后所用的仍然是英偉達(dá)提供的算力。以DeepSeek為代表的國(guó)產(chǎn)大模型的算法突破，能否與國(guó)產(chǎn)算力支撐適配，顯然已經(jīng)成為一項(xiàng)事關(guān)我國(guó)大模型和人工智能長(zhǎng)遠(yuǎn)發(fā)展的急務(wù)。

近日，科大訊飛與華為的聯(lián)合團(tuán)隊(duì)率先突破國(guó)產(chǎn)算力集群上MoE模型的大規(guī)?？绻?jié)點(diǎn)專家并行集群推理。聯(lián)合團(tuán)隊(duì)通過(guò)軟硬件的深度協(xié)同創(chuàng)新，在多個(gè)關(guān)鍵技術(shù)層面深挖硬件潛力，完成昇騰集群上的驗(yàn)證和部署。

通過(guò)算子融合、混合并行策略和通信計(jì)算并行優(yōu)化等一系列創(chuàng)新，科大訊飛在國(guó)產(chǎn)算力上實(shí)現(xiàn)了顯著性能提升：?jiǎn)慰o態(tài)內(nèi)存占用縮減至雙機(jī)部署的1/4，效率提升75%，專家計(jì)算密度增加4倍，推理吞吐提升3.2倍，端到端時(shí)延降低50%。

基于此次科大訊飛攜手華為所做的首個(gè)基于國(guó)產(chǎn)算力的MoE模型訓(xùn)推方案，科大訊飛稱，這一突破性的解決方案也將應(yīng)用于訊飛星火深度推理模型的訓(xùn)練加速，預(yù)期訓(xùn)練時(shí)推理效率將提升200%。同時(shí)，基于該方案的推理引擎也實(shí)現(xiàn)了國(guó)產(chǎn)算力上DeepSeek-V3和R1的高效推理。

算力供應(yīng)是AI技術(shù)的底層支撐，自主可控方能“防患于未然”。從DeepSeek點(diǎn)燃開(kāi)源之火，到字節(jié)、阿里爭(zhēng)相技術(shù)共享，再到科大訊飛實(shí)現(xiàn)國(guó)產(chǎn)算力突破，國(guó)內(nèi)MoE賽道已形成“效率迭代”與“自主可控”的雙重?cái)⑹隆?/p>

合肥在線-合新聞?dòng)浾?張玉蓮 通訊員 許昊杰 許可亮