近日,人工智能大模型DeepSeek-R1671B在“悟空智算”中心完成全量部署上線,以每秒4416Token的極致效率引領(lǐng)行業(yè)標(biāo)桿。目前正式開放API(應(yīng)用程序接口)服務(wù),為戶提供開箱即好用的人工智能解決方案。“悟空智算”作為我市重點打造的人工智能產(chǎn)業(yè)集群項目,現(xiàn)持有高性能、國產(chǎn)化、消費(fèi)級多元化算力超6500P,是國家工業(yè)智算華東節(jié)點,也是目前公安部三所共建的第一個人工智能聯(lián)創(chuàng)中心。
“悟空智算”成功適配DeepSeek全參數(shù)版。近日,人工智能大模型DeepSeek-R1 671B在“悟空智算”中心完成全量部署上線,以每秒4416Token的極致效率引領(lǐng)行業(yè)標(biāo)桿,目前正式開放API(API是指通過接口形式為垂類人工智能應(yīng)用提供DeepSeek算法調(diào)用)服務(wù)?!拔蚩罩撬恪弊鳛槲沂兄攸c打造的人工智能產(chǎn)業(yè)集群項目,現(xiàn)持有高性能、國產(chǎn)化、消費(fèi)級多元化算力超6500P,是國家工業(yè)智算華東節(jié)點,也是目前公安部三所共建的第一個人工智能聯(lián)創(chuàng)中心。
本次“悟空智算”部署的DeepSeek-R1為671B全參數(shù)版,DeepSeek-R1按參數(shù)量劃分有1.5B、7B、14B……671B版本,均為開源。參數(shù)越大模型精度越高,同時對設(shè)備要求性能越高,“悟空智算”除了實現(xiàn)了全量部署外,主要是對模型調(diào)用進(jìn)行了二次優(yōu)化,每秒4416Token的生成速度,為目前國內(nèi)公開渠道已知的最快速度(未經(jīng)過專門優(yōu)化的算力中心Token生成速度約為1480個左右,國產(chǎn)算力常規(guī)生成速度在每秒80-450個左右),Token的生成速度直接決定了單位時間對數(shù)據(jù)處理的任務(wù)數(shù)量,生成速度快可以更好的快速響應(yīng)大規(guī)模的數(shù)據(jù)計算,大大提高了工作效率降低了系統(tǒng)故障率。