全球范圍內(nèi),多家大模型廠商都在采購算力芯片并投資建設(shè)大型數(shù)據(jù)中心,大模型競爭同時也是算力競爭。今年兩會期間,如何解決大模型算力層面的算力短缺、異構(gòu)計算分散等問題,成為了熱議話題。
全國政協(xié)委員、中國科學院計算技術(shù)研究所研究員張云泉在過去一年里走訪了眾多算力中心及相關(guān)企業(yè)。根據(jù)了解到的行業(yè)現(xiàn)象,他今年提出了“關(guān)于超智融合突破‘算力圍城’”的提案,呼吁加快高端算力設(shè)施建設(shè),提升算力使用效率,以應(yīng)對人工智能大模型快速發(fā)展所帶來的“算力圍城”困局。
張云泉告訴第一財經(jīng)記者,他走訪多個算力中心后,感觸最深的是國內(nèi)智算中心在算力、機架密度等方面與國際領(lǐng)先水平的差距。例如,國內(nèi)目前公開報道的最大單體智算中心算力僅為萬卡6.6Eflops(BF16精度),與國際領(lǐng)先水平差兩個數(shù)量級;不少智算中心主流機架功率密度低于15kW,遠低于高端AI功率密度要求;能支撐大模型訓練的高端算力中心極為稀少且訓練效率不超過30%。
“伴隨DeepSeek等開源大模型涌現(xiàn),大模型在各個行業(yè)的應(yīng)用變多,這對算力基礎(chǔ)設(shè)施建設(shè)提出新需求。而當前算力市場存在供需性矛盾,即算力結(jié)構(gòu)單一、高端算力緊缺。算力基礎(chǔ)設(shè)施與國際領(lǐng)先水平存在代際差異,制約了大模型迭代創(chuàng)新速度。” 張云泉表示。
張云泉向記者解釋,算力結(jié)構(gòu)單一是指很多智算中心設(shè)計只能支持低精度算力架構(gòu)、只能支持特定生態(tài)體系的大模型訓練場景。造成這一現(xiàn)象的原因,包括核心芯片領(lǐng)域的很多國產(chǎn)AI芯片最高只能支持FP32精度的計算。隨著AI應(yīng)用場景增多、需求量增加,只滿足低精度訓練的智算中心不能很好支持未來“超智融合”趨勢下的全精度算力需求。同時,國產(chǎn)高性能可擴展并行訓練與推理編程框架和優(yōu)化工具鏈缺失,還導致國產(chǎn)大規(guī)模智算集群計算效率普遍偏低。
“超智融合”則是指將超算與智算的能力結(jié)合,“超智融合”目前被認為有可能用于滿足各行業(yè)的多元算力需求。張云泉告訴記者,“超智融合”能將國產(chǎn)超算幾十年間積累的架構(gòu)、芯片、并行與通信算法、算力調(diào)度與負載均衡乃至底層優(yōu)化等方面的關(guān)鍵技術(shù)和人才,賦能高端智算中心建設(shè)以及大模型高效訓練推理優(yōu)化過程。
張云泉建議,建設(shè)國家級大算力集群,引入先進算力調(diào)度、分配、優(yōu)化和管理技術(shù),提高算力利用率,并積極引導基于全精度、大算力、高互連國產(chǎn)芯片,構(gòu)建新一代超智融合國家級算力中心。同時,集中資源重點支持大模型領(lǐng)軍企業(yè),打造世界領(lǐng)先的開源開放主權(quán)級基礎(chǔ)通用大模型。
兩會期間,全國政協(xié)委員、京東集團技術(shù)委員會主席曹鵬則關(guān)注到國內(nèi)異構(gòu)算力分散且利用率低、中小企業(yè)難以負擔大模型應(yīng)用的智算成本。對于以上問題,曹鵬建議加強建設(shè)異構(gòu)算力以降低智算成本。例如,夯實自主可控的智算底座,通過存算協(xié)同發(fā)展降低企業(yè)智算成本。此外,建議推動鏈主企業(yè)向中小企業(yè)開放智算配額,實現(xiàn)產(chǎn)業(yè)智算普惠。
全國人大代表、科大訊飛董事長劉慶峰關(guān)注的則是算力平臺的國產(chǎn)化話題。劉慶峰認為,若不能加快解決國產(chǎn)自主可控人工智能產(chǎn)業(yè)生態(tài)薄弱、適配困難等問題,做大模型無異于“在別人地基上建高樓”。他建議加快構(gòu)建國產(chǎn)算力平臺上的自主可控大模型及產(chǎn)業(yè)生態(tài),例如,鼓勵基于自主可控國產(chǎn)算力平臺的大模型研發(fā)和應(yīng)用,鼓勵央國企優(yōu)先采購基于國產(chǎn)算力平臺研發(fā)的全棧自主可控大模型,專項支持基于國產(chǎn)算力平臺的生態(tài)體系建設(shè)。
DeepSeek出現(xiàn)后,近期業(yè)內(nèi)也在熱議大模型是否仍需大量算力支撐。就新的技術(shù)是否減少了大模型整體算力需求,張云泉告訴記者,“小力出奇跡”并不意味著規(guī)模法則(Scaling Law)的破產(chǎn)。未來,AI發(fā)展可能會呈現(xiàn)“雙軌并行”的格局,一方面,小而精的模型蓬勃發(fā)展,另一方面,通用基礎(chǔ)大模型仍會沿著Scalling Law路徑,繼續(xù)通過大算力投入、擴展參數(shù)規(guī)模實現(xiàn)更強悍的性能。國內(nèi)發(fā)展通用基礎(chǔ)主權(quán)大模型是必要的,通用基礎(chǔ)大模型將作為AI技術(shù)的基石,為各行各業(yè)提供強大的基礎(chǔ)智能。