算力正如水、電一般，正在逐日成為現(xiàn)代社會(huì)賴以生存的重要基礎(chǔ)資源。全國(guó)各地都在緊鑼密鼓地“上馬”各種智算項(xiàng)目，算力不僅是新質(zhì)生產(chǎn)力發(fā)展的關(guān)鍵抓手，又是各地方招商引資的有力手段。
然而，算力利用率低、東西供需不平衡、國(guó)產(chǎn)化算力不足等成為目前我國(guó)算力高質(zhì)量發(fā)展面臨的窘境。當(dāng)下，大模型產(chǎn)業(yè)井噴式發(fā)展再度加劇了智能算力緊張的局面。近日，中國(guó)移動(dòng)智算中心（哈爾濱）（以下簡(jiǎn)稱哈爾濱智算中心）建設(shè)完成并投產(chǎn)使用為打破以上困境帶來(lái)了新的解題思路。
萬(wàn)卡集群：智算新標(biāo)桿讓算力邁上新臺(tái)階
據(jù)不完全統(tǒng)計(jì)，截至今年6月，各地方政府參與建設(shè)并已投產(chǎn)的智算中心數(shù)量已接近百個(gè)。
與其他不同的是，近日建設(shè)完成并正式投產(chǎn)使用的國(guó)內(nèi)運(yùn)營(yíng)商最大單集群智算中心——哈爾濱智算中心，更將“大”表現(xiàn)的淋漓盡致。
“單集群擁有超過(guò)1.8萬(wàn)卡的豐富資源，可提供6.9EFLOPS（每秒690億億次浮點(diǎn)運(yùn)算）智能算力。”該智算中心具有單集群算力規(guī)模最大、國(guó)產(chǎn)化網(wǎng)絡(luò)設(shè)備組網(wǎng)規(guī)模最大等特點(diǎn)，技術(shù)領(lǐng)先、自主可控，可為萬(wàn)億級(jí)大模型訓(xùn)練提供高效、穩(wěn)定、安全可控的算力底座。
通俗地說(shuō)，單集群智算中心，就是把所有AI加速卡打造成1個(gè)集群，用以支持千萬(wàn)億級(jí)參數(shù)的大模型進(jìn)行訓(xùn)練。通過(guò)先進(jìn)的智算網(wǎng)絡(luò)技術(shù)把上萬(wàn)塊GPU芯片像“積木”一樣拼接在一起，大幅提升GPU節(jié)點(diǎn)間的通信效率，使其在瞬息之間便能處理海量數(shù)據(jù)與復(fù)雜計(jì)算任務(wù)。
哈爾濱智算中心可有效提升區(qū)域乃至全國(guó)的算力服務(wù)水平。在此之前，智算規(guī)模大多在一萬(wàn)卡以下，對(duì)于千億或者萬(wàn)億模型訓(xùn)練來(lái)說(shuō)，仍會(huì)在一定程度上受限于底層的算力資源。哈爾濱1.8萬(wàn)卡集群的建成和投入，將更有利于模型團(tuán)隊(duì)充分利用底層資源，通過(guò)并行度更高的訓(xùn)練策略，加快模型訓(xùn)練進(jìn)度。大規(guī)模智算落地絕非簡(jiǎn)單的規(guī)模數(shù)量堆疊，其復(fù)雜程度呈指數(shù)級(jí)增加，對(duì)智算建設(shè)運(yùn)營(yíng)者的技術(shù)實(shí)力、資源優(yōu)勢(shì)、產(chǎn)業(yè)協(xié)同能力有著很高的要求，中國(guó)移動(dòng)做到了。
不僅如此，面對(duì)大規(guī)模萬(wàn)卡集群建設(shè)的嚴(yán)峻技術(shù)挑戰(zhàn)，中國(guó)移動(dòng)研究院作為中國(guó)移動(dòng)的技術(shù)創(chuàng)新中堅(jiān)力量，為哈爾濱智算中心建設(shè)提出了一系列突破性和創(chuàng)新性的技術(shù)方案，圍繞“新互聯(lián)、新算效、新存儲(chǔ)、新平臺(tái)、新節(jié)能”五大創(chuàng)新技術(shù)領(lǐng)域展開了系統(tǒng)性重構(gòu)，并制定了《中國(guó)移動(dòng)NICC新型智算中心技術(shù)體系》。哈爾濱萬(wàn)卡集群是業(yè)內(nèi)首個(gè)大規(guī)模應(yīng)用融合存儲(chǔ)的集群，也是首個(gè)落地中國(guó)移動(dòng)原創(chuàng)智算網(wǎng)絡(luò)全調(diào)度以太網(wǎng)（GSE1.0）的萬(wàn)卡集群，并應(yīng)用中國(guó)移動(dòng)自研“AUTO行云”算網(wǎng)基礎(chǔ)設(shè)施自動(dòng)化平臺(tái)實(shí)現(xiàn)萬(wàn)卡集群自動(dòng)化驗(yàn)收的全量設(shè)備覆蓋。這充分彰顯出中國(guó)移動(dòng)在科技創(chuàng)新的研發(fā)實(shí)力和技術(shù)優(yōu)勢(shì)。
中國(guó)速度：兩個(gè)“100天”，AUTO挑戰(zhàn)極限助力驗(yàn)收
通常IDC 數(shù)據(jù)中心規(guī)劃到投產(chǎn)所需的時(shí)間受多種因素影響，會(huì)有較大差異，一般來(lái)說(shuō)可能需要1-3 年左右。哈爾濱智算中心從2024年3月規(guī)劃到2024年9月投產(chǎn)交付，僅用了兩個(gè)“100天”，建成交付，創(chuàng)下IDC建設(shè)新的“中國(guó)速度”。
要知道，在哈爾濱智算集群建設(shè)過(guò)程中，智算基礎(chǔ)設(shè)施不僅要滿足上層大模型業(yè)務(wù)的極致運(yùn)行和性能要求，還要面臨萬(wàn)卡、國(guó)產(chǎn)化等規(guī)模和生態(tài)的多重挑戰(zhàn)，亟待在智算基礎(chǔ)設(shè)施硬件及網(wǎng)絡(luò)層面保證建設(shè)、交付、運(yùn)維各階段保障效率和質(zhì)量的“雙達(dá)標(biāo)”。“AUTO行云”平臺(tái)在哈爾濱智算中心建設(shè)驗(yàn)收過(guò)程中，為智算基礎(chǔ)設(shè)施高質(zhì)量交付“嚴(yán)把關(guān)”，保障后續(xù)大模型的穩(wěn)定運(yùn)行。
“AUTO行云”是中國(guó)移動(dòng)研究院自主研發(fā)、致力于提升算網(wǎng)基礎(chǔ)設(shè)施集成驗(yàn)證交付效率和質(zhì)量的自動(dòng)化平臺(tái)。前期AUTO BOX承載的都是千卡集群，哈爾濱智算中心是AUTO驗(yàn)收的第一個(gè)萬(wàn)卡集群。
據(jù)了解，哈爾濱1.8萬(wàn)卡超大規(guī)模智算集群中，一輪自動(dòng)化測(cè)試覆蓋總計(jì)約25萬(wàn)個(gè)測(cè)試用例，涉及6000多臺(tái)各類服務(wù)器和交換機(jī)設(shè)備，以及近7萬(wàn)多條網(wǎng)絡(luò)連線，無(wú)論從規(guī)模數(shù)量、設(shè)備多樣性、配置參數(shù)、建設(shè)進(jìn)度等都是一項(xiàng)巨大、復(fù)雜的系統(tǒng)工程。但憑借AUTO工具的優(yōu)越性能以及AUTO團(tuán)隊(duì)的豐富經(jīng)驗(yàn)，在哈爾濱1.8萬(wàn)卡超大規(guī)模智算集群中，2小時(shí)內(nèi)即可對(duì)所有設(shè)備和網(wǎng)絡(luò)連線進(jìn)行一輪自動(dòng)化全量檢查，對(duì)智算中心高質(zhì)量、高效率交付發(fā)揮了非常關(guān)鍵的作用。AUTO工具的應(yīng)用使得驗(yàn)收效率整體提升73%，進(jìn)一步節(jié)省智算集群的上線時(shí)間、耗電、人工等多項(xiàng)成本。
如果說(shuō)哈爾濱智算中心刷新了業(yè)界AI大模型訓(xùn)練集群的規(guī)模，那么AUTO無(wú)疑是其高質(zhì)量投產(chǎn)的關(guān)鍵助力。如果說(shuō)，哈爾濱智算中心為我國(guó)智算基礎(chǔ)設(shè)施建設(shè)樹立了新的標(biāo)桿，那么AUTO在哈爾濱智算中心建設(shè)快速投運(yùn)這場(chǎng)戰(zhàn)役中可謂功不可沒(méi)。
創(chuàng)新突破：算力國(guó)產(chǎn)化跑出加速度
從規(guī)模“大”到建投速度“快”，哈爾濱智算中心讓外界看到更多是中國(guó)移動(dòng)的技術(shù)硬實(shí)力。
但萬(wàn)卡集群的構(gòu)建并非簡(jiǎn)單的GPU卡堆疊，而是一項(xiàng)高度復(fù)雜的超級(jí)系統(tǒng)工程。從全調(diào)度以太網(wǎng)技術(shù)的首次成功應(yīng)用再到融合存儲(chǔ)技術(shù)的大膽引入，哈爾濱智算中心建設(shè)的背后技術(shù)離不開一個(gè)“新”。
哈爾濱萬(wàn)卡集群中使用的國(guó)產(chǎn)化融合存儲(chǔ)技術(shù)是業(yè)內(nèi)首個(gè)大規(guī)模應(yīng)用融合存儲(chǔ)的集群。融合存儲(chǔ)技術(shù)不僅節(jié)省了大量存儲(chǔ)容量，還巧妙避免了數(shù)據(jù)在不同存儲(chǔ)系統(tǒng)之間的無(wú)效流轉(zhuǎn)，使大模型訓(xùn)練效率提升可達(dá)星期級(jí)。
全調(diào)度以太網(wǎng)（GSE）技術(shù)方案打破了西方科技巨頭壟斷，通過(guò)創(chuàng)新算網(wǎng)協(xié)同的負(fù)載均衡技術(shù)和端網(wǎng)協(xié)同的擁塞控制技術(shù)，實(shí)現(xiàn)網(wǎng)絡(luò)互聯(lián)的升級(jí)，為智算中心提供高性能的連接網(wǎng)絡(luò)，將訓(xùn)練過(guò)程通信時(shí)間占比縮短20%以上，達(dá)到國(guó)際領(lǐng)先水平。
同時(shí)，中國(guó)移動(dòng)智算中心（哈爾濱）AI芯片國(guó)產(chǎn)化率100%，首次通過(guò)國(guó)產(chǎn)網(wǎng)絡(luò)設(shè)備探索1.8萬(wàn)張智算卡單集群部署規(guī)模上限。中國(guó)移動(dòng)研究院積極主動(dòng)地推動(dòng)國(guó)產(chǎn) GPU 在智算中心的廣泛應(yīng)用，有力證明了國(guó)產(chǎn) GPU 同樣能夠建設(shè)高效的超萬(wàn)卡集群。他們以強(qiáng)烈的央企責(zé)任擔(dān)當(dāng)，以創(chuàng)新架構(gòu)、系統(tǒng)集群、綠色低碳為關(guān)鍵戰(zhàn)略支點(diǎn)，全力推動(dòng)培育形成國(guó)產(chǎn)人工智能算力產(chǎn)業(yè)生態(tài)，成功實(shí)現(xiàn)多家國(guó)產(chǎn)化智能算力芯片落地與實(shí)際應(yīng)用，為國(guó)產(chǎn)算力的蓬勃發(fā)展搭建了廣闊舞臺(tái)。
算力是生產(chǎn)力，也是創(chuàng)新力。當(dāng)前，國(guó)產(chǎn)算力已經(jīng)覺醒，但國(guó)產(chǎn)算力的崛起，拼的不止是AI芯片，還要圍繞計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)等關(guān)鍵環(huán)節(jié)，匯聚科技力量，提升自主創(chuàng)新能力，加大研發(fā)投入，實(shí)現(xiàn)高端芯片、新型數(shù)據(jù)中心、超算等領(lǐng)域的研發(fā)突破，推動(dòng)算力產(chǎn)業(yè)高質(zhì)量發(fā)展。
哈爾濱智算中心的建成投產(chǎn)，不僅在規(guī)模上達(dá)到了新的高度，為大模型訓(xùn)練提供了強(qiáng)大的算力支持，更在建設(shè)速度、技術(shù)創(chuàng)新、國(guó)產(chǎn)化應(yīng)用等方面樹立了標(biāo)桿。展望未來(lái)，中國(guó)移動(dòng)將繼續(xù)發(fā)揮創(chuàng)新主體和產(chǎn)業(yè)引領(lǐng)作用，為超十萬(wàn)卡集群的創(chuàng)新突破做好技術(shù)儲(chǔ)備，與合作伙伴共同實(shí)現(xiàn)國(guó)產(chǎn)智算設(shè)施的跨越式發(fā)展。 
