4月23日,在2025年云網(wǎng)智聯(lián)大會主論壇,中國移動研究院攜手中國通信標準化協(xié)會、中國信息通信研究院、華為、中興、博通、新華三、上海貝爾、銳捷、思博倫、盛科等10余家合作伙伴,聯(lián)合發(fā)布了《分布式推理網(wǎng)絡(Distributed Inference Network,DIN)技術(shù)白皮書》,中國移動研究院副院長段曉東、中國信息通信研究院科技委主任蔣林濤、中國通信標準化協(xié)會TC3主席趙慧玲及合作伙伴代表共同出席了發(fā)布儀式,中國移動研究院基礎網(wǎng)絡技術(shù)研究所副所長程偉強對白皮書進行了解讀。
2025年,隨著DeepSeekAI大模型的火爆,DAU增長速度不斷刷新行業(yè)記錄。然而,隨著海量并發(fā)用戶請求訪問,服務器資源被大量消耗,多次出現(xiàn)網(wǎng)頁和API無法訪問的情況。同時,AI大模型的火爆也吸引了攻擊者使用多種技術(shù)和手段持續(xù)攻擊。隨著普惠AI推理時代的到來,用戶訪問需求及網(wǎng)絡流量模型將出現(xiàn)新的變化,需要考慮構(gòu)建以AI業(yè)務為核心的訓推融合的網(wǎng)絡。針對AI推理服務爆發(fā)式增長,當前面臨AI推理基礎設施能力不足,AI推理網(wǎng)絡技術(shù)待完善,AI服務網(wǎng)絡安全防護能力待提升等挑戰(zhàn)。
分布式推理網(wǎng)絡(DIN)是中國移動研究院面向普惠AI服務提出的新型網(wǎng)絡架構(gòu),采用“端-邊-云-網(wǎng)”分布式協(xié)同架構(gòu),融合運營商協(xié)議可編程和網(wǎng)絡流量感知調(diào)度能力的優(yōu)勢,面向用戶實現(xiàn)“推理無處不在、智能觸手可及、服務體驗最優(yōu)”,面向推理服務提供商實現(xiàn)“模型隨需部署、隨需更新、彈性調(diào)度、高效應對海量并發(fā)”的目標。DIN通過微流級流控、層次化細粒度切片以及以太網(wǎng)相干PHYSec等技術(shù),達成廣域納級丟包、微秒級抖動、多層次安全等目標,支撐算網(wǎng)一體安全推理、邊云協(xié)同后訓練、模型分層協(xié)同、大小模型協(xié)同、訓推協(xié)同進化、PD分離協(xié)同等多種端邊云協(xié)同模式,有效應對十億級用戶、IOT的海量并發(fā)推理挑戰(zhàn),助力AI推理普惠化發(fā)展。
目前,中國移動在福建已成功完成業(yè)界首個分布式推理網(wǎng)絡DIN技術(shù)試點,現(xiàn)網(wǎng)驗證了算網(wǎng)安一體機推理、大小模型協(xié)同推理、PD分離推理服務場景及關(guān)鍵技術(shù),F(xiàn)網(wǎng)驗證表明,算網(wǎng)安一體推理可滿足企業(yè)分支安全訪問總部推理服務,可有效保障模型數(shù)據(jù)安全和推理訪問安全;通過大小模型協(xié)同,用戶可按需訪問邊緣或遠端DeepSeek 7B/70B/671B不同參數(shù)模型;通過PD分離技術(shù),可在滿足相同業(yè)務SLA條件下有效節(jié)省計算資源成本,同時驗證了用戶體驗無劣化情況下,PD分離可拉遠距離200-300km。本次試點為進一步完善分布式推理網(wǎng)絡DIN技術(shù)體系、拓展業(yè)務場景、推動形成產(chǎn)業(yè)共識、助力全民AI普惠業(yè)務的發(fā)展打下堅實基礎。
下一步,中國移動在分布式推理網(wǎng)絡方面,將聯(lián)合產(chǎn)業(yè)共同構(gòu)建融合端、邊、網(wǎng)、算的DIN技術(shù)體系和標準體系,解決大模型在個人(ToC)、家庭(ToH)及企業(yè)(ToB)應用中的成本、效率與場景適配難題,并在實踐中與合作伙伴形成AI推理時代的新商業(yè)模式,助力加速全社會普惠AI時代到來。