市場(chǎng)研究公司Omdia在一篇最新報(bào)告中針對(duì)中國(guó)電信人工智能研究院（TeleAI）的AI Flow（智傳網(wǎng)）進(jìn)行了深入解讀與分析，稱(chēng)其所具備的創(chuàng)新使中國(guó)電信成為電信基礎(chǔ)設(shè)施和服務(wù)智能轉(zhuǎn)型方面的領(lǐng)導(dǎo)者。
以下為這篇Omdia報(bào)告的全文內(nèi)容：
生成式人工智能（GenAI）的快速發(fā)展帶來(lái)了人類(lèi)生產(chǎn)力的范式轉(zhuǎn)變�；A(chǔ)模型現(xiàn)在展現(xiàn)出前所未有的多功能性，能夠處理從文本、語(yǔ)音到圖像、視頻和代碼等多模態(tài)輸入，并生成高度準(zhǔn)確的結(jié)果。這種類(lèi)人理解和生成能力使基礎(chǔ)模型實(shí)現(xiàn)了高度任務(wù)自動(dòng)化和員工能力增強(qiáng)。
實(shí)現(xiàn)這些能力需要巨大的計(jì)算資源，迫使基礎(chǔ)模型駐留在提供彈性可擴(kuò)展性的云環(huán)境中。然而，云中心方法帶來(lái)的效率和靈活性被嚴(yán)重的延遲成本和數(shù)據(jù)安全風(fēng)險(xiǎn)所抵消。當(dāng)所有交互必須通過(guò)云服務(wù)器時(shí)，不同設(shè)備之間的協(xié)調(diào)效率低下。
因此，網(wǎng)絡(luò)邊緣的許多關(guān)鍵業(yè)務(wù)應(yīng)用和關(guān)鍵任務(wù)應(yīng)用無(wú)法承受這種延遲、隱私或可靠性問(wèn)題，導(dǎo)致企業(yè)將模型處理保留在本地設(shè)備和企業(yè)內(nèi)部。然而，以設(shè)備為中心的方法完全將設(shè)備用戶(hù)與GenAI提供的好處隔離開(kāi)來(lái)�；诨A(chǔ)模型的設(shè)備上GenAI應(yīng)用在推理過(guò)程中需要大量計(jì)算和存儲(chǔ)資源。從模型角度看，主流的基于transformer的基礎(chǔ)模型并非為信息共享和知識(shí)傳輸而設(shè)計(jì)，嚴(yán)重限制了網(wǎng)絡(luò)邊緣推理工作負(fù)載的優(yōu)化。隨著模型被整合到復(fù)雜的智能體AI系統(tǒng)中，缺乏無(wú)縫協(xié)調(diào)限制了它們的潛力。
Omdia觀點(diǎn)
在邊緣實(shí)施GenAI帶來(lái)巨大的挑戰(zhàn)，包括計(jì)算資源有限、能源限制、和跨異構(gòu)設(shè)備分配AI工作負(fù)載的復(fù)雜性。云中心和以設(shè)備為中心的方法都不是很適合實(shí)現(xiàn)高效的邊緣GenAI部署。雖然芯片組廠商、硬件制造商和模型開(kāi)發(fā)者提供了能夠極大地提高本地GenAI處理能力的先進(jìn)技術(shù)，包括專(zhuān)用AI芯片組、小型語(yǔ)言模型（SLM）、鍵值（KV）緩存和模型壓縮（蒸餾、量化和剪枝），但是當(dāng)部署在異構(gòu)環(huán)境中時(shí)，這些技術(shù)仍受到前述不足之處的限制。類(lèi)似自動(dòng)駕駛和無(wú)人機(jī)以及具身智能等新的GenAI驅(qū)動(dòng)的應(yīng)用受歡迎程度迅速增長(zhǎng)，這創(chuàng)造了對(duì)能夠跨異構(gòu)計(jì)算環(huán)境高效運(yùn)行的分布式智能解決方案的迫切需求。
為什么追蹤TeleAI？
TeleAI，即中國(guó)電信人工智能研究院，通過(guò)其AI Flow（智傳網(wǎng)）框架首創(chuàng)了分布式GenAI部署的多學(xué)科方法。AI Flow是TeleAI在中國(guó)電信首席技術(shù)官兼首席科學(xué)家李學(xué)龍教授的領(lǐng)導(dǎo)下開(kāi)發(fā)的一種創(chuàng)新框架。該框架通過(guò)設(shè)備-邊緣-云的層次架構(gòu)集成信息技術(shù)和通信技術(shù)，該架構(gòu)由家族模型和協(xié)作模型操作支持。通過(guò)跨設(shè)備、邊緣節(jié)點(diǎn)和云服務(wù)器分配推理工作負(fù)載，適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)條件，以及優(yōu)化推理過(guò)程，這些創(chuàng)新使AI Flow能夠直接在網(wǎng)絡(luò)邊緣集成智能能力。這種創(chuàng)新方法使中國(guó)電信成為電信基礎(chǔ)設(shè)施和服務(wù)智能轉(zhuǎn)型方面的領(lǐng)導(dǎo)者。
市場(chǎng)現(xiàn)狀
GenAI前景廣闊
GenAI是一種變革性技術(shù)，可改變用戶(hù)對(duì)AI能力和可能性的認(rèn)知。自2022年底GenAI出現(xiàn)以來(lái)，該領(lǐng)域經(jīng)歷了快速的演變：
·由大型語(yǔ)言模型（LLM）驅(qū)動(dòng)的對(duì)話(huà)式AI工具（如ChatGPT和通義千問(wèn)）提供類(lèi)人的響應(yīng)和交互。這些工具還能夠執(zhí)行大規(guī)模網(wǎng)絡(luò)搜索，生成詳細(xì)的長(zhǎng)篇報(bào)告，并相當(dāng)準(zhǔn)確地翻譯多種語(yǔ)言。
·認(rèn)識(shí)到其商業(yè)潛力后，廠商開(kāi)始集成多模態(tài)能力，開(kāi)發(fā)的基礎(chǔ)模型通過(guò)視覺(jué)語(yǔ)言模型（VLM）處理和生成文本和語(yǔ)音以外的輸出，如代碼、圖像和視頻。
·納入諸如強(qiáng)化學(xué)習(xí)、思維鏈推理和測(cè)試時(shí)擴(kuò)展等新技術(shù)使模型能夠支持復(fù)雜任務(wù)，包括數(shù)學(xué)推理和編碼。除了這些應(yīng)用，擁有增強(qiáng)的推理能力的模型還整合視覺(jué)和語(yǔ)言信息，從而提高通過(guò)視覺(jué)和文本輸入進(jìn)行推理的能力。
·利用基礎(chǔ)模型的任務(wù)完成和推理能力，可將基礎(chǔ)模型用于創(chuàng)建智能體，以執(zhí)行特定領(lǐng)域任務(wù)，如客戶(hù)服務(wù)、商業(yè)智能、運(yùn)營(yíng)自動(dòng)化和增強(qiáng)個(gè)性化。為促進(jìn)智能體的部署，廠商推出了模型上下文協(xié)議（MCP）和Agent2Agent（A2A）等開(kāi)源協(xié)議，以創(chuàng)建一個(gè)能夠執(zhí)行復(fù)雜、跨領(lǐng)域任務(wù)的多智能體系統(tǒng)。
云中心計(jì)算方法面臨的挑戰(zhàn)
這些進(jìn)步改變了許多行業(yè)，并解鎖了在先進(jìn)自動(dòng)化和增強(qiáng)方面的巨大潛力。然而，這些GenAI應(yīng)用和賦能它們的模型為云環(huán)境而設(shè)計(jì)，且在云環(huán)境中構(gòu)建。云中心的方法通常無(wú)法高效地平衡性能要求與資源限制。沒(méi)有強(qiáng)大、靈活的計(jì)算資源，這些復(fù)雜的GenAI模型就不能正常工作，在完成基本任務(wù)時(shí)舉步維艱。
隨著AI應(yīng)用日益普及，對(duì)智能能力更靠近數(shù)據(jù)生成位置的需求也在不斷增長(zhǎng)。在需要實(shí)時(shí)處理、隱私保護(hù)或在帶寬受限環(huán)境中運(yùn)行的場(chǎng)景中，集中式方法顯露出局限性。因此，行業(yè)需要實(shí)施邊緣GenAI的新方法。
目前，行業(yè)愈發(fā)專(zhuān)注于通過(guò)輕量級(jí)模型和專(zhuān)用AI芯片組支持設(shè)備上GenAI處理，這是芯片組廠商和設(shè)備制造商所青睞的主流方法。輕量級(jí)GenAI模型與用于設(shè)備上推理的專(zhuān)用AI芯片組結(jié)合減少了能耗，降低了對(duì)云推理的依賴(lài)，并帶來(lái)增強(qiáng)的隱私性。自從模型嵌入設(shè)備或本地服務(wù)器，處理就高度本地化，并需要模型和AI芯片組的高度優(yōu)化。
因其架構(gòu)，本地化GenAI模型重度依賴(lài)于本地AI計(jì)算資源，從而限制了模型的規(guī)模和性能。諸如自主無(wú)人機(jī)、自動(dòng)駕駛汽車(chē)和人形機(jī)器人的先進(jìn)應(yīng)用不斷需要更多計(jì)算資源，因?yàn)閺母鞣N來(lái)源（包括自動(dòng)駕駛系統(tǒng)、駕駛艙和環(huán)境傳感器）持續(xù)收集的高清數(shù)據(jù)流被輸入到復(fù)雜的VLM和視覺(jué)語(yǔ)言行動(dòng)模型（VLAM），以生成高度準(zhǔn)確的輸出。這些模型的大小從幾十到幾百千兆字節(jié)不等，因此無(wú)法在大多數(shù)設(shè)備上部署。
此外，現(xiàn)有模型壓縮方法，如量化、蒸餾和剪枝，通常為追求性能和成本優(yōu)化而犧牲模型能力。該方法削弱了這些模型的能力，影響了它們的性能和可靠性。
需要新的GenAI計(jì)算范式
注意到上文提到的不足之處，其它行業(yè)參與者快速轉(zhuǎn)為建議實(shí)施邊緣GenAI的新方法。減少對(duì)云基礎(chǔ)設(shè)施的依賴(lài)和尋找更多超越設(shè)備限制的資源引發(fā)了對(duì)邊緣計(jì)算基礎(chǔ)設(shè)施的考慮。電信運(yùn)營(yíng)商位于這一想法的前沿。大多數(shù)不足之處可以通過(guò)緊密集成信息計(jì)算和通信技術(shù)解決。
目前，邊緣計(jì)算架構(gòu)廣泛部署于內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）、工業(yè)云和無(wú)線(xiàn)電信基礎(chǔ)設(shè)施中。這些服務(wù)器部署在云基礎(chǔ)設(shè)施的邊緣，主要用于緩存、高級(jí)數(shù)據(jù)采集與處理以及托管輕量級(jí)應(yīng)用。作為云服務(wù)器與邊緣設(shè)備的中介，它們作為工作負(fù)載處理的額外層，減少帶寬使用并增強(qiáng)可靠性，因此，當(dāng)配有AI推理芯片組時(shí)，這些服務(wù)器能夠作為本地基礎(chǔ)設(shè)施實(shí)現(xiàn)分布式智能。
另一個(gè)關(guān)鍵組件是連接。通過(guò)確保無(wú)縫工作負(fù)載交接與經(jīng)穩(wěn)定和低延遲連接協(xié)議分配智能工作負(fù)載，GenAI模型能夠適應(yīng)不同的網(wǎng)絡(luò)條件、設(shè)備能力和應(yīng)用要求，同時(shí)維持性能和效率。穩(wěn)定可靠的連接還對(duì)確保多智能體系統(tǒng)的性能至關(guān)重要。不同設(shè)備上的智能體能夠共享信息和洞察以執(zhí)行超越單個(gè)智能體能力的任務(wù)，因?yàn)樗鼈兡軌騽?dòng)態(tài)地調(diào)整、協(xié)調(diào)和合作以應(yīng)對(duì)現(xiàn)實(shí)世界的應(yīng)用。
簡(jiǎn)言之，異構(gòu)計(jì)算資源與無(wú)縫連接的集成能夠帶來(lái)分布式智能方面的大幅提升。由于在管理復(fù)雜網(wǎng)絡(luò)協(xié)議方面數(shù)十年的經(jīng)驗(yàn)，電信運(yùn)營(yíng)商位于實(shí)現(xiàn)這一趨勢(shì)的前沿。除了利用其豐富的網(wǎng)絡(luò)資產(chǎn)，電信運(yùn)營(yíng)商有良好的定位，可交付企業(yè)級(jí)網(wǎng)絡(luò)管理、流量管理和安全運(yùn)營(yíng)，從而確保無(wú)縫和可靠的服務(wù)。
AI Flow概述
AI Flow是TeleAI提出的一種新型計(jì)算方法，通過(guò)結(jié)合信息技術(shù)和通信技術(shù)解決邊緣GenAI實(shí)施挑戰(zhàn)。該方法引入了跨越邊緣設(shè)備、邊緣服務(wù)器和云服務(wù)器的層次架構(gòu)。基于這一架構(gòu)，TeleAI設(shè)想推理工作負(fù)載可以在不同層之間共享，同時(shí)不影響速度和質(zhì)量。AI Flow引入了幾種協(xié)作推理范式，包括：
·需要中等計(jì)算資源的任務(wù)的設(shè)備-邊緣協(xié)作
·需要大量計(jì)算能力的復(fù)雜任務(wù)的設(shè)備-邊緣-云集成
實(shí)施策略將每個(gè)推理步驟放置在最合適的硬件上，優(yōu)化性能和效率。
最重要的是，這種結(jié)構(gòu)實(shí)現(xiàn)了推理任務(wù)的靈活分配，初始數(shù)據(jù)處理發(fā)生在網(wǎng)絡(luò)邊緣，而更復(fù)雜的計(jì)算在必要時(shí)利用云資源。這允許基于任務(wù)需求和可用資源進(jìn)行動(dòng)態(tài)工作負(fù)載分配。
為確保信息流和知識(shí)共享的無(wú)縫進(jìn)行，該框架依賴(lài)于一種稱(chēng)為家族模型的模型架構(gòu)。家族模型是具有高度靈活參數(shù)配置的基于transformer的基礎(chǔ)模型的子集。這種新型模型架構(gòu)支持對(duì)總參數(shù)數(shù)量進(jìn)行精細(xì)調(diào)整，通過(guò)transformer塊內(nèi)線(xiàn)性層的自適應(yīng)權(quán)重分解實(shí)現(xiàn)。這一特性使其能夠輕松部署在各種設(shè)備上。
家族模型的靈活性使用戶(hù)能基于實(shí)時(shí)網(wǎng)絡(luò)條件進(jìn)行自適應(yīng)資源分配。具體而言，AI Flow架構(gòu)在云端基礎(chǔ)設(shè)施的強(qiáng)大計(jì)算集群上部署了具有數(shù)百億參數(shù)的大模型，同時(shí)在資源受限的用戶(hù)設(shè)備和邊緣服務(wù)器上部署了更輕量級(jí)的家族模型。這些模型共享可跨設(shè)備傳輸?shù)南嗤卣鳎瑥亩构ぷ髫?fù)載分區(qū)更有效地滿(mǎn)足計(jì)算需求和提高數(shù)據(jù)傳輸效率。
該設(shè)計(jì)支持分段式推理，邊緣設(shè)備的較小模型生成初始推理輸出，傳輸至鄰近的邊緣服務(wù)器進(jìn)行改進(jìn)以增強(qiáng)準(zhǔn)確性，最后返回至用戶(hù)。由于交換是近實(shí)時(shí)的，用戶(hù)將收到大幅改進(jìn)的輸出，因?yàn)樵摷軜?gòu)能夠從托管在邊緣服務(wù)器上的大型模型獲得更豐富的響應(yīng)，而不是僅依賴(lài)于托管在用戶(hù)設(shè)備上的較小模型。
AI Flow促進(jìn)無(wú)縫的智能流動(dòng)，允許設(shè)備級(jí)智能體克服單個(gè)設(shè)備的限制，實(shí)現(xiàn)增強(qiáng)的功能。相同的通信網(wǎng)絡(luò)能夠跨異構(gòu)節(jié)點(diǎn)連接先進(jìn)的LLM、VLM和VLAM。通過(guò)促進(jìn)實(shí)時(shí)的協(xié)同集成和這些模型之間的動(dòng)態(tài)交互，該方法實(shí)現(xiàn)了超越單一模型能力的涌現(xiàn)智能。AI Flow的核心是利用部署在網(wǎng)絡(luò)邊緣協(xié)作多智能體系統(tǒng)（MAS），在那里互連的智能體一起解決需要適應(yīng)能力和快速響應(yīng)的復(fù)雜、現(xiàn)實(shí)世界任務(wù)。邊緣計(jì)算與基于智能體的系統(tǒng)的協(xié)同效應(yīng)提高了AI應(yīng)用的可擴(kuò)展性和效率，因?yàn)檫@些智能體能夠共享中間表示、上下文信息和反饋信號(hào)。TeleAI認(rèn)為AI Flow會(huì)改變具身AI、可穿戴設(shè)備和智慧城市應(yīng)用等新興GenAI應(yīng)用的游戲規(guī)則。
公司介紹
背景情況
中國(guó)電信成立于2000年9月，是一家在《財(cái)富》雜志“世界500強(qiáng)企業(yè)”中有極大影響力的國(guó)有電信巨頭，擁有超8000億元資產(chǎn)，年收入超721億美元。該公司歷來(lái)是移動(dòng)通信網(wǎng)絡(luò)方面的領(lǐng)導(dǎo)者，最近將其戰(zhàn)略重心轉(zhuǎn)向AI和數(shù)字化轉(zhuǎn)型。TeleAI（中國(guó)電信人工智能研究所）在建立該公司的“1+1+1+M+N”AI系統(tǒng)框架方面起重要作用。該框架指1個(gè)智算云底座、1個(gè)數(shù)據(jù)底座、1個(gè)星辰基礎(chǔ)模型、M個(gè)內(nèi)部大模型以及N個(gè)行業(yè)特定大模型應(yīng)用。該基礎(chǔ)模型已在政務(wù)、醫(yī)療保健、教育等50多個(gè)行業(yè)中部署，賦能全球超600個(gè)項(xiàng)目，且服務(wù)超過(guò)100個(gè)國(guó)家和地區(qū)。
現(xiàn)狀
TeleAI于2024年5月成立，并于2024年7月正式揭牌。在在中國(guó)電信首席技術(shù)官兼首席科學(xué)家李學(xué)龍教授的領(lǐng)導(dǎo)下，TeleAI正在加速AI Flow研究，同時(shí)拓展AI治理、AI智能體和智能光電子（重點(diǎn)關(guān)注具身AI）等關(guān)鍵領(lǐng)域。該研究所是GenAI領(lǐng)域的重要?jiǎng)?chuàng)新者。它建立并發(fā)布了星辰基礎(chǔ)模型系統(tǒng)，涵蓋語(yǔ)義、語(yǔ)音、視覺(jué)和多模態(tài)能力四個(gè)關(guān)鍵領(lǐng)域。此外，TeleAI還完成了中國(guó)首個(gè)利用超過(guò)10000個(gè)國(guó)產(chǎn)圖形處理單元（GPU）訓(xùn)練的萬(wàn)億參數(shù)大模型。
2025年2月，該研究所發(fā)布了AI Flow的研究成果，這是一個(gè)旨在通過(guò)有效利用設(shè)備、邊緣節(jié)點(diǎn)和云服務(wù)器之間的異構(gòu)資源來(lái)優(yōu)化推理過(guò)程的新型框架。通過(guò)各種GenAI模型之間的創(chuàng)新連接和交互范式，AI Flow實(shí)現(xiàn)了超越任何單一模型能力的涌現(xiàn)智能，使強(qiáng)大的AI應(yīng)用能夠在網(wǎng)絡(luò)邊緣運(yùn)行。
未來(lái)計(jì)劃
展望未來(lái)，TeleAI將擴(kuò)展AI Flow在邊緣智能、LLM、多模態(tài)AI、聯(lián)邦學(xué)習(xí)和智能網(wǎng)絡(luò)管理等先進(jìn)領(lǐng)域的范圍和能力，以推動(dòng)AI Flow在現(xiàn)實(shí)世界部署中的能力進(jìn)步。通過(guò)其結(jié)合信息技術(shù)和通信技術(shù)的多學(xué)科方法，中國(guó)電信正在重塑行業(yè)格局，實(shí)現(xiàn)不同領(lǐng)域中智能技術(shù)的大規(guī)模應(yīng)用。該公司認(rèn)為AI Flow能夠幫助彌補(bǔ)GenAI應(yīng)用的高要求與邊緣設(shè)備受限本質(zhì)之間的差距，同時(shí)促進(jìn)跨異構(gòu)系統(tǒng)的協(xié)作。
為推廣其GenAI能力，TeleAI正積極與全球行業(yè)參與者建立合作伙伴關(guān)系，以創(chuàng)建一個(gè)開(kāi)放的AI生態(tài)，探索更多智能應(yīng)用場(chǎng)景，并加快AI技術(shù)的全球采用。該公司的全球AI生態(tài)合作計(jì)劃代表朝著建設(shè)下一代全球數(shù)字基礎(chǔ)設(shè)施邁出的重要一步，它將利用AI技術(shù)深度賦能各行各業(yè)，推動(dòng)數(shù)字經(jīng)濟(jì)向前發(fā)展。中國(guó)電信還在通過(guò)全球云網(wǎng)寬帶產(chǎn)業(yè)協(xié)會(huì)（WBBA）等各種行業(yè)組織推廣其GenAI議程，以加快GenAI技術(shù)的全球采用和實(shí)施。
分析師點(diǎn)評(píng)
GenAI的進(jìn)步已導(dǎo)致其在多個(gè)行業(yè)的廣泛采用。根據(jù)Omdia的人工智能軟件市場(chǎng)預(yù)測(cè)，全球GenAI軟件收入預(yù)計(jì)將在2025年達(dá)到263億美元，到2029年增長(zhǎng)至1013億美元。領(lǐng)先市場(chǎng)包括零售、金融服務(wù)、醫(yī)療保健、自動(dòng)駕駛和媒體娛樂(lè)。在所有用例中，人形機(jī)器人、自動(dòng)駕駛和自主無(wú)人機(jī)等邊緣GenAI應(yīng)用是增長(zhǎng)最快的領(lǐng)域之一。不幸的是，這些設(shè)備資源受限，需要超低延遲以實(shí)現(xiàn)準(zhǔn)確推理和多智能體協(xié)調(diào)。
Omdia認(rèn)為AI Flow在這些復(fù)雜應(yīng)用的實(shí)現(xiàn)中扮演關(guān)鍵角色。作為結(jié)合計(jì)算和通信技術(shù)的框架，AI Flow展示了負(fù)載平衡、工作負(fù)載調(diào)度和高效資源分配的復(fù)雜方法。隨著邊緣AI部署規(guī)模擴(kuò)大和多樣化，這些能力將變得越來(lái)越重要，需要跨異構(gòu)環(huán)境進(jìn)行智能編排。設(shè)備-邊緣-云計(jì)算架構(gòu)戰(zhàn)略性地將每個(gè)推理工作負(fù)載放置在最合適的硬件上，優(yōu)化性能和效率。家族模型的引入實(shí)現(xiàn)了用戶(hù)設(shè)備和在線(xiàn)服務(wù)器之間的協(xié)作推理，而AI Flow的三層架構(gòu)支持分布式智能系統(tǒng)中的可擴(kuò)展多智能體協(xié)作。
隨著這些技術(shù)的成熟，該框架的靈活架構(gòu)將能夠整合新的計(jì)算范式和通信協(xié)議，確保長(zhǎng)期相關(guān)性和適應(yīng)性。AI Flow也有良好的定位，可以與6G和量子計(jì)算等新興技術(shù)集成，以解決未來(lái)在安全、隱私和可擴(kuò)展性方面的挑戰(zhàn).
