5月21日,在騰訊云AI產(chǎn)業(yè)應(yīng)用峰會上,騰訊云副總裁李力宣布了騰訊云智算的全新升級。新升級瞄準(zhǔn)AI應(yīng)用和模型爆發(fā)對基礎(chǔ)設(shè)施帶的來全新挑戰(zhàn),在效能、可靠性、易用性三大方向上全面提升,將為AI大模型訓(xùn)練、智能體部署等場景提供更全面的基礎(chǔ)設(shè)施能力支持。
李力表示,從云計算時代到AI時代,云基礎(chǔ)設(shè)施的技術(shù)進化始終以場景作為牽引。隨著大模型的爆發(fā)以及智能體、智駕等應(yīng)用場景加速落地,騰訊云智算會以AI原生為出發(fā)點,打造安全靈活的高性能底座,與開發(fā)者和企業(yè)共同探索智能化轉(zhuǎn)型的創(chuàng)新路徑。
在效能維度,騰訊云智算針對數(shù)據(jù)處理效率低、資源利用率低等痛點問題,升級了多個技術(shù)能力;趪鴥(nèi)首個支持跨卡型GPU調(diào)度的Serverless平臺,騰訊云智算最高可支持10萬級并發(fā)數(shù)據(jù)任務(wù)處理,最高請求數(shù)能達到行業(yè)領(lǐng)先的百萬量級;通過騰訊云存儲數(shù)據(jù)萬象中預(yù)置的100多個數(shù)據(jù)處理任務(wù)模板,幫助企業(yè)數(shù)據(jù)打標(biāo)效率提升50%。
在大模型訓(xùn)練和推理場景中,騰訊云智算基于星脈自研通訊庫,雙端口網(wǎng)卡帶寬利用率達到峰值相比DeepEP性能可以再提升30%;同時,騰訊云智算打造了更高性價比的多機互聯(lián)網(wǎng)絡(luò)vRDMA,并將損耗比降低至不到2%,模型訓(xùn)練效率接近無損擴展。
某頭部車企在智駕模型的訓(xùn)練中,數(shù)據(jù)標(biāo)注效率提升了50%,數(shù)據(jù)處理整體成本降低70%,訓(xùn)練性能提升30%,模型迭代周期降低了40%。
在可靠性維度,針對AI基礎(chǔ)設(shè)施容易出現(xiàn)的服務(wù)不穩(wěn)定、擴容速度慢、 訪問速度慢等技術(shù)難點,騰訊云智算通過自研AI服務(wù)器與智能巡檢系統(tǒng),將千卡集群的日均故障率控制在0.16卡以下;依托騰訊云存儲GooseFS,模型分發(fā)時間從1小時縮短到了20分鐘;同時,騰訊云全球50多個可用區(qū),則可使AI應(yīng)用服務(wù)就近接入,服務(wù)穩(wěn)定性提升57%,擴容速度提升2倍。
某頭部手機廠商的AI助手項目應(yīng)用該方案后,服務(wù)網(wǎng)絡(luò)丟包和抖動均下降99%,服務(wù)穩(wěn)定性提升57%,同時實現(xiàn)200%的擴容速度提升。
在易用性維度,為加速智能體規(guī);涞,騰訊云智算升級了AI原生工具鏈。其中,向量數(shù)據(jù)庫全面支持向量+關(guān)鍵字混合檢索,最高支持千億級數(shù)據(jù)處理與500萬QPS高并發(fā)檢索,并完成業(yè)內(nèi)首家信通院權(quán)威認(rèn)證;騰訊云智能日志服務(wù)可支持統(tǒng)一日志上報與可觀測大盤,支持完整鏈路追蹤與異常3分鐘定位;騰訊云智算還升級了覆蓋大模型全生命周期的安全解決方案,實現(xiàn)安全事件兩小時內(nèi)快速響應(yīng)。
某頭部房產(chǎn)中介平臺搜索業(yè)務(wù),借助騰訊云向量數(shù)據(jù)庫,數(shù)據(jù)召回率增加30%,檢索時間降低50%,同時依靠日志和安全能力,異常定位效率提升30%,安全響應(yīng)時間縮短90%。
目前,騰訊云智算已深度服務(wù)于智能體及AI應(yīng)用、具身智能、自動駕駛、互聯(lián)網(wǎng)應(yīng)用等多個領(lǐng)域。在Gartner最新發(fā)布的生成式AI基礎(chǔ)設(shè)施象限中,其產(chǎn)品性能與未來潛力均位列亞太廠商首位。
值得一提的是,騰訊云針對DeepSeek開源的DeepEP通信框架進行深度優(yōu)化,使其在多種網(wǎng)絡(luò)環(huán)境下均實現(xiàn)顯著性能提升。相關(guān)技術(shù)方案也獲得了DeepSeek公開致謝,稱這是一次“huge speedup”代碼貢獻。