C114通信網(wǎng)  |  通信人家園

資訊
2025/2/25 14:56

信而泰CCL仿真:解鎖AI算力極限,智算中心網(wǎng)絡(luò)性能躍升之道

C114通信網(wǎng)  

隨著AI大模型訓(xùn)練和推理需求的爆發(fā)式增長,智算中心網(wǎng)絡(luò)的高效性與穩(wěn)定性成為決定AI產(chǎn)業(yè)發(fā)展的核心要素。信而泰憑借自主研發(fā)的CCL(集合通信庫)評估工具DarYu-X系列測試,為智算中心RoCE網(wǎng)絡(luò)提供精準評估方案,助力企業(yè)突破算力瓶頸,釋放AI澎湃動力!

什么是智算中心

智算中心(AIDC,Artificial Intelligence Data Center)是專門為人工智能應(yīng)用提供算力支持的高性能數(shù)據(jù)中心,是人工智能技術(shù)與云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等現(xiàn)代信息技術(shù)深度融合的產(chǎn)物。它基于最新的人工智能理論,采用前沿的計算架構(gòu),為AI模型的訓(xùn)練、推理和應(yīng)用提供強大的算力服務(wù)、數(shù)據(jù)服務(wù)和算法服務(wù)。

智算中心定義

狹義定義:智算中心是“機房+網(wǎng)絡(luò)+GPU服務(wù)器+算力調(diào)度平臺”的融合基礎(chǔ)設(shè)施,是傳統(tǒng)數(shù)據(jù)中心的增值性延伸。

廣義定義:智算中心是“算力+數(shù)據(jù)+算法”的融合服務(wù),是推動AI產(chǎn)業(yè)化和產(chǎn)業(yè)AI化的重要引擎,也是傳統(tǒng)云數(shù)據(jù)中心的智能化升級。

智算中心核心功能

算力服務(wù):提供高性能的計算能力,支持GPU、FPGAASIC等異構(gòu)計算芯片,滿足AI模型訓(xùn)練和推理的高并發(fā)需求。

數(shù)據(jù)服務(wù):提供數(shù)據(jù)治理、存儲和優(yōu)化服務(wù),支持大規(guī)模數(shù)據(jù)的高效處理。

算法服務(wù):提供預(yù)訓(xùn)練大模型、行業(yè)算法庫等,支持機器學(xué)習(xí)、深度學(xué)習(xí)等AI應(yīng)用。

資源調(diào)度:通過智能調(diào)度平臺,實現(xiàn)算力資源的靈活分配和高效利用。

為何必須評估智算中心網(wǎng)絡(luò)

對智算中心的RoCE網(wǎng)絡(luò)進行評估測試,是為了確保其能夠高效、穩(wěn)定地支持大規(guī)模AI訓(xùn)練任務(wù)。具體原因包括:

驗證性能:確保網(wǎng)絡(luò)具備低延遲、高吞吐量,滿足智算中心對高性能的需求。

優(yōu)化可靠性:通過測試發(fā)現(xiàn)潛在問題,提升網(wǎng)絡(luò)的穩(wěn)定性和容錯能力。

成本效益:評估RoCE網(wǎng)絡(luò)的性價比,選擇最優(yōu)方案。

支持分布式訓(xùn)練:驗證網(wǎng)絡(luò)在大規(guī)模分布式AI任務(wù)中的表現(xiàn),優(yōu)化數(shù)據(jù)傳輸效率。

指導(dǎo)運維:提前發(fā)現(xiàn)問題,優(yōu)化運維策略,減少故障風(fēng)險。

智算中心網(wǎng)絡(luò)評估工具-CCL

使用集合通信流量來評估智算中心網(wǎng)絡(luò)的RoCE(RDMA over Converged Ethernet)性能,主要有以下幾個原因:

集合通信是智算中心的關(guān)鍵特征:智算中心的業(yè)務(wù)(如AI大模型訓(xùn)練)依賴于高度同步的集合通信操作(如AllReduce、Broadcast),這些操作要求低延遲和高帶寬的網(wǎng)絡(luò)支持。

集合通信對網(wǎng)絡(luò)性能要求極高:集合通信操作(如AllReduce)需要高吞吐量和低延遲,RoCE通過RDMA機制能夠顯著降低通信延遲并提高帶寬利用率。

RoCE性能直接影響智算中心效率:RoCE網(wǎng)絡(luò)的性能直接影響分布式訓(xùn)練任務(wù)的通信效率,進而影響整個智算中心的加速比和效率。

集合通信流量能夠全面評估RoCE性能:集合通信涵蓋了多種通信模式(如點對點、廣播、多點通信),能夠全面測試RoCE網(wǎng)絡(luò)的帶寬、延遲、擁塞控制和負載均衡能力。

RoCE在智算中心的廣泛應(yīng)用:RoCE技術(shù)因其開放性、互操作性和成本效益,在智算中心中廣泛應(yīng)用。評估其性能有助于優(yōu)化配置,提升整體性能。

如何使用儀表CCL評估智算網(wǎng)絡(luò)

使用信而泰Renix軟件平臺提供的CCL Traffic Emulation向?qū),測試配置實現(xiàn)通過向?qū)渲,生成?fù)雜的訓(xùn)練流量。針對不同AI訓(xùn)練數(shù)據(jù)包,評估在非擁塞網(wǎng)絡(luò)、擁塞網(wǎng)絡(luò)各項指標。對比網(wǎng)絡(luò)正常和網(wǎng)絡(luò)故障情況下各項組網(wǎng)指標,比如任務(wù)時間、訓(xùn)練時間、算法帶寬、總線帶寬、收發(fā)報文數(shù)量、時延、抖動、亂序等關(guān)鍵數(shù)據(jù)。

CCL測試拓撲

通過使用儀器儀表模擬GPU通信,可以有效降低測試成本,同時簡化AI測試的復(fù)雜性和維護難度。這種方法使AI測試從傳統(tǒng)的搭建真實服務(wù)器和使用價格高昂的GPU來測試RoCE交換機,轉(zhuǎn)變?yōu)槔猛ㄓ脙x表儀器進行測試。這一轉(zhuǎn)變不僅大幅節(jié)省了測試成本,還統(tǒng)一了驗證規(guī)范,為國產(chǎn)AI的崛起提供了有力支持。

以下以8卡400G GPU模型訓(xùn)練為例,對比Ring Allreduce模型在非擁塞和擁塞網(wǎng)絡(luò)環(huán)境下不同數(shù)據(jù)量(Data Size)的參數(shù)表現(xiàn)。通過實際數(shù)據(jù)對比,可以直觀地體現(xiàn)CCL(Collective Communication Library,集合通信庫)在評估網(wǎng)絡(luò)性能方面的重要意義。

CCL指標

如下圖所示,使用Ring Allreduce在不同訓(xùn)練任務(wù)在非擁塞網(wǎng)絡(luò)中體現(xiàn)。

如下圖所示,使用Ring Allreduce不同訓(xùn)練任務(wù)在擁塞網(wǎng)絡(luò)(PFC)中體現(xiàn)。

如下圖所示,使用Ring Allreduce不同訓(xùn)練任務(wù)在擁塞網(wǎng)絡(luò)(ECN+DCQCN)中體現(xiàn)。

· Latency and Jitter by Data Size指標

如下圖所示,使用Ring Allreduce在不同訓(xùn)練任務(wù)在非擁塞網(wǎng)絡(luò)中體現(xiàn)。

如下圖所示,使用Ring Allreduce不同訓(xùn)練任務(wù)在擁塞網(wǎng)絡(luò)(PFC)中體現(xiàn)。

如下圖所示,使用Ring Allreduce不同訓(xùn)練任務(wù)在擁塞網(wǎng)絡(luò)(ECN+DCQCN)中體現(xiàn)。

對比不同場景下訓(xùn)練時間(無擁塞/擁塞+PFC/擁塞+ECN/DCQCN)。

對比不同場景下算法帶寬(無擁塞/擁塞+PFC/擁塞+ECN/DCQCN)。

對比不同場景下總線帶寬(無擁塞/擁塞+PFC/擁塞+ECN/DCQCN)。

通過信而泰Renix軟件平臺的CCL Traffic Emulation功能,能夠精確評估RoCE網(wǎng)絡(luò)的關(guān)鍵指標,為AI網(wǎng)絡(luò)的評估提供精細化數(shù)據(jù)支持。對比實驗的結(jié)果可全面評估RoCE交換機的性能。該方案通過模擬真實AI工作負載,能夠在復(fù)雜流量和大規(guī)模組網(wǎng)場景下,全面測試RoCE交換機的性能表現(xiàn),并精準識別組網(wǎng)瓶頸,提升評估的精確性和實用性。

高密度智算網(wǎng)絡(luò)測試解決方案

信而泰推出的X2-100G-12QSFP28、X5-400G高密度智算非擁塞網(wǎng)絡(luò)(ROCEv2)測試儀是一款專為高端路由器、交換機以及數(shù)據(jù)中心交換機設(shè)計的高密度測試平臺。該測試平臺充分滿足運營商、網(wǎng)絡(luò)設(shè)備制造商和企業(yè)用戶在高速以太網(wǎng)和智能計算網(wǎng)絡(luò)測試業(yè)務(wù)中對增長和未來發(fā)展的需求。其高密度設(shè)計使得它在有限的空間內(nèi)提供強大的測試能力,是應(yīng)對未來網(wǎng)絡(luò)挑戰(zhàn)的理想選擇。

客戶價值

超高密度:單機支持400G/200G/100G多速率,12端口靈活配置;

全協(xié)議兼容:支持RoCEv2、標準以太網(wǎng),適配異構(gòu)網(wǎng)絡(luò)環(huán)境;

智能化測試:一鍵生成復(fù)雜流量模型,3分鐘完成網(wǎng)絡(luò)健康度診斷。

X2-100G RoCE測試板卡

高密度400G測試儀一體機

給作者點贊
0 VS 0
寫得不太好

  免責(zé)聲明:本文僅代表作者個人觀點,與C114通信網(wǎng)無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實,對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關(guān)內(nèi)容。

熱門文章
    最新視頻
    為您推薦

      C114簡介 | 聯(lián)系我們 | 網(wǎng)站地圖 | 手機版

      Copyright©1999-2025 c114 All Rights Reserved | 滬ICP備12002291號

      C114 通信網(wǎng) 版權(quán)所有 舉報電話:021-54451141