資訊
`
2025/6/19 17:00
Intel至強(qiáng)6:AI江湖的幕后大佬、NVIDIA B300的唯一伙伴
0
0

隨著生成式AI、預(yù)測式AI的浪潮一波高過一波,工作負(fù)載的類型越來越豐富、復(fù)雜度越來越高,對于AI服務(wù)器性能、能效的需求也是水漲船高。

每每說到AI服務(wù)器、AI工作站、AI一體機(jī)等裝備,很多人的第一反應(yīng)就是高算力的AI GPU加速器。

它確實(shí)是整個(gè)AI系統(tǒng)的主角,承擔(dān)著最繁重的使命,但是別忘了,只有GPU加速器是無法獨(dú)自支撐整個(gè)系統(tǒng)的,而任何計(jì)算系統(tǒng)都離不開CPU處理器的坐鎮(zhèn)。

CPU處理器作為任何計(jì)算系統(tǒng)的中樞和大腦,在AI系統(tǒng)中也起著不可替代的作用,只是一貫比較低調(diào)罷了。

如果說GPU加速器是AI系統(tǒng)中在臺前炫技的耀眼明星,CPU處理器就是隱藏幕后、默默風(fēng)險(xiǎn)的大管家,協(xié)調(diào)著整個(gè)系統(tǒng)的高效運(yùn)行,尤其是保障GPU加速器的各項(xiàng)需求可以得到全面滿足,強(qiáng)大的算力可以高效釋放。

因此,這個(gè)時(shí)候的CPU處理器,我們一般稱之為“主控CPU”。

采用最合適、匹配的主控CPU搭檔AI加速器,組成高效的AI加速系統(tǒng),可以在工作負(fù)載性能、總體擁有成本(TCO)之間,達(dá)到理想的平衡。

在AI加速系統(tǒng)中,主控CPU負(fù)責(zé)通過提供高效的任務(wù)管理,以及出色的預(yù)處理性能,來優(yōu)化處理性能和資源利用率,這對于確保AI模型訓(xùn)練流程中的數(shù)據(jù)高效供給、維持AI處理器的理想運(yùn)行狀態(tài),都是至關(guān)重要的。

主控CPU作為AI加速系統(tǒng)的“中樞神經(jīng)”,可以執(zhí)行管理、優(yōu)化、預(yù)處理、處理、卸載等各種任務(wù),從而提高系統(tǒng)性能和能效。

Intel的至強(qiáng)系列處理器,尤其是最新一代至強(qiáng)經(jīng)系列,無論是根據(jù)各種AI基準(zhǔn)測試,還是根據(jù)全球客戶的實(shí)際部署經(jīng)驗(yàn),都可以說是強(qiáng)大、高效AI加速系統(tǒng)的主控CPU的理想之選。

NVIDIA最新、最強(qiáng)的DGX B300系統(tǒng),就選擇了Intel新款至強(qiáng)6776P來作為主控CPU,而去年的MGX系統(tǒng)曾使用至強(qiáng)6767P等——Intel也是NVIDIA B300唯一的主控CPU合作伙伴。

至強(qiáng)6為何如此之強(qiáng)?

我們可以從六個(gè)不同方向,逐一看看AI加速系統(tǒng)對主控CPU的需求,以及至強(qiáng)6系列是如何滿足的。

1、AI加速系統(tǒng)需要非常強(qiáng)大、靈活的IO性能。

至強(qiáng)6系列可以支持多達(dá)96條PCIe 5.0通道,比上代增加了20%,雙路系統(tǒng)就是192條,因此帶寬超高、數(shù)量管夠,可以靈活分配給不同的加速器、擴(kuò)展卡。

2、AI加速系統(tǒng)需要盡可能高的單線程性能。

至強(qiáng)6系列不但擁有最多128個(gè)性能核心、504MB海量三級緩存,還具備強(qiáng)大的單線程性能,并支持不同的睿頻加速技術(shù)。

比如PCT(優(yōu)先核心頻),可以把少部分核心加速到更高的頻率來服務(wù)相應(yīng)的GPU,最多支持8個(gè)核心。

比如SST,可以針對不同的核心配置分配不同的頻率,使其擁有不同的性能。

3、AI加速系統(tǒng)需要盡可能高的內(nèi)存容量與帶寬。

至強(qiáng)6系列不但支持更高頻率的DDR5-6400,還獨(dú)家率先支持MRDIMM內(nèi)存,頻率可高達(dá)8800MHz,帶寬進(jìn)一步提升30%,對比上代領(lǐng)先2.3倍,對于內(nèi)存敏感性AI負(fù)載尤其有利。

再加上多達(dá)12個(gè)內(nèi)存通道,至強(qiáng)6系列可提供無與倫比的內(nèi)存帶寬與容量,單路系統(tǒng)最高支持3TB。

NVIDIA DGX B300系統(tǒng),就選擇了每通道兩條DIMM(2DPC)、5200MHz頻率的方案,主要是為了在帶寬和容量以及成本上做到了業(yè)界領(lǐng)先的平衡。

另外,至強(qiáng)6系列還支持CXL,可保持CPU內(nèi)存空間與AI加速器內(nèi)存之間的一致性,實(shí)現(xiàn)高性能資源共享,降低整體系統(tǒng)成本。

4、AI加速系統(tǒng)需要CPU做好數(shù)據(jù)預(yù)處理和卸載。

至強(qiáng)6系列支持AMX(高級矩陣擴(kuò)展)指令,新增支持FP16數(shù)據(jù)格式,非常適合這項(xiàng)工作,尤其是隨著MoE、Sparse MLP模型的出現(xiàn)和流行,在CPU上卸載部分工作越來越流行。

5、AI加速系統(tǒng)需要強(qiáng)大的RAS。

RAS指的是可靠性、可用性、可維護(hù)性,對于工作站、服務(wù)器、數(shù)據(jù)中心硬件是必不可少的屬性,至強(qiáng)6當(dāng)然也少不了,有了它就可以大大減少大規(guī)模停機(jī)時(shí)間,避免高額損失。

RAS技術(shù)支持多項(xiàng)高級管理功能,包括遙測、平臺監(jiān)控、共享資源控制、實(shí)時(shí)固件更新等,匯聚了平臺合作伙伴、ISV獨(dú)立軟件開發(fā)商、解決方案集成商的豐富專業(yè)知識與經(jīng)驗(yàn)。

6、AI加速系統(tǒng)需要靈活的形態(tài)。

至強(qiáng)6系列支持DC-MHS全球標(biāo)準(zhǔn),無論是NVIDIA MGX還是DGX,雙方都有合作,最新的就是DGX B300,由雙方共同打造,開展了大量的技術(shù)驗(yàn)證工作。

至強(qiáng)6系列家族中,有三款特殊型號是專門用于主控CPU的。它們均基于P核即性能核的設(shè)計(jì)。

其中,NVIDIA DGX B300采用的是至強(qiáng)6776P,并且是雙路配置。

至強(qiáng)6776P配置了64個(gè)核心(128線程),基準(zhǔn)頻率2.3GHz,全核睿頻3.6GHz,最大頻3.9GHz,PCT睿頻可以在最多8個(gè)核心上跑到4.6GHz,比傳統(tǒng)SKU再次提高了多達(dá)700MHz。

另外,它配備336MB緩存,支持八通道DDR5-6400、MRDIMM-8000內(nèi)存,可提供88條PCIe 5.0通道,熱設(shè)計(jì)功耗350W。

這里解釋一下幾種不同的睿頻頻率:

全核睿頻即All Core Turbo,是指所有核心處于活躍狀態(tài)時(shí),所能運(yùn)行的最高頻率,適合作為虛擬機(jī)等場景,此時(shí)需要每一個(gè)核心跑在盡可能高的性能上。

最大睿頻即Max Turbo,是在傳統(tǒng)SKU中能夠達(dá)到最高的睿頻,它假設(shè)一半核心活躍、另一半核心休眠,活躍核心就能夠運(yùn)行在更高的頻率,也就是Max Turbo對應(yīng)的頻率。

優(yōu)先核心睿頻即Priority Core Tubo,是指只開啟更少量的核心,一般2-8個(gè),讓它們進(jìn)一步加速到更高的頻率,從而以更高的性能,滿足AI加速系統(tǒng)中GPU、I/O等的苛刻需求,避免出現(xiàn)系統(tǒng)瓶頸。

至于使用哪些核心進(jìn)行加速,可以在啟動前使用BIOS設(shè)定,也可以在運(yùn)行中通過SST-TF工具實(shí)時(shí)設(shè)定。

單路的至強(qiáng)6774P也是64核心,除了基準(zhǔn)頻率提高到2.5GHz,與至強(qiáng)6776P最大的不同就是僅支持單路但可提供多達(dá)136個(gè)IO通道,擴(kuò)展性能更加強(qiáng)悍。

至強(qiáng)6 AP平臺的6962P擁有72核心144線程、432MB緩存,基準(zhǔn)頻率就有2.7GHz,全核睿頻也是3.6GHz,最大睿頻也是3.9GHz,PCT睿頻則是4.4GHz。

它還支持12通道內(nèi)存,可提供96個(gè)PCIe通道,熱設(shè)計(jì)功耗來到了500W。

以上三款都是面向所有客戶的開放產(chǎn)品,屬于產(chǎn)品規(guī)劃和路線圖的一部分。

剛才多次提到在AI系統(tǒng)中至強(qiáng)6作為主控CPU的配置,這就是概述圖,屬于高端的DGX,專為AI訓(xùn)練等應(yīng)用而生。

它配備了雙路至強(qiáng)6776P主控CPU處理器,彼此通過UPI高速總線互連,每路都是最多8個(gè)PCT睿頻核心,客戶在使用的時(shí)候可以根據(jù)需要定制選擇8個(gè)、6個(gè)、4個(gè)或2個(gè)核心用于PCT頻。

每一路至強(qiáng)6776P之下,通過兩個(gè)NIC高速網(wǎng)卡,連接四塊AI GPU,整個(gè)系統(tǒng)就是八塊AI GPU,彼此通過NVLink高速總線互連。

這套系統(tǒng)在選擇主控CPU時(shí)采取了比較平衡的設(shè)計(jì),但性能依然是業(yè)界領(lǐng)先的,I/O性能、RAS性能等等也都很均衡,無疑是個(gè)理想的選擇。

當(dāng)然,我們知道,NVIDIA AI加速系統(tǒng)中已經(jīng)普遍使用自行研發(fā)的Grace CPU處理器,來搭配AI GPU加速器。

事實(shí)上,目前市場上,許多AI系統(tǒng)提供商都在使用自研主控CPU來配合AI GPU。

從Intel的角度來看,其服務(wù)方向是為客戶提供更多選擇,而且作為開放系統(tǒng),始終秉持開放態(tài)度,為主控CPU提供最佳選擇,以滿足客戶的多樣化需求。

NVIDIA DGX B300產(chǎn)品選擇了Intel至強(qiáng)6作為主控CPU,而且這并非測試或者試驗(yàn)產(chǎn)品,而是一款商業(yè)化的成熟產(chǎn)品,無疑是對Intel至強(qiáng)產(chǎn)品性能和兼容性的有力認(rèn)可。

C114中國通信網(wǎng)版權(quán)說明:凡注明來源為“C114通信網(wǎng)”的文章皆屬C114版權(quán)所有,除與C114簽署內(nèi)容授權(quán)協(xié)議的單位外,其他單位未經(jīng)允許禁止轉(zhuǎn)載、摘編,違者必究。如需使用,請聯(lián)系021-54451141(汪先生)。其中編譯類僅出于傳遞更多信息之目的,系C114對海外相關(guān)站點(diǎn)最新信息的翻譯稿,僅供參考,不代表證實(shí)其描述或贊同其觀點(diǎn),投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān);如有翻譯質(zhì)量問題請指正。

給作者點(diǎn)贊
0 VS 0
寫得不太好

C114簡介     聯(lián)系我們     網(wǎng)站地圖

Copyright©1999-2025 c114 All Rights Reserved 滬ICP備12002291號-4

C114通信網(wǎng)版權(quán)所有 舉報(bào)電話:021-54451141 用戶注銷