隨著AI的發(fā)展，端側(cè)AI模型越來越受到廣大客戶及廠商的關(guān)注，業(yè)界領(lǐng)先的大模型公司智譜于近日推出了四個(gè)全新的端側(cè)模型，加速AI前沿技術(shù)路徑與創(chuàng)新應(yīng)用場(chǎng)景探索，推動(dòng)AI大模型普惠化發(fā)展。
四個(gè)模型中，GLM-Edge-4B-chat、GLM-Edge-1.5B-chat為端側(cè)大語(yǔ)言模型，GLM-Edge-V-5B、GLM-Edge-V-2B為端側(cè)多模態(tài)模型，這四個(gè)模型分別具有4.3B/1.5B/4.8B/2B參數(shù)量。兩個(gè)端側(cè)的大語(yǔ)言模型適合意圖理解、智能對(duì)話、文本創(chuàng)作、知識(shí)庫(kù)問答等，兩個(gè)端側(cè)的多模態(tài)模型適用于視覺理解、創(chuàng)意描述、本地搜索、圖片問答等。這四個(gè)模型即將在Github、Huggingface、模搭等多個(gè)開源社區(qū)上發(fā)布。
為了確保這些新模型能夠在實(shí)際應(yīng)用中發(fā)揮卓越性能，英特爾與智譜緊密合作，利用最新的英特爾酷睿Ultra處理器（第二代）硬件平臺(tái)和OpenVINOTM AI推理加速軟件對(duì)模型的性能進(jìn)行優(yōu)化。通過與英特爾的緊密合作，智譜的新模型在計(jì)算效率、推理速度和能效比等方面得到了顯著提升。
英特爾酷睿Ultra處理器集成了專門的AI加速器，顯著提升AI和機(jī)器學(xué)習(xí)任務(wù)的處理能力。OpenVINOTM是由英特爾發(fā)起的AI推理優(yōu)化部署軟件框架，旨在優(yōu)化和加速深度學(xué)習(xí)模型在各種英特爾硬件上的推理性能，提供高效的模型優(yōu)化和跨平臺(tái)部署能力，使得開發(fā)者能夠在CPU、GPU、NPU 等多種硬件上實(shí)現(xiàn)卓越的AI推理性能。
在強(qiáng)大的硬件基礎(chǔ)上，OpenVINO采用多種優(yōu)化策略對(duì)智譜模型進(jìn)行優(yōu)化。INT4低精度模型量化；基于kvcache的stateful模型優(yōu)化；基于模型圖融合優(yōu)化，包括SDPA GQA，RoPE fusion等等。
通過這些優(yōu)化，英特爾在基于酷睿Ultra第二代處理器的AIPC上做到了對(duì)相關(guān)模型的Day 0（第零日）支持并取得了很好的性能（如下圖）：
在AI PC領(lǐng)域，英特爾正在引領(lǐng)市場(chǎng)前行。英特爾目前已出貨了超過2,000萬(wàn)臺(tái)AIPC設(shè)備，構(gòu)建了擁有超過100家ISV、300多項(xiàng)AI應(yīng)用、500多個(gè)AI模型的龐大生態(tài)系統(tǒng)。
在產(chǎn)品層面，英特爾也在與OEM廠商密切合作，推出以酷睿Ultra處理器為核心的AIPC。酷睿Ultra同時(shí)實(shí)現(xiàn)了出色的性能和續(xù)航能力，基于強(qiáng)大的x86架構(gòu)，通過CPU、GPU算力，酷睿Ultra能夠充分發(fā)揮AI技術(shù)的優(yōu)勢(shì)。
未來英特爾會(huì)與智譜進(jìn)一步加強(qiáng)在端側(cè)模型上的合作，并利用酷睿Ultra處理器上不斷提升的AI能力，充分賦能更多AIPC上的應(yīng)用，讓用戶在基于英特爾酷睿Ultra的AIPC上有更好的體驗(yàn)。
