40年前，個(gè)人電腦的問世將強(qiáng)大的計(jì)算能力壓縮至人們的桌面。20年前，智能手機(jī)的誕生拉近了人與人之間的距離。今天，AI助手悄無(wú)聲息地滲透到我們的生活，改變著我們與世界互動(dòng)的方式。
在上周剛剛落幕的OpenVINO™ DevCon 中國(guó)系列工作坊北京站活動(dòng)上，眾多行業(yè)先鋒和創(chuàng)新者們展現(xiàn)了AI技術(shù)在多個(gè)領(lǐng)域的實(shí)際應(yīng)用。一個(gè)明顯的趨勢(shì)是：無(wú)論是行業(yè)領(lǐng)軍企業(yè)還是獨(dú)立開發(fā)者，無(wú)一不在全力以赴地“All In AI”。這些創(chuàng)新的解決方案，不僅標(biāo)志著當(dāng)前各行業(yè)對(duì)AI的應(yīng)用正進(jìn)入爆發(fā)式增長(zhǎng)階段，也預(yù)示著AI將與我們的生活更緊密地聯(lián)系在一起——從職場(chǎng)到家庭，從醫(yī)療到娛樂，開啟一個(gè)充滿可能性的未來(lái)。
OpenVINO™ 2024.4版上線，支持最新英特爾® 酷睿™ Ultra處理器（第二代）并顯著提升大語(yǔ)言模型推理性能
英特爾OpenVINO™，作為一款先進(jìn)的AI工具套件，為開發(fā)者們提供了實(shí)現(xiàn)理想的AI部署的平臺(tái)。英特爾不斷優(yōu)化其性能，特別是提升其在PC和小型設(shè)備上運(yùn)行大語(yǔ)言模型（LLM）的能力。最新發(fā)布的OpenVINO™ 2024.4版本，為開發(fā)者帶來(lái)了諸多關(guān)鍵功能和性能改進(jìn)，旨在確保大語(yǔ)言模型在所有場(chǎng)景中，無(wú)論是邊緣計(jì)算還是數(shù)據(jù)中心，都能實(shí)現(xiàn)卓越的AI性能。
首先，OpenVINO™ 2024.4版本的一大亮點(diǎn)是新增了對(duì)最新英特爾® 酷睿™ Ultra處理器（第二代）的支持：
•在客戶端技術(shù)方面，支持全新的Xe2 GPU架構(gòu)，該架構(gòu)搭載于最新發(fā)布的英特爾® 酷睿™ Ultra處理器（第二代）平臺(tái)，并由英特爾® Xe矩陣擴(kuò)展（英特爾® XMX）加速技術(shù)驅(qū)動(dòng)。Xe2架構(gòu)在處理計(jì)算密集型任務(wù)，例如矩陣乘法方面，能夠帶來(lái)顯著的性能提升，對(duì)于加速大語(yǔ)言模型的部署至關(guān)重要。
•英特爾® 酷睿™ Ultra處理器（第二代）還引入了一個(gè)更強(qiáng)大的神經(jīng)處理單元（NPU），其推理吞吐量相較前一代有重大升級(jí)。
在模型優(yōu)化和內(nèi)存管理方面，OpenVINO™ 2024.4版本有效降低了AI部署的成本，優(yōu)化了內(nèi)存使用，并顯著減少了延遲。
•創(chuàng)建了高度優(yōu)化的GPU原語(yǔ)，如縮放點(diǎn)積注意力和旋轉(zhuǎn)位置嵌入，有效降低執(zhí)行復(fù)雜AI操作的成本。此外，對(duì)內(nèi)存管理進(jìn)行了改進(jìn)，更高效地支持帶有壓縮權(quán)重的模型，使得大語(yǔ)言模型能夠在資源受限的環(huán)境中，如筆記本電腦和邊緣設(shè)備上，能夠以最小的內(nèi)存占用運(yùn)行。
•在英特爾® 至強(qiáng)® 處理器上運(yùn)行時(shí)，OpenVINO™ 現(xiàn)支持由Open Compute Project規(guī)范定義的mxfp4格式，這使在運(yùn)行大語(yǔ)言模型時(shí)，相比于BF16精度，能夠減少內(nèi)存消耗，同時(shí)提高處理第二個(gè)Token的延遲性能。
在模型支持方面，OpenVINO™ 2024.4覆蓋更多生成式AI。
•支持GLM-4-9B Chat, MiniCPM-1B, Llama 3 和 3.1, Phi-3-Mini, Phi-3-Medium 以及YOLOX-s模型，并新增了一系列值得關(guān)注的Notebook。
•與Hugging Face合作，更新了Optimum-Intel解決方案，使得在利用Hugging Face API運(yùn)行模型的同時(shí)，能夠使用OpenVINO™高效地導(dǎo)出和壓縮模型，以供OpenVINO™ GenAI套件API使用。
OpenVINO™ DevCon盡顯社區(qū)創(chuàng)新活力，背包里的AI PC定義智能新紀(jì)元
今年，OpenVINO™ 發(fā)布了多個(gè)更新版本，且持續(xù)通過與開發(fā)者的交流和互動(dòng)，將行業(yè)趨勢(shì)與OpenVINO™ 的最新技術(shù)帶給開發(fā)者，助力開發(fā)者系統(tǒng)進(jìn)階。在近日舉辦的OpenVINO™ DevCon中國(guó)系列工作坊北京站中，數(shù)百位開發(fā)者親臨現(xiàn)場(chǎng)，探討了“OpenVINO™ 加速PC及小型設(shè)備性能”的應(yīng)用潛力，并展示了他們?cè)谡Z(yǔ)音智能交互、媒體娛樂、醫(yī)療分析等領(lǐng)域利用OpenVINO™實(shí)現(xiàn)的創(chuàng)新成果。
•人形機(jī)器人展示：將大模型“裝進(jìn)”AI PC，小巧機(jī)身濃縮超級(jí)智慧
在機(jī)器人領(lǐng)域，一個(gè)核心挑戰(zhàn)在于：如何將復(fù)雜的AI大模型部署到資源受限的本地硬件，賦予機(jī)器人以智慧的“生命”。這一挑戰(zhàn)猶如將一頭大象塞進(jìn)狹小的冰箱，不僅考驗(yàn)技術(shù)的高度，更要求在成本和性能之間尋找到最優(yōu)的解決方案。
OpenVINO™ 通過模型的量化、壓縮和加速，降低了AI大模型在邊緣設(shè)備上的運(yùn)行負(fù)擔(dān)，并通過支持多硬件平臺(tái)，實(shí)現(xiàn)了計(jì)算資源的高效利用，使在AI PC輕薄筆記本上運(yùn)行大型模型成為可能。當(dāng)這些AI大模型與機(jī)器人、機(jī)械臂等硬件結(jié)合，它們就仿佛被賦予了生命，能夠聽懂人類的復(fù)雜指令，機(jī)智應(yīng)對(duì)各種挑戰(zhàn)，展現(xiàn)著智能機(jī)器人的無(wú)限潛力。
•對(duì)話式AI語(yǔ)音助手：聊天只是開胃菜，超級(jí)助理才是真身份
對(duì)話式AI語(yǔ)音助手已經(jīng)在我們的日常生活中扮演越來(lái)越重要的角色。事實(shí)上，隨著智能化程度不斷加深，這些AI助手正走進(jìn)醫(yī)療、教育、金融等多個(gè)領(lǐng)域，為各行各業(yè)的帶來(lái)效率提升。
例如，在醫(yī)院場(chǎng)景中，患者通常需要在候診室等待數(shù)小時(shí)，而醫(yī)生則被迫在幾分鐘內(nèi)完成診斷。如何優(yōu)化就診流程，成為了緩解醫(yī)患矛盾的關(guān)鍵。基于OpenVINO™ 搭建的大語(yǔ)言模型對(duì)話式AI助手，能夠幫助醫(yī)院改善這一狀況。AI語(yǔ)音助手通過語(yǔ)音識(shí)別和大型語(yǔ)言模型，在患者踏入診室之前就能與患者展開交流，收集其癥狀信息，并為醫(yī)生制作詳細(xì)的病例總結(jié)。如此，當(dāng)患者進(jìn)入診室，醫(yī)生便能夠直接進(jìn)入診斷的核心環(huán)節(jié)，極大地縮短了就診時(shí)間，提升了患者滿意度。
•與直播息息相關(guān)：AI化身美顏大師，數(shù)字人與未來(lái)共舞
在視頻直播盛行的今天，智能美顏和數(shù)字人技術(shù)已成為行業(yè)的標(biāo)配。但如何降低相關(guān)技術(shù)的開發(fā)門檻和成本仍是行業(yè)持續(xù)探索的議題。如今借助英特爾OpenVINO™，相芯科技讓AI數(shù)字人和AR視頻特效技術(shù)實(shí)現(xiàn)了更低成本的部署。
例如，在視頻互動(dòng)中，OpenVINO™ 極致的優(yōu)化能力結(jié)合相芯在AI美顏方面的多年積累，在AR視頻特效方面實(shí)現(xiàn)了出色的效果。AI在美顏時(shí)不僅能準(zhǔn)確識(shí)別和修飾面部的細(xì)微瑕疵，如雀斑、痘痘，還能巧妙保留用戶的個(gè)人特色，確保美顏效果既真實(shí)自然又富有個(gè)性魅力。
依托OpenVINO™ 構(gòu)建的AI數(shù)字人產(chǎn)品，也正被廣泛應(yīng)用于在線教育、遠(yuǎn)程辦公、直播帶貨、社交娛樂等多個(gè)領(lǐng)域。OpenVINO™ 通過優(yōu)化的開發(fā)框架，提高了模型的轉(zhuǎn)換速度和壓縮率，不僅降低了資源消耗和成本門檻，還確保了模型在不同硬件平臺(tái)上高效運(yùn)行。從教育啟迪到娛樂陪伴，從工作輔助到情感交流，數(shù)字人應(yīng)用的深度和影響力不斷加深。
當(dāng)AI 走進(jìn)日常生活：減負(fù)、傳承…指尖智慧締造美好生活
OpenVINO™ 不僅推動(dòng)著行業(yè)AI應(yīng)用的發(fā)展，更為眾多獨(dú)立開發(fā)者提供了施展才華和創(chuàng)意的平臺(tái)。從技術(shù)博主到懷揣夢(mèng)想的學(xué)生和創(chuàng)業(yè)者，他們利用AI技術(shù)，探索如何讓科技服務(wù)于人，真正改善人類生活的世界。
•把授課交給老師，批改作業(yè)交給機(jī)器：長(zhǎng)久以來(lái)，學(xué)校教師肩負(fù)著作業(yè)批改的繁重負(fù)擔(dān)。一款基于OpenVINO™ 構(gòu)建并優(yōu)化的離線作業(yè)批改應(yīng)用幫助教師緩解了這一難題。只需將題目輸入到筆記本電腦，AI大模型便能將學(xué)生答案與標(biāo)準(zhǔn)答案自動(dòng)進(jìn)行比對(duì)，完成作業(yè)批改。結(jié)合打印機(jī)，批改結(jié)果便能即時(shí)呈現(xiàn)在學(xué)生試卷之上。每分鐘超過60份試卷的批改速度，批改準(zhǔn)確率超過95%，讓教師徹底從繁重的體力勞動(dòng)中解放出來(lái)，大大提高了教育工作的效率。
•利用OpenVINO™，跨過批量剪輯視頻之“痛”：在數(shù)字營(yíng)銷的戰(zhàn)役中，出街速度至關(guān)重要。北京海百川有限公司開發(fā)的AIGC數(shù)字內(nèi)容生成結(jié)合全息硬件展示系統(tǒng)能夠輕松處理復(fù)雜任務(wù)，從視頻生成、虛擬互動(dòng)到與大型AI模型的集成，使得在視覺識(shí)別、面部表情和身體動(dòng)作的捕捉上都能生成引人入勝的數(shù)字內(nèi)容。通過高性能的AI推理引擎，系統(tǒng)能夠自動(dòng)捕捉熱點(diǎn)，制作出適應(yīng)不同語(yǔ)言和文化環(huán)境的視頻內(nèi)容，達(dá)到批量生產(chǎn)視頻的效果，滿足市場(chǎng)的多樣化需求和對(duì)速度的追求。
•傳統(tǒng)針灸“智慧”傳承，AI技術(shù)功不可沒：針灸作為一種傳統(tǒng)的中醫(yī)療法，其操作依賴于針灸師手工進(jìn)行。隨著城市化和人口老齡化帶來(lái)對(duì)針灸服務(wù)的需求的上升，現(xiàn)有的針灸師隊(duì)伍難以滿足龐大的市場(chǎng)需求。上海墀圣信息科技有限責(zé)任公司借助英特爾的OpenVINO™ 開發(fā)的謐行針灸系統(tǒng)方案，通過智能化手段，不僅能夠快速準(zhǔn)確地識(shí)別人體穴位，還通過量化針灸手法，實(shí)現(xiàn)了治療操作的標(biāo)準(zhǔn)化，提高了治療的效率和準(zhǔn)確性。此外，龐大的針灸知識(shí)數(shù)據(jù)庫(kù)，還為針灸咨詢、學(xué)習(xí)與考核提供了支持，加速了針灸知識(shí)的普及與傳播。
隨著OpenVINO™ 2024.4版本的發(fā)布，工程師將可以利用更多的性能加速創(chuàng)新。英特爾將繼續(xù)與全球開發(fā)者一起，探索AI的未知領(lǐng)域，讓每一個(gè)創(chuàng)意都能成為現(xiàn)實(shí)。 
