Arm 公司昨日(7 月 10 日)發(fā)布博文,為了滿足未來生成式 AI 的需求,擴(kuò)展提供更多先進(jìn)智能功能,推出了可以加速 AI 工作負(fù)載的可擴(kuò)展矩陣擴(kuò)展 2(SME2)技術(shù),開發(fā)者無需修改代碼,即可集成至現(xiàn)有模型和應(yīng)用中。
該公司指出,在移動設(shè)備上的生成式 AI 應(yīng)用不再局限于傳統(tǒng)的聊天機(jī)器人和虛擬助手,而是逐漸發(fā)展到生成文本、聲音、圖像和視頻,執(zhí)行數(shù)學(xué)推理、以及群聊摘要等諸多高級智能功能。
SME 最初出現(xiàn)在 Armv9 架構(gòu)中,是一組可選的高級 CPU 架構(gòu)擴(kuò)展,專門設(shè)計用于加速矩陣數(shù)學(xué)運算。
SME2 在 2022 年底首次亮相,在此基礎(chǔ)上增加了新功能,據(jù) Arm 稱,它能夠?qū)崿F(xiàn)實時的移動端推理任務(wù),涵蓋生成圖片、自然語言處理任務(wù)等。
Arm 還分享了一些數(shù)據(jù),這些數(shù)據(jù)確實讓 SME2 看起來非?煽。根據(jù) Arm 的說法,Google 的 Gemma 3 模型在 SME2 增強(qiáng)的硬件上,比沒有 SME2 的硬件快 6 倍。
它可以在單個 CPU 核心上不到一秒鐘內(nèi)運行 800 字的文本摘要,IT之家注:這里 Arm 所指的 CPU 型號尚不清楚。
對于消費者來說,公告中的關(guān)鍵部分是,未來安卓手機(jī)即將具備 SME2 硬件能力。
到目前為止,SME 主要保留給服務(wù)器和工作站級處理器,因為其要求較高。然而,SME2 被設(shè)計為更加可擴(kuò)展,能夠部署在筆記本電腦、平板電腦,以及高端智能手機(jī)上。
重要的是,安卓已經(jīng)準(zhǔn)備好支持 SME2。SME2 在 Google 的 XNNPACK 庫中啟用,并支持 llama.cpp、阿里巴巴的 MNN 和微軟的 ONNX 等框架。