微軟今日宣布,通過 Azure AI Foundry 接入 DeepSeek-R1 7B 和 14B 蒸餾模型,為 Copilot+ PC 提供本地運(yùn)行 7B 和 14B 模型的能力。
早在今年 1 月,微軟就宣布計(jì)劃將 DeepSeek-R1 模型的 NPU 優(yōu)化版本直接帶到搭載高通驍龍 X 處理器的 Copilot+ PC 上。如今,這個(gè)承諾終于兌現(xiàn)。
IT之家從微軟官方博客獲悉,模型將從搭載高通驍龍 X 處理器的 Copilot+ PC 開始上線,隨后是英特爾酷睿 Ultra 200V 和 AMD 銳龍的設(shè)備。
由于模型運(yùn)行在 NPU 上,因此可以減少對(duì) PC 電池續(xù)航和散熱性能影響的同時(shí),持續(xù)獲得 AI 計(jì)算能力,CPU 和 GPU 將可用于執(zhí)行其他任務(wù)。
微軟強(qiáng)調(diào),它使用了 Aqua 內(nèi)部自動(dòng)量化工具,將所有 DeepSeek 模型變體量化為 int4 權(quán)重。不幸的是,模型標(biāo)記速度相當(dāng)?shù)。微軟?bào)告稱,14B 模型的標(biāo)記速度僅為 8 tok / 秒,而 1.5B 模型的標(biāo)記速度接近 40 tok / 秒。微軟提到,該公司正在進(jìn)一步優(yōu)化提高速度。
開發(fā)者可以通過 AI Toolkit VS Code 擴(kuò)展在 Copilot+ PC 上下載和運(yùn)行 DeepSeek 模型的 1.5B、7B 和 14B 版本。