C114通信網(wǎng)  |  通信人家園

人工智能
2025/3/4 11:42

微軟擁抱 DeepSeek,Copilot+ PC 本地運(yùn)行 7B 和 14B 模型

IT之家  汪淼

微軟今日宣布,通過 Azure AI Foundry 接入 DeepSeek-R1 7B 和 14B 蒸餾模型,為 Copilot+ PC 提供本地運(yùn)行 7B 和 14B 模型的能力。

早在今年 1 月,微軟就宣布計(jì)劃將 DeepSeek-R1 模型的 NPU 優(yōu)化版本直接帶到搭載高通驍龍 X 處理器的 Copilot+ PC 上。如今,這個(gè)承諾終于兌現(xiàn)。

IT之家從微軟官方博客獲悉,模型將從搭載高通驍龍 X 處理器的 Copilot+ PC 開始上線,隨后是英特爾酷睿 Ultra 200V 和 AMD 銳龍的設(shè)備。

由于模型運(yùn)行在 NPU 上,因此可以減少對(duì) PC 電池續(xù)航和散熱性能影響的同時(shí),持續(xù)獲得 AI 計(jì)算能力,CPU 和 GPU 將可用于執(zhí)行其他任務(wù)。

微軟強(qiáng)調(diào),它使用了 Aqua 內(nèi)部自動(dòng)量化工具,將所有 DeepSeek 模型變體量化為 int4 權(quán)重。不幸的是,模型標(biāo)記速度相當(dāng)?shù)。微軟?bào)告稱,14B 模型的標(biāo)記速度僅為 8 tok / 秒,而 1.5B 模型的標(biāo)記速度接近 40 tok / 秒。微軟提到,該公司正在進(jìn)一步優(yōu)化提高速度。

開發(fā)者可以通過 AI Toolkit VS Code 擴(kuò)展在 Copilot+ PC 上下載和運(yùn)行 DeepSeek 模型的 1.5B、7B 和 14B 版本。

給作者點(diǎn)贊
0 VS 0
寫得不太好

免責(zé)聲明:本文僅代表作者個(gè)人觀點(diǎn),與C114通信網(wǎng)無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí),對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾,請(qǐng)讀者僅作參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。

熱門文章
    最新視頻
    為您推薦

      C114簡介 | 聯(lián)系我們 | 網(wǎng)站地圖 | 手機(jī)版

      Copyright©1999-2025 c114 All Rights Reserved | 滬ICP備12002291號(hào)

      C114 通信網(wǎng) 版權(quán)所有 舉報(bào)電話:021-54451141