Mistral 公司最新推出了 Ministral 3B 和 Ministral 8B 兩款 AI 模型，并不需要連接云服務(wù)器，重點(diǎn)提高筆記本電腦和智能手機(jī)等設(shè)備的本地化 AI 體驗(yàn)，官方聲稱是“世界上最好的邊緣模型”。
Mistral 公司表示越來越多的企業(yè)希望能夠在個(gè)人設(shè)備上運(yùn)行 AI 模型，一方面確保安全的數(shù)據(jù)處理，另一方面也提高響應(yīng)速度。
上述兩個(gè)模型可在沒有互聯(lián)網(wǎng)接入的情況下，執(zhí)行翻譯服務(wù)、本地分析和機(jī)器人等多項(xiàng)服務(wù)。
這兩個(gè) AI 模型的上下文窗口均為 128K，相當(dāng)于一次可以處理 50 頁文檔。
Ministral 8B 的價(jià)格為每百萬個(gè) tokens 售價(jià) 0.1 美元，而 3B 版本則為 0.04 美元，適合小規(guī)模操作或初創(chuàng)開發(fā)者。Ministral 8B 采用了特殊的交錯(cuò)滑動(dòng)窗口注意力機(jī)制，這種設(shè)計(jì)可以在推理時(shí)更快且節(jié)省內(nèi)存。IT之家附上相關(guān)性能圖表如下：
