AI 競賽日益激烈,Meta 公司昨日推出開源 Llama 3.1 模型之后,法國人工智能初創(chuàng)公司 Mistral 也加入了競爭行列,推出了新一代旗艦?zāi)P?Mistral Large 2。
模型簡介
該模型共有 1230 億個參數(shù),在代碼生成、數(shù)學(xué)和推理方面比其前身功能更強大,并提供更強大的多語言支持和高級函數(shù)調(diào)用功能。
Mistral Large 2 擁有 128k 的上下文窗口,支持包括中文在內(nèi)的數(shù)十種語言以及 80 多種編碼語言。該模型在 MMLU 上的準(zhǔn)確度達(dá)到了 84.0%,并在代碼生成、推理和多語言支持方面有非常明顯的改進。
Mistral 公司表示,訓(xùn)練的重點之一是盡量減少模型的幻覺問題。該公司稱,Large 2 接受的訓(xùn)練讓它的反應(yīng)更具辨別力,當(dāng)它不知道某些事情時,它會承認(rèn)自己不知道,而不是編造一些看似合理的事情。
開放方式
援引官方新聞稿,該 AI 模型的關(guān)注點之一,在于“授權(quán)開放”非商業(yè)研究用途,包括開放權(quán)重、支持第三方根據(jù)其喜好進行微調(diào)(fine-tune)等等。
如果商業(yè) / 企業(yè)想要使用 Mistral Large 2,需要從 Mistral 公司購買單獨的許可和使用協(xié)議。
性能
與 Llama 3.1 的 4050 億個參數(shù)(即指導(dǎo)其性能的內(nèi)部模型設(shè)置)相比,它的參數(shù)數(shù)量較少,但性能仍接近前者。
Mistral Large 2 可在公司的主平臺上使用,也可通過云合作伙伴使用,它建立在原有 Large 模型的基礎(chǔ)上,帶來了先進的多語言功能,并提高了推理、代碼生成和數(shù)學(xué)方面的性能。
官方稱其為 GPT-4 級模型,在多項基準(zhǔn)測試中的性能非常接近 GPT-4o、Llama 3.1-405 和 Anthropic 的 Claude 3.5 Sonnet。
Mistral 指出,該產(chǎn)品將繼續(xù)“推動成本效益、速度和性能的發(fā)展”,同時為用戶提供新的功能,包括高級函數(shù)調(diào)用和檢索,以構(gòu)建高性能的人工智能應(yīng)用。