阿里今日凌晨開源了 Qwen3-Embedding 系列模型(Embedding 及 Reranker),專為文本表征、檢索與排序任務(wù)設(shè)計(jì),基于 Qwen3 基礎(chǔ)模型進(jìn)行訓(xùn)練。
官方表示,在多項(xiàng)基準(zhǔn)測試中,Qwen3-Embedding 系列在文本表征和排序任務(wù)中展現(xiàn)了卓越的性能。
其具備如下特點(diǎn):
卓越的泛化性:Qwen3-Embedding 系列在多個(gè)下游任務(wù)評(píng)估中達(dá)到行業(yè)領(lǐng)先水平。其中,8B 參數(shù)規(guī)模的 Embedding 模型在 MTEB 多語言 Leaderboard 榜單中位列第一(截至 2025 年 6 月 6 日,得分 70.58),性能超越眾多商業(yè) API 服務(wù)。此外,該系列的排序模型在各類文本檢索場景中表現(xiàn)出色,顯著提升了搜索結(jié)果的相關(guān)性。
靈活的模型架構(gòu):Qwen3-Embedding 系列提供從 0.6B 到 8B 參數(shù)規(guī)模的 3 種模型配置,以滿足不同場景下的性能與效率需求。開發(fā)者可以靈活組合表征與排序模塊,實(shí)現(xiàn)功能擴(kuò)展。
此外,模型支持以下定制化特性:
表征維度自定義:允許用戶根據(jù)實(shí)際需求調(diào)整表征維度,有效降低應(yīng)用成本;
指令適配優(yōu)化:支持用戶自定義指令模板,以提升特定任務(wù)、語言或場景下的性能表現(xiàn)。
全面的多語言支持:Qwen3-Embedding 系列支持超過 100 種語言,涵蓋主流自然語言及多種編程語言。該系列模型具備強(qiáng)大的多語言、跨語言及代碼檢索能力,能夠有效應(yīng)對(duì)多語言場景下的數(shù)據(jù)處理需求。
據(jù)介紹,Embedding 模型接收單段文本作為輸入,取模型最后一層「EOS」標(biāo)記對(duì)應(yīng)的隱藏狀態(tài)向量,作為輸入文本的語義表示;Reranker 模型則接收文本對(duì)(例如用戶查詢與候選文檔)作為輸入,利用單塔結(jié)構(gòu)計(jì)算并輸出兩個(gè)文本的相關(guān)性得分。