今天凌晨，阿里巴巴開源了兩款Qwen3系列新模型，Qwen3-Embedding和Qwen3-Reranker。

這兩個(gè)模型是專為文本表征、檢索與排序任務(wù)設(shè)計(jì)，基于 Qwen3基礎(chǔ)模型訓(xùn)練，充分繼承了Qwen 3在多語言文本理解方面的優(yōu)勢，支持119種語言。

根據(jù)測試數(shù)據(jù)顯示，在多語言文本表征基準(zhǔn)測試中，Qwen3 Embedding的性能非常出色。其中，8B參數(shù)以70.58的高分排名第一，超越了眾多商業(yè)API服務(wù)，例如，谷歌的Gemini-Embedding。

在排序任務(wù)中，Qwen3 Reranker 系列模型同樣展現(xiàn)了強(qiáng)大的能力。在基本相關(guān)性檢索任務(wù)中，8B模型在多語言檢索任務(wù)中取得了69.02的高分，在中文檢索任務(wù)中得分達(dá)到 77.45，在英文檢索任務(wù)中得分達(dá)到 69.76，顯著優(yōu)于其他基線模型。

開源地址：https://huggingface.co/collections/Qwen/qwen3-embedding-6841b2055b99c44d9a4c371f

https://huggingface.co/collections/Qwen/qwen3-reranker-6841b22d0192d7ade9cdefea

文本表征和排序是自然語言處理與信息檢索中的核心任務(wù)，主要用于網(wǎng)絡(luò)搜索、問答系統(tǒng)、推薦系統(tǒng)等多個(gè)領(lǐng)域。高質(zhì)量的文本表征能夠使模型精準(zhǔn)捕捉文本間的語義關(guān)系，而有效的排序機(jī)制則確保最相關(guān)的結(jié)果能夠優(yōu)先呈現(xiàn)給用戶。

但如何在大規(guī)模數(shù)據(jù)上訓(xùn)練出既具備泛化能力又能精準(zhǔn)檢索、排序的模型很困難，而新版Qwen3大幅度領(lǐng)先其他模型。

在模型架構(gòu)方面，這兩款模型采用了基于Qwen3基礎(chǔ)模型的密集版本，并提供了三種不同參數(shù)規(guī)模的模型配置，分別是0.6B、4B和8B參數(shù)，以滿足不同場景下的性能與效率需求。

對于文本嵌入模型，研究人員采用了因果注意力機(jī)制的大模型，并在輸入序列的末尾添加了[EOS]標(biāo)記，從而從最后一層的隱藏狀態(tài)中提取文本的語義表征。這種設(shè)計(jì)不僅增強(qiáng)了模型對文本語義的理解能力，還使得模型能夠根據(jù)不同的任務(wù)需求進(jìn)行靈活調(diào)整。

此外，為了使模型能夠更好地遵循指令，在下游任務(wù)中表現(xiàn)出色，研究人員將指令與查詢文本拼接為單一輸入上下文，而文檔保持不變。這種設(shè)計(jì)使得模型能夠更好地理解和處理復(fù)雜的語義任務(wù)，提升了模型在多語言和跨語言任務(wù)中的表現(xiàn)。

對于排序模型，采用了單塔結(jié)構(gòu)，將文本對（如用戶查詢與候選文檔）作為輸入，并通過大模型的對話模板將相似性評估任務(wù)轉(zhuǎn)化為二分類問題。模型能根據(jù)輸入的指令、查詢和文檔，判斷文檔是否符合查詢要求，并輸出相關(guān)性得分。這種設(shè)計(jì)使得模型能夠更加精準(zhǔn)地評估文本對之間的相關(guān)性，從而在排序任務(wù)中取得更好的效果。

在訓(xùn)練范式方面，該系列模型采用了創(chuàng)新的多階段訓(xùn)練方法，包括大規(guī)模無監(jiān)督預(yù)訓(xùn)練、高質(zhì)量數(shù)據(jù)的監(jiān)督微調(diào)以及模型融合策略。

在無監(jiān)督預(yù)訓(xùn)練階段，研究人員利用Qwen3基礎(chǔ)模型的文本生成能力，合成大規(guī)模的弱監(jiān)督訓(xùn)練數(shù)據(jù)。這些數(shù)據(jù)涵蓋了多種任務(wù)類型、語言和領(lǐng)域，為模型提供了廣泛的學(xué)習(xí)素材。

這種合成數(shù)據(jù)的方法不僅提高了數(shù)據(jù)的可控性，還能夠在低資源語言和領(lǐng)域中生成高質(zhì)量的數(shù)據(jù)，突破了傳統(tǒng)方法依賴社區(qū)論壇或開源數(shù)據(jù)篩選獲取弱監(jiān)督文本對的局限性，實(shí)現(xiàn)了大規(guī)模弱監(jiān)督數(shù)據(jù)的高效生成。

在監(jiān)督微調(diào)階段，研究人員選擇了高質(zhì)量的小規(guī)模標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，進(jìn)一步提升模型的性能。這一階段的訓(xùn)練數(shù)據(jù)不僅包括開源的標(biāo)注數(shù)據(jù)集，例如，MS MARCO、NQ、HotpotQA等，還篩選了部分合成數(shù)據(jù)。通過簡單的余弦相似度計(jì)算，從合成數(shù)據(jù)中篩選出高質(zhì)量的數(shù)據(jù)對，進(jìn)一步提升模型的性能。這種策略不僅提高了模型的泛化能力，還在多種基準(zhǔn)測試中取得了優(yōu)異的成績。

最后，在模型融合階段，研究人員采用了基于球面線性插值的模型融合技術(shù)。通過合并微調(diào)過程中保存的多個(gè)模型檢查點(diǎn)，模型能夠在不同數(shù)據(jù)分布上表現(xiàn)出更好的性能。這一策略顯著提升了模型的穩(wěn)定性和一致性，增強(qiáng)了模型的魯棒性和泛化能力。

除了上述技術(shù)創(chuàng)新點(diǎn)，這兩個(gè)模型在訓(xùn)練數(shù)據(jù)合成方面也進(jìn)行了精心設(shè)計(jì)。為了生成高質(zhì)量的合成數(shù)據(jù)，研究人員采用了精心設(shè)計(jì)的提示策略。在文本檢索任務(wù)中，模型通過多語言預(yù)訓(xùn)練語料庫生成數(shù)據(jù)，并為每個(gè)文檔分配特定的角色，以模擬潛在用戶對該文檔的查詢。

此外，提示中還包含了多種維度，如查詢類型關(guān)鍵詞、事實(shí)性、總結(jié)性、判斷性、查詢長度、難度和語言等，確保了合成數(shù)據(jù)的高質(zhì)量和多樣性。通過這種方式生成的合成數(shù)據(jù)，不僅在數(shù)量上滿足了大規(guī)模預(yù)訓(xùn)練的需求，在質(zhì)量上也能夠有效地提升模型的性能。