在人工智能的多模態(tài)學(xué)習(xí)領(lǐng)域，CLIP（Contrastive Language-Image Pretraining）模型自2021年發(fā)布以來，已經(jīng)成為連接視覺和語言理解的重要基礎(chǔ)模型。從零樣本圖像分類到多模態(tài)大語言模型的視覺編碼器，CLIP的應(yīng)用范圍不斷擴(kuò)大，深刻影響了整個(gè)AI生態(tài)系統(tǒng)。然而，現(xiàn)有的CLIP模型及其變體主要專注于英語數(shù)據(jù)，這意味著全球互聯(lián)網(wǎng)上超過50%的非英語內(nèi)容被忽視了。Meta公司最新發(fā)布的Meta CLIP 2論文，首次提出了從全球網(wǎng)絡(luò)數(shù)據(jù)從頭訓(xùn)練CLIP模型的完整方案，為多模態(tài)AI的全球化發(fā)展開辟了新的道路。

1.傳統(tǒng)CLIP的局限性

傳統(tǒng)的CLIP模型面臨著兩個(gè)根本性挑戰(zhàn)。首先是數(shù)據(jù)處理方面的局限：現(xiàn)有的數(shù)據(jù)篩選方法主要針對(duì)英語內(nèi)容設(shè)計(jì)，缺乏處理非英語數(shù)據(jù)的有效算法。無論是OpenAI的原版CLIP還是Meta CLIP，都主要依賴英語元數(shù)據(jù)和篩選機(jī)制，導(dǎo)致大量有價(jià)值的非英語圖像-文本對(duì)被丟棄。

其次是"多語言詛咒"現(xiàn)象：當(dāng)模型嘗試處理多語言數(shù)據(jù)時(shí)，英語性能往往會(huì)下降。這種現(xiàn)象在大語言模型中也廣泛存在。例如，mSigLIP模型在ImageNet數(shù)據(jù)集上的表現(xiàn)比其純英語版本SigLIP差1.5%，這迫使研究者必須為英語和非英語任務(wù)分別維護(hù)不同的模型。

目前CLIP數(shù)據(jù)處理主要分為兩種方法：從頭篩選和基于外部資源的蒸餾。從頭篩選方法雖然能夠提供可控的數(shù)據(jù)分布，但傳統(tǒng)方法僅適用于英語數(shù)據(jù)。而蒸餾方法雖然性能良好且節(jié)省計(jì)算資源，但依賴于黑盒外部系統(tǒng)，引入了不可避免的偏差。例如，LAION數(shù)據(jù)集依賴OpenAI CLIP進(jìn)行過濾，而DFN使用在私有高質(zhì)量數(shù)據(jù)上訓(xùn)練的過濾器模型。

2.三項(xiàng)核心創(chuàng)新

第一，全球化元數(shù)據(jù)構(gòu)建研究團(tuán)隊(duì)將原本僅限于英語的元數(shù)據(jù)擴(kuò)展到了31種語言的WordNet同義詞集和329種語言的維基百科語料。

這種設(shè)計(jì)保持了每種語言獨(dú)立的元數(shù)據(jù)結(jié)構(gòu)，不僅在直覺上更合理（例如"mit"在英語和德語中含義不同），性能也更優(yōu)越，同時(shí)為未來添加新語言提供了靈活性。

第二，基于語言的篩選算法Meta CLIP 2開發(fā)了針對(duì)全球數(shù)據(jù)的篩選算法，采用逐語言的子串匹配和平衡機(jī)制。關(guān)鍵創(chuàng)新在于為每種語言設(shè)定特定的閾值參數(shù)，而不是使用統(tǒng)一標(biāo)準(zhǔn)。這種方法確保了不同語言數(shù)據(jù)中頭部概念和尾部概念的平衡比例保持一致。

第三， 全球化訓(xùn)練框架訓(xùn)練框架包含三個(gè)重要組件：多語言文本分詞器、擴(kuò)展訓(xùn)練數(shù)據(jù)量，以及對(duì)最小可行模型容量的研究。特別是在訓(xùn)練數(shù)據(jù)量方面，將全局批次大小擴(kuò)大2.3倍，確保英語數(shù)據(jù)的訓(xùn)練量不會(huì)因?yàn)榧尤敕怯⒄Z數(shù)據(jù)而減少。

3.技術(shù)實(shí)現(xiàn)細(xì)節(jié)

Meta CLIP 2的元數(shù)據(jù)來源與原版CLIP相同，但擴(kuò)展到了全球范圍：

• 多語言WordNet：包含31種語言的所有同義詞集
• 維基百科單詞和雙詞：處理2024年5月的維基百科轉(zhuǎn)儲(chǔ)數(shù)據(jù)，覆蓋329種語言
• 維基百科標(biāo)題：使用40個(gè)隨機(jī)日期的維基百科快照，按各語言的點(diǎn)擊流量排名
• 對(duì)于沒有空格分隔的亞洲語言（如中文、日語、泰語等），研究團(tuán)隊(duì)采用了當(dāng)?shù)厣鐓^(qū)開發(fā)的開源分詞器，以正確分割文本并保持語義完整性。

篩選算法優(yōu)化為了高效處理數(shù)百種語言的大規(guī)模數(shù)據(jù)，研究團(tuán)隊(duì)采用了多項(xiàng)優(yōu)化策略：

• 使用Aho-Corasick算法進(jìn)行高效字符串匹配，速度比原始暴力實(shí)現(xiàn)快2000倍
• 惰性元數(shù)據(jù)加載技術(shù)，為每種語言單獨(dú)預(yù)建并存儲(chǔ)元數(shù)據(jù)到自動(dòng)機(jī)中，僅在遇到新語言時(shí)動(dòng)態(tài)加載
• 使用內(nèi)存映射文件加載來管理概率計(jì)算時(shí)的內(nèi)存約束

4.性能突破

Meta CLIP 2在多個(gè)基準(zhǔn)測(cè)試中展現(xiàn)了卓越的性能。在零樣本ImageNet分類任務(wù)中，ViT-H/14模型相比純英語版本提升了0.8%，相比mSigLIP提升了0.7%。更令人印象深刻的是，該模型在多語言基準(zhǔn)測(cè)試中創(chuàng)下了新的最佳記錄：

• CVQA數(shù)據(jù)集：57.4%
• Babel-ImageNet：50.2%
• XM3600圖像到文本檢索：64.3%

研究團(tuán)隊(duì)的一個(gè)重要發(fā)現(xiàn)是模型容量對(duì)打破"多語言詛咒"的關(guān)鍵作用。實(shí)驗(yàn)表明，即使是OpenAI使用的最大模型ViT-L/14仍然受到多語言詛咒的影響，而ViT-H/14成為了打破這一詛咒的拐點(diǎn)。這一發(fā)現(xiàn)為未來多語言模型的設(shè)計(jì)提供了重要指導(dǎo)。

Meta CLIP 2在文化多樣性方面也表現(xiàn)出色。在Dollar Street、GeoDE和GLDv2等地理多樣性基準(zhǔn)測(cè)試中，該模型顯著優(yōu)于現(xiàn)有方法。這表明通過保留全球圖像分布，Meta CLIP 2繼承了更全面的文化和社會(huì)經(jīng)濟(jì)覆蓋范圍，提高了地理定位和區(qū)域特定識(shí)別能力。

本文轉(zhuǎn)載自??魯班模錘??，作者：龐德公