來自LAION、UC伯克利、HuggingFace等的工作，這篇工作的研究動機也很簡單，CLIP 模型在多模態(tài)領域展現(xiàn)出了巨大潛力，但原始 CLIP 模型未完全開源，限制了其更廣泛的應用和深入研究。OpenCLIP 旨在通過開源的方式，讓更多開發(fā)者能夠無門檻地利用這一先進模型，推動多模態(tài)技術在各個領域的應用和發(fā)展。

模型架構和原始CLIP無異，下面簡單介紹這篇工作中的一些研究規(guī)律和實驗結果。

01、方法介紹

這篇工作最大的貢獻是CLIP中擴展規(guī)律研究：通過訓練包含數(shù)十億圖像文本對的數(shù)據(jù)集上的CLIP模型，識別出多個下游任務（如零樣本分類、檢索、線性探測和端到端微調(diào)）中的冪律擴展規(guī)律。

1. 冪律關系：在兩個任務中，模型性能隨計算量的增加都遵循冪律關系。這意味著性能的提升并不是線性的，而是隨著計算量的增加而逐漸減緩。
2. 數(shù)據(jù)量的影響：增加數(shù)據(jù)量對性能提升有顯著影響。特別是在數(shù)據(jù)量較小的情況下，增加數(shù)據(jù)量可以顯著提高性能。
3. 模型規(guī)模的影響：更大的模型通常能夠從更多的數(shù)據(jù)中受益，表現(xiàn)出更好的性能。然而，當數(shù)據(jù)量達到一定規(guī)模后，模型規(guī)模的增加對性能提升的效果會逐漸減弱。
4. 任務差異：在零樣本分類任務中，OpenAI的CLIP模型表現(xiàn)更好；而在零樣本檢索任務中，OpenCLIP模型表現(xiàn)更優(yōu)。這表明不同的任務可能對模型和數(shù)據(jù)有不同的需求。

02、模型訓練

• 模型規(guī)模：選擇了幾種不同規(guī)模的CLIP架構，包括ViT-B/32、ViT-B/16、ViT-L/14、ViT-H/14和ViT-g/14作為視覺編碼器。
• 數(shù)據(jù)規(guī)模：使用了LAION-80M（LAION-400M的子集）、LAION-400M和LAION-2B三個不同的數(shù)據(jù)集。
• 訓練樣本數(shù)量：訓練過程中使用的樣本數(shù)量分別為30億、130億和340億。

03、實驗結果

零樣本遷移和魯棒性

模型規(guī)模的影響：隨著模型規(guī)模的增加，零樣本分類性能持續(xù)提升。下圖顯示了不同模型規(guī)模下的零樣本分類準確率，可以看到，模型規(guī)模越大，準確率越高。

隨著模型規(guī)模和數(shù)據(jù)量的增加，模型在這些魯棒性基準數(shù)據(jù)集上的性能也有所提升，尤其是在復雜的噪聲和擾動條件下。

• 數(shù)據(jù)量的影響：增加訓練數(shù)據(jù)量也能顯著提高零樣本分類性能。表16展示了不同數(shù)據(jù)量下的VTAB零樣本分類結果，可以看出，使用更大的數(shù)據(jù)集（如LAION-2B）可以顯著提升模型在多個任務上的表現(xiàn)。

圖像檢索

模型規(guī)模的影響：隨著模型規(guī)模的增加，圖像檢索性能持續(xù)提升。下圖顯示了不同模型規(guī)模下的圖像檢索性能，可以看到，模型規(guī)模越大，檢索效果越好。

數(shù)據(jù)量的影響：增加訓練數(shù)據(jù)量也能顯著提高圖像檢索性能。下表展示了不同數(shù)據(jù)量下的MS-COCO和Flickr30K圖像檢索結果，可以看出，使用更大的數(shù)據(jù)集（如LAION-2B）可以顯著提升模型的檢索性能。

linear probing

模型規(guī)模的影響：隨著模型規(guī)模的增加，線性探測的性能持續(xù)提升。圖2和圖3展示了不同模型規(guī)模下的線性探測結果，可以看到，模型規(guī)模越大，線性探測的準確率越高。

• 數(shù)據(jù)量的影響：增加訓練數(shù)據(jù)量也能顯著提高線性探測性能。表5展示了不同數(shù)據(jù)量下的線性探測結果，可以看出，使用更大的數(shù)據(jù)集（如LAION-2B）可以顯著提升模型的線性探測性能。
  

微調(diào)

使用預訓練的CLIP模型作為初始化，然后在ImageNet數(shù)據(jù)集上進行端到端微調(diào)

模型規(guī)模的影響：隨著模型規(guī)模的增加，端到端微調(diào)的性能持續(xù)提升。下圖展示了不同模型規(guī)模下的端到端微調(diào)結果，可以看到，模型規(guī)模越大，微調(diào)后的準確率越高。

數(shù)據(jù)量的影響：增加訓練數(shù)據(jù)量也能顯著提高端到端微調(diào)性能。使用更大的數(shù)據(jù)集（如LAION-2B）可以顯著提升模型的微調(diào)性能。

04、總結

作為 CLIP 模型的開源實現(xiàn)，在更大的數(shù)據(jù)集上進行了訓練，具有更多的模型參數(shù)，并且提供了更多的模型架構選擇，總結出對比圖像語言模型的縮放定律，為多模態(tài)領域的研究和開發(fā)提供了重要資源。其基于 Transformer 架構和對比學習方法，讓模型能夠有效學習圖像與文本之間的關聯(lián)，推動了多模態(tài)技術的發(fā)展。