偷偷摘套内射激情视频,久久精品99国产国产精,中文字幕无线乱码人妻,中文在线中文a,性爽19p

Meta AI推出“雜食者”:一個模型搞定圖像視頻和3D數(shù)據(jù)的分類任務

人工智能 新聞
最近,Meta AI推出了這樣一個“雜食者” (Omnivore)模型,可以對不同視覺模態(tài)的數(shù)據(jù)進行分類,包括圖像、視頻和3D數(shù)據(jù)。

本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯(lián)系出處。

最近,Meta AI推出了這樣一個“雜食者” (Omnivore)模型,可以對不同視覺模態(tài)的數(shù)據(jù)進行分類,包括圖像、視頻和3D數(shù)據(jù)。

比如面對最左邊的圖像,它可以從深度圖、單視覺3D圖和視頻數(shù)據(jù)集中搜集出與之最匹配的結果。

這在之前,都要分用不同的模型來實現(xiàn);現(xiàn)在一個模型就搞定了。

而且Omnivore易于訓練,使用現(xiàn)成的標準數(shù)據(jù)集,就能讓其性能達到與對應單模型相當甚至更高的水平。

實驗結果顯示,Omnivore在圖像分類數(shù)據(jù)集ImageNet上能達到86.0%?的精度,在用于動作識別的Kinetics數(shù)據(jù)集上能達84.1%,在用于單視圖3D場景分類的SUN RGB-D也獲得了67.1%。

另外,Omnivore在實現(xiàn)一切跨模態(tài)識別時,都無需訪問模態(tài)之間的對應關系。

不同視覺模態(tài)都能通吃的“雜食者”

Omnivore基于Transformer體系結構,具備該架構特有的靈活性,并針對不同模態(tài)的分類任務進行聯(lián)合訓練。

模型架構如下:

Omnivore會將輸入的圖像、視頻和單視圖3D圖像轉換為embedding,并饋送到Transformer中。

雖然它可以使用任何vision transformer架構來處理patch embedding,但鑒于Swin transformer在圖像和視頻任務上的強大性能,這里就使用該架構作為基礎模型。

具體來說,Omnivore將圖像轉為patch,視頻轉為時空tube(spatio-temporal tube),單視圖3D圖像轉為RGB patch和深度patch。

然后使用線性層將patches映射到到embedding中。其中對RGB patch使用同一線性層,對深度patch使用單獨的。

總的來說,就是通過embedding將所有視覺模式轉換為通用格式?,然后使用一系列時空注意力(attention)操作來構建不同視覺模式的統(tǒng)一表示。

研究人員在ImageNet-1K數(shù)據(jù)集、Kinetics-400數(shù)據(jù)集和SUN RGB-D數(shù)據(jù)集上聯(lián)合訓練出各種Omnivore模型。

這種方法類似于多任務學習和跨模態(tài)對齊,但有2點重要區(qū)別:

1、不假設輸入觀測值對齊(即不假設圖像、視頻和3D數(shù)據(jù)之間的對應關系)

2、也不假設這些數(shù)據(jù)集共享相同的標簽空間(label space)

性能超SOTA

實驗方面,首先將Omnivore與各視覺模態(tài)對應的特定模型(?下表中指Specific)進行比較。

一共有三種不同的模型尺寸:T、S和B。

預訓練模型在七個下游任務上都進行了微調。

圖像特定模型在IN1K上預訓練。視頻特定模型和單視圖3D特定模型均使用預訓練圖像特定模型的inflation進行初始化,并分別在K400和SUN RGB-D上進行微調。

結果發(fā)現(xiàn),Omnivore在幾乎所有的下游任務上的性能都相當于或優(yōu)于各特定模型。

其中尺寸最大的Swin-B現(xiàn)了全部任務上的SOTA。

將Omnivore與具有相同模型架構和參數(shù)數(shù)量的特定模型比較也是相同的結果。

其中Omnivore在IN1K、K400和SUN數(shù)據(jù)集上從頭開始聯(lián)合訓練,而特定模態(tài)的模型針對每個數(shù)據(jù)集專門訓練:

ImageSwin模型從零開始訓練,VideoSwin和DepthSwin模型則從ImageSwin模型上進行微調。

接下來將Omnivore與圖像、視頻和3D數(shù)據(jù)分類任務上的SOTA模型行比較。

結果仍然不錯,Omnivore在所有預訓練任務中都表現(xiàn)出了優(yōu)于SOTA模型的性能(下圖從上至下分別為圖像、視頻和3D數(shù)據(jù))。

此外,在ImageNet-1K數(shù)據(jù)集上檢索給定RGB圖像的深度圖也發(fā)現(xiàn),盡管Omnivore沒有接受過于1K深度圖的訓練,但它也能夠給出語義相似的正確答案。

最后,作者表示,盡管這個“雜食者”比傳統(tǒng)的特定模式模型有了很多進步,但它有一些局限性。

比如目前它僅適用于單視圖3D圖像,不適用于其他3D表示,如體素圖(voxels)、點云圖等。

論文地址:
?????https://arxiv.org/abs/2201.08377??
??

代碼已開源:

????https://github.com/facebookresearch/omnivore????

責任編輯:張燕妮 來源: 量子位
相關推薦

2021-11-26 18:52:36

AI 數(shù)據(jù)人工智能

2025-03-27 09:26:30

2024-12-18 15:02:48

2024-05-06 11:37:20

自動駕駛3D

2023-02-25 16:14:36

AIMeta語言模型

2019-11-18 10:22:01

深度學習編程人工智能

2025-01-10 14:00:00

3D模型生成

2025-01-09 12:32:18

2011-05-26 10:05:07

優(yōu)派投影機

2010-09-30 10:31:43

J2ME3D

2022-09-14 09:23:51

Java3D引擎

2009-12-15 16:13:11

3D圖像

2023-12-11 09:00:00

人工智能3D模型

2022-02-10 20:50:56

騰訊QQAI

2023-12-09 14:29:32

AI算法

2024-06-17 12:33:34

2009-02-02 08:50:42

SilverlightRIA3D圖像

2020-08-26 10:37:21

阿里3D

2024-07-03 14:29:38

2021-11-08 06:02:17

CSS 技巧代碼重構
點贊
收藏

51CTO技術棧公眾號