1 月 24 日消息，最近，Meta AI 推出了這樣一個“雜食者”（Omnivore）模型，可以對不同視覺模態的數據進行分類，包括圖像、視頻和 3D 數據。

比如面對最左邊的圖像，它可以從深度圖、單視覺 3D 圖和視頻數據集中搜集出與之最匹配的結果。

這在之前，都要分用不同的模型來實現；現在一個模型就搞定了。

而且 Omnivore 易于訓練，使用現成的標準數據集，就能讓其性能達到與對應單模型相當甚至更高的水平。

實驗結果顯示，Omnivore 在圖像分類數據集 ImageNet 上能達到 86.0% 的精度，在用于動作識別的 Kinetics 數據集上能達 84.1%，在用于單視圖 3D 場景分類的 SUN RGB-D 也獲得了 67.1%。

另外，Omnivore 在實現一切跨模態識別時，都無需訪問模態之間的對應關系。

不同視覺模態都能通吃的“雜食者”

Omnivore 基于 Transformer 體系結構，具備該架構特有的靈活性，并針對不同模態的分類任務進行聯合訓練。

模型架構如下：

Omnivore 會將輸入的圖像、視頻和單視圖 3D 圖像轉換為 embedding，并饋送到 Transformer 中。

雖然它可以使用任何 vision transformer 架構來處理 patch embedding，但鑒于 Swin transformer 在圖像和視頻任務上的強大性能，這里就使用該架構作為基礎模型。

具體來說，Omnivore 將圖像轉為 patch，視頻轉為時空 tube（spatio-temporal tube），單視圖 3D 圖像轉為 RGB patch 和深度 patch。

然后使用線性層將 patches 映射到到 embedding 中。其中對 RGB patch 使用同一線性層，對深度 patch 使用單獨的。

總的來說，就是通過 embedding 將所有視覺模式轉換為通用格式，然后使用一系列時空注意力（attention）操作來構建不同視覺模式的統一表示。

研究人員在 ImageNet-1K 數據集、Kinetics-400 數據集和 SUN RGB-D 數據集上聯合訓練出各種 Omnivore 模型。

這種方法類似于多任務學習和跨模態對齊，但有 2 點重要區別：

1、不假設輸入觀測值對齊（即不假設圖像、視頻和 3D 數據之間的對應關系）；

2、也不假設這些數據集共享相同的標簽空間（label space）。

性能超 SOTA

實驗方面，首先將 Omnivore 與各視覺模態對應的特定模型（下表中指 Specific）進行比較。

一共有三種不同的模型尺寸：T、S 和 B。

預訓練模型在七個下游任務上都進行了微調。

圖像特定模型在 IN1K 上預訓練。視頻特定模型和單視圖 3D 特定模型均使用預訓練圖像特定模型的 inflation 進行初始化，并分別在 K400 和 SUN RGB-D 上進行微調。

結果發現，Omnivore 在幾乎所有的下游任務上的性能都相當于或優于各特定模型。

其中尺寸最大的 Swin-B 實現了全部任務上的 SOTA。

將 Omnivore 與具有相同模型架構和參數數量的特定模型比較也是相同的結果。

其中 Omnivore 在 IN1K、K400 和 SUN 數據集上從頭開始聯合訓練，而特定模態的模型針對每個數據集專門訓練：

ImageSwin 模型從零開始訓練，VideoSwin 和 DepthSwin 模型則從 ImageSwin 模型上進行微調。

接下來將 Omnivore 與圖像、視頻和 3D 數據分類任務上的 SOTA 模型進行比較。

結果仍然不錯，Omnivore 在所有預訓練任務中都表現出了優于 SOTA 模型的性能（下圖從上至下分別為圖像、視頻和 3D 數據）。

此外，在 ImageNet-1K 數據集上檢索給定 RGB 圖像的深度圖也發現，盡管 Omnivore 沒有接受過關于 1K 深度圖的訓練，但它也能夠給出語義相似的正確答案。

最后，作者表示，盡管這個“雜食者”比傳統的特定模式模型有了很多進步，但它有一些局限性。

比如目前它僅適用于單視圖 3D 圖像，不適用于其他 3D 表示，如體素圖（voxels）、點云圖等。

關鍵詞： 模型 圖像 模態 數據 omnivore 架構 視頻 雜食者 視覺 sota