設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

計(jì)算機(jī)視覺(jué) GPT 時(shí)刻:UC 伯克利三巨頭祭出首個(gè)純 CV 大模型,推理驚現(xiàn) AGI 火花

新智元 2023/12/4 16:10:39 責(zé)編:問(wèn)舟

UC 伯克利的 CV 三巨頭推出首個(gè)無(wú)自然語(yǔ)言的純視覺(jué)大模型,第一次證明純 CV 模型也是可擴(kuò)展的。更令人震驚的是,LVM 竟然也能做對(duì)圖形推理題,AGI 火花再次出現(xiàn)了?

計(jì)算機(jī)視覺(jué)的 GPT 時(shí)刻,來(lái)了!

最近,來(lái)自 UC 伯克利的計(jì)算機(jī)視覺(jué)「三巨頭」聯(lián)手推出了第一個(gè)無(wú)自然語(yǔ)言的純視覺(jué)大模型(Large Vision Models),并且第一次證明了純視覺(jué)模型本身也是可擴(kuò)展的(scalability)。

除此之外,研究人員還利用超過(guò) 420B token 的數(shù)據(jù)集讓模型可以通過(guò)上下文學(xué)習(xí)來(lái)理解并執(zhí)行下游任務(wù),并且統(tǒng)一了圖片 / 視頻、有監(jiān)督 / 無(wú)監(jiān)督、合成 / 真實(shí)、2D / 3D / 4D 等幾乎所有的數(shù)據(jù)形式。

論文地址:https://arxiv.org/ abs / 2312.00785

值得一提的是,讓 LVM 做非語(yǔ)言類智商測(cè)試(Raven's Progressive Matrices )中常見(jiàn)的非語(yǔ)言推理問(wèn)題,它時(shí)常能做出正確的推斷。

對(duì)此,研究人員驚喜地表示,這或許意味著 LVM 也展現(xiàn)出了「AGI 的火花」!

純視覺(jué)模型的逆襲

現(xiàn)在,隨著大語(yǔ)言模型的爆發(fā),不管是學(xué)術(shù)界還是業(yè)界,都開(kāi)始嘗試使用「文本」來(lái)擴(kuò)大視覺(jué)模型的規(guī)模。

包括 GPT4-V 在內(nèi)的 SOTA 模型,都是把視覺(jué)和文字組合在一起訓(xùn)練的。

以「蘋果」為例,這種方法在訓(xùn)練時(shí)不僅會(huì)給模型看「蘋果的照片」,而且還會(huì)配上文字「這是一個(gè)蘋果」。

然而,在面對(duì)更加復(fù)雜的圖片時(shí),就很容易忽略其中大量的信息。

比如「蒙娜麗莎」應(yīng)該怎么去描述?或者擺滿各種物品的廚房的照片,也很難清晰地被描述出來(lái)。

對(duì)此,來(lái)自 UC 伯克利和約翰斯?霍普金斯大學(xué)的研究人員,提出了一種全新的「視覺(jué)序列」建模方法,可以在不使用任何語(yǔ)言數(shù)據(jù)的情況下,訓(xùn)練大規(guī)模視覺(jué)模型(Large Vision Model)。

這種名為「視覺(jué)序列」的通用格式,可以在其中表征原始圖像和視頻,以及語(yǔ)義分割、深度重建等帶標(biāo)注的數(shù)據(jù)源,且不需要超出像素之外的任何元知識(shí)。

一旦將如此廣泛的視覺(jué)數(shù)據(jù)(包含 4200 億個(gè) token)表征為序列,就可以進(jìn)行模型的訓(xùn)練,讓下一個(gè) token 預(yù)測(cè)的交叉熵?fù)p失最小化。

由此得到的 LVM 模型,不僅可以實(shí)現(xiàn)有效地?cái)U(kuò)展,完成各種各樣的視覺(jué)任務(wù),甚至還能更進(jìn)一步地涌現(xiàn)出比如數(shù)數(shù)、推理、做智力測(cè)試等能力。

左:Alexei A Efros;中:Trevor Darrell;右:Jitendra Malik

簡(jiǎn)單來(lái)說(shuō)就是,大規(guī)模視覺(jué)模型只需看圖訓(xùn)練,就能理解和處理復(fù)雜的視覺(jué)信息,完全不用依賴語(yǔ)言數(shù)據(jù)。

純視覺(jué)模型的擴(kuò)展難題

此前,使用預(yù)訓(xùn)練模型的價(jià)值 (例如 ImageNet 預(yù)訓(xùn)練的 AlexNet) ,早在 2015 年就已經(jīng)在 R-CNN 中得到了證明。

從此,它從此成為計(jì)算機(jī)視覺(jué)的標(biāo)準(zhǔn)實(shí)踐。

而自監(jiān)督預(yù)訓(xùn)練,作為一種大大增加可用于預(yù)訓(xùn)練的數(shù)據(jù)量的方法被提出。

不幸的是,這種方法并不是很成功,可能是因?yàn)楫?dāng)時(shí)基于 CNN 的架構(gòu)沒(méi)有足夠的能力來(lái)吸收數(shù)據(jù)。

隨著 Transformer 的推出,其容量變得高得多,因此研究人員重新審視了自監(jiān)督預(yù)訓(xùn)練,并發(fā)現(xiàn)了基于 Transformer 的掩碼圖像重建方法,例如 BEiT, MAE,SimMIM,它們要比基于 CNN 的同類方法表現(xiàn)好得多 。

然而,盡管如此,目前預(yù)訓(xùn)練的純視覺(jué)模型在擴(kuò)展到真正大的數(shù)據(jù)集 (例如 LAION) 時(shí),還是遇到了困難。

如何構(gòu)建「大視覺(jué)模型」

那構(gòu)建一個(gè)大規(guī)模視覺(jué)模型(Large Vision Model,LVM),需要哪些要素呢?

動(dòng)物世界告訴我們,視覺(jué)能力并不依賴于語(yǔ)言。而許多實(shí)驗(yàn)表明,非人類靈長(zhǎng)類動(dòng)物的視覺(jué)世界,和人類的極為相似。

因此,本文走在了 LLaVA 這種視覺(jué)-語(yǔ)言模型不同的方向:僅依靠像素,我們能走多遠(yuǎn)?

研究人員試圖在 LVM 中,模仿 LLM 的兩個(gè)關(guān)鍵特性:(1)在大數(shù)據(jù)環(huán)境下的擴(kuò)展能力,和(2)通過(guò)提示(上下文學(xué)習(xí))靈活地指定任務(wù)。

為了實(shí)現(xiàn)這一目標(biāo),需要明確三個(gè)主要組件:

數(shù)據(jù):研究人員希望,能夠充分利用視覺(jué)數(shù)據(jù)顯著的多樣性。

首先是原始的未經(jīng)標(biāo)注的圖像和視頻。接下來(lái),研究人員計(jì)劃利用過(guò)去幾十年中產(chǎn)生的各種帶標(biāo)注的視覺(jué)數(shù)據(jù)資源,如語(yǔ)義分割、深度重建、關(guān)鍵點(diǎn)、3D 物體的多個(gè)視圖等。

為此,他們定義了一種名為「視覺(jué)序列」的通用格式,來(lái)表示這些不同的標(biāo)注,而不需要任何超出像素本身的元知識(shí)。訓(xùn)練數(shù)據(jù)集總共包含 1.64 億張圖像 / 幀。

架構(gòu):研究人員使用了一個(gè)具有 30 億參數(shù)的大型 Transformer 架構(gòu),這個(gè)架構(gòu)在被表征為 token 序列的視覺(jué)數(shù)據(jù)上進(jìn)行訓(xùn)練。

通過(guò)學(xué)習(xí)到的 tokenizer,將每個(gè)圖像映射到一個(gè)包含 256 個(gè)向量量化 token 的字符串。

損失函數(shù):研究人員從自然語(yǔ)言處理領(lǐng)域獲取了靈感,其中掩碼 token 模型已經(jīng)演變?yōu)轫樞蜃曰貧w預(yù)測(cè)。

一旦能夠?qū)D像 / 視頻 / 帶標(biāo)注的圖像都表征為序列,就可以訓(xùn)練模型來(lái)最小化預(yù)測(cè)下一個(gè) token 的交叉熵?fù)p失。

通過(guò)這種極簡(jiǎn)的設(shè)計(jì),研究人員有了一些新穎的發(fā)現(xiàn) ——

- 隨著模型尺寸和數(shù)據(jù)大小的增加,模型會(huì)表現(xiàn)出適當(dāng)?shù)臄U(kuò)展行為。

- 通過(guò)在測(cè)試時(shí)設(shè)計(jì)合適的視覺(jué)提示,可以解決多種視覺(jué)任務(wù)。

- 大量無(wú)監(jiān)督數(shù)據(jù),對(duì)于各種標(biāo)準(zhǔn)視覺(jué)任務(wù)性能的提升非常明顯。

- 模型在處理超出分布外數(shù)據(jù)和執(zhí)行新穎任務(wù)時(shí),表現(xiàn)出了一般的視覺(jué)推理能力,但還需要進(jìn)一步的調(diào)查研究。

數(shù)據(jù)

數(shù)據(jù)!數(shù)據(jù)!數(shù)據(jù)!沒(méi)有粘土我就做不了磚頭!—— 夏洛克?福爾摩斯

任何大型預(yù)訓(xùn)練模型的關(guān)鍵,就必須接受大量數(shù)據(jù)的訓(xùn)練。

對(duì)于語(yǔ)言模型來(lái)說(shuō),獲得非常多樣化的大數(shù)據(jù)集,是很容易的事。

比如,流行的 CommonCrawl 存儲(chǔ)庫(kù),就包含掃描了整個(gè)網(wǎng)絡(luò)的 2500 億個(gè)網(wǎng)頁(yè),極其多樣化,并且包括語(yǔ)言翻譯、問(wèn)題回答等「自然演示」。

然而在計(jì)算機(jī)視覺(jué)領(lǐng)域,想要擁有同樣規(guī)模和多樣性的數(shù)據(jù)源,還差得很遠(yuǎn)。

因此,研究人員的工作核心貢獻(xiàn)之一,就是構(gòu)建這樣一個(gè)統(tǒng)一視覺(jué)數(shù)據(jù)集(UVDv1)。

為此,研究人員利用了許多不同的視覺(jué)數(shù)據(jù)源:(1)未標(biāo)注的圖像,(2)具有視覺(jué)標(biāo)注的圖像,(3)未標(biāo)注的視頻,(4)具有視覺(jué)標(biāo)注的視頻,(5)3D 合成物體。

其中,未標(biāo)注的圖像占了總數(shù)據(jù)的 80% 以上,組成了大部分的視覺(jué)世界,也提供了所需的多樣性,然而代價(jià)就是,數(shù)據(jù)源質(zhì)量較低。

帶標(biāo)注的圖像分布會(huì)更受限制,但通常質(zhì)量更高。

而視頻數(shù)據(jù)則受到更多限制(一般是以人類為中心的活動(dòng)),但它們卻是時(shí)態(tài)數(shù)據(jù)的寶貴來(lái)源。

3D 合成對(duì)象的渲染多樣性最低,但可以提供有關(guān) 3D 結(jié)構(gòu)行為的寶貴提示。

而最重要的是,UVDv1 是一個(gè)純粹的視覺(jué)數(shù)據(jù)集,不包含文本之類的非視覺(jué)元數(shù)據(jù)。

總之,UVDv1 包含 16.4 億張圖像。

與 LLM 的另一個(gè)重要區(qū)別是,語(yǔ)言數(shù)據(jù)對(duì)所有數(shù)據(jù)都有一個(gè)自然的、統(tǒng)一的一維結(jié)構(gòu) —— 文本流。

然而不幸的是,視覺(jué)數(shù)據(jù)的情況卻并非如此,不同的來(lái)源都有不同的結(jié)構(gòu)。

因此在這項(xiàng)工作中,研究人員提出視覺(jué)序列,作為視覺(jué)數(shù)據(jù)的統(tǒng)一單元,這就使得他們能夠從不同的集合源,訓(xùn)練可擴(kuò)展的模型。

視覺(jué)序列只是包含一個(gè)或多個(gè)圖像的序列,后面跟隨著一個(gè)句尾 (EOS) token。

圖 1 可以顯示出,各種數(shù)據(jù)源是如何劃分為視覺(jué)序列的。

單張圖像

單張圖像本身代表了視覺(jué)序列的最簡(jiǎn)單形式一一 {圖像,EOS}。

研究人員使用了 LAION 5B 數(shù)據(jù)集中 14.9 億張圖像的過(guò)濾子集。

這是迄今為止數(shù)據(jù)中最大的部分,占了 88.5%。

圖像序列

圖像序列是視覺(jué)序列的自然形式。

研究人員通過(guò)從各種現(xiàn)有數(shù)據(jù)集中獲取視頻數(shù)據(jù),來(lái)創(chuàng)建此類序列。

16 幀的視覺(jué)序列,是通過(guò)以三個(gè)不同步長(zhǎng) (10、20 和 30) 對(duì)視頻進(jìn)行機(jī)采樣而形成的。

此外,研究人員利用了來(lái)自 0bjaverse 數(shù)據(jù)集的合成 3D 物體,生成了以物體為中心的多視角序列。

對(duì)于每個(gè)物體,研究人員都在物體中心和攝像機(jī)之間,采樣了一個(gè)半徑 1.5 到 2.2 的長(zhǎng)度,并從-45 度到 45 度采樣了一個(gè)恒定仰角,然后遍歷物體的不同視角(以 15 度步長(zhǎng)和渲染 24 個(gè)視角的方式,改變方位角)。

通過(guò)這種方法,研究人員總共渲染了 42000 個(gè)這樣的序列用于訓(xùn)練,8000 個(gè)序列用于測(cè)試。

最后,還可以將屬于同一語(yǔ)義類別的圖像表征為序列的(一部分)。

使用 ImageNet 中的類別,將同一類別中的圖像組(2、4、8 或 16 個(gè))連接成一個(gè) 16 幅圖像的長(zhǎng)序列。

帶標(biāo)注的圖像

為了以統(tǒng)一的方式處理不同類型的圖像標(biāo)注,研究人員選擇將所有標(biāo)注表征為圖像。

某些數(shù)據(jù)類型,例如語(yǔ)義分割圖,邊緣圖,深度和普通圖像,已經(jīng)是以這種方式表征的。

對(duì)于其他數(shù)據(jù)類型,研究人員為每種特定的標(biāo)注類型,量身定制了不同方法 ——

1. 物體檢測(cè):通過(guò)在每個(gè)物體周圍覆蓋顏色編碼的邊界框,來(lái)創(chuàng)建標(biāo)注。

2. 人體姿態(tài):利用 MMPose,遵循 OpenPose 格式,在像素空間中渲染人體骨骼。

3. 深度估計(jì)、表面法線和邊緣檢測(cè):對(duì)于給定的 ImageNet 和 COCO 圖像,按照特定協(xié)議生成標(biāo)注。

4. 風(fēng)格遷移、除雨、去噪、弱光增強(qiáng)和立體數(shù)據(jù)集:這些都表征為圖像對(duì)的形式 (例如輸入 / 輸出)。

5. 著色:將 ImageNet 圖像轉(zhuǎn)換為灰度圖像,生成圖像對(duì)。

6. 修復(fù):在圖像中隨機(jī)添加黑色框來(lái)模擬損壞,從而產(chǎn)生圖像對(duì)。

對(duì)于上述所有標(biāo)注類型,可以通過(guò)將相同標(biāo)注類型的 8 個(gè)圖像對(duì),連接成 16 個(gè)圖像的視覺(jué)序列,來(lái)創(chuàng)建視覺(jué)序列。

對(duì)于包含同一圖像的 k 個(gè)不同標(biāo)注的數(shù)據(jù)集,使用不同的方法: 對(duì)于每組 1+k 個(gè)圖像 (輸入多于 k 的標(biāo)注),然后隨機(jī)選擇 m 個(gè)元素,其中 m≤n+1≤16。然后將這些 m 元組連接起來(lái),形成視覺(jué)序列。

帶標(biāo)注的圖像序列

在將帶標(biāo)注的視頻數(shù)據(jù)(VIPSeg、Hand14K、AVA、JHMDB)轉(zhuǎn)換為視覺(jué)序列時(shí),采用了兩種互補(bǔ)策略。

第一種策略類似于處理成對(duì)標(biāo)注圖像數(shù)據(jù)的方法:每個(gè)視覺(jué)序列都是通過(guò)將幀與它們的標(biāo)注連接起來(lái)而構(gòu)建的 ——{frame1,annot1,frame2,annot2,...}。

第二種方法是將多個(gè)幀與相應(yīng)的標(biāo)注 {frame1,frame2,annot1,annot2,...} 進(jìn)行分組。

實(shí)現(xiàn)方法

與天然展現(xiàn)離散序列結(jié)構(gòu)的文本數(shù)據(jù)不同,將圖像像素建模為視覺(jué)序列并不直觀。在這項(xiàng)工作中,研究人員采取了一個(gè)兩階段方法:

1. 訓(xùn)練一個(gè)大型視覺(jué) tokenizer(對(duì)單個(gè)圖像操作)將每個(gè)圖像轉(zhuǎn)換成一系列視覺(jué) token;

2. 在視覺(jué)序列上訓(xùn)練一個(gè)自回歸 Transformer 模型,每個(gè)序列都表示為一系列 token。

圖像分詞(Image Tokenization)

雖然視覺(jué)序列在連續(xù)圖像之間展現(xiàn)出了序列結(jié)構(gòu),但在單個(gè)圖像內(nèi)部并沒(méi)有這樣的自然序列結(jié)構(gòu)。

因此,為了將 Transformer 模型應(yīng)用于圖像,先前的工作通常采用以下方法:要么按掃描線順序?qū)D像分割成補(bǔ)丁,并將其視為一個(gè)序列,要么使用預(yù)訓(xùn)練的圖像 tokenizer,例如 VQVAE 或 VQGAN ,將圖像特征聚類成一格一格的離散 token,然后再按掃描線順序?qū)⑦@些 token 轉(zhuǎn)換成序列。

研究人員采用后一種方法,因?yàn)槟P偷碾x散分類輸出自然形成了一個(gè)可以輕松采樣的概率分布,使得在視覺(jué)序列中靈活生成新圖像成為可能。

具體來(lái)說(shuō),研究人員使用了 VQGAN 模型生成的語(yǔ)義 token。該框架包括編碼和解碼機(jī)制,特點(diǎn)是一個(gè)量化層,將輸入圖像分配給一個(gè)已建立代碼本的離散 token 序列。

編碼器和解碼器完全由卷積層構(gòu)成。編碼器配備了多個(gè)下采樣模塊,以壓縮輸入的空間維度,而解碼器則配備了等量的上采樣模塊,以恢復(fù)圖像到其初始大小。

對(duì)于給定的圖像,研究人員的 VQGAN 的 tokenizer 產(chǎn)生 256 個(gè)離散 token。

需要注意的是,研究人員的 tokenizer 獨(dú)立地對(duì)單個(gè)圖像進(jìn)行操作,而不是一次性處理整個(gè)視覺(jué)序列。

這種獨(dú)立性允許研究人員將 tokenizer 訓(xùn)練與下游 Transformer 模型分離,這樣 tokenizer 就可以在單圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練,而無(wú)需考慮視覺(jué)序列的分布。

實(shí)現(xiàn)細(xì)節(jié):研究人員采用了現(xiàn)成 VQGAN 架構(gòu)。其中使用了 f=16 的下采樣因子和 8192 大小的代碼本。這意味著對(duì)于一個(gè)大小為 256×256 的圖像,研究人員的 VQGAN 的 tokenizer 產(chǎn)生 16×16=256 個(gè) token,其中每個(gè) token 可以取 8192 個(gè)不同的值。

研究人員發(fā)現(xiàn)使用 ImageNet 預(yù)訓(xùn)練的 tokenizer 在 ImageNet 圖像之外并不具有很好的泛化性能。因此,研究人員在 LAION 5B 數(shù)據(jù)集的 1.5B 子集上訓(xùn)練他們自己的 tokenizer。

視覺(jué)序列的序列建模

使用 VQGAN 將圖像轉(zhuǎn)換成離散 token 后,研究人員通過(guò)將多個(gè)圖像的離散 token 連接成一個(gè) 1D 序列,將視覺(jué)序列視為一個(gè)統(tǒng)一的序列。

重要的是,研究人員平等對(duì)待所有視覺(jué)序列 —— 研究人員不使用任何特殊 token 來(lái)指示特定任務(wù)或格式。

研究人員使用交叉熵?fù)p失訓(xùn)練一個(gè)因果 Transformer 模型,其目標(biāo)是預(yù)測(cè)下一個(gè) token,類似于語(yǔ)言模型的標(biāo)準(zhǔn)方法。用相同的方式訓(xùn)練模型來(lái)處理所有視覺(jué)序列,使模型能夠從上下文而不是從特定于任務(wù)或格式的 token 中推斷出圖像之間的關(guān)系。這使得模型有機(jī)會(huì)推廣到其他未見(jiàn)過(guò)的視覺(jué)序列結(jié)構(gòu)。

實(shí)現(xiàn)細(xì)節(jié):研究人員將視覺(jué)序列中的每個(gè)圖像分詞成 256 個(gè) token,然后將它們連接成一個(gè) 1Dtoken 序列。

在視覺(jué) token 序列的基礎(chǔ)上,研究人員的 Transformer 模型幾乎與自回歸語(yǔ)言模型相同,因此研究人員采用了 LLaMA 的 Transformer 架構(gòu)。

研究人員使用 4096 token 的上下文長(zhǎng)度,可以適應(yīng)研究人員 VQGAN tokenizer 下的 16 幅圖像。

類似于語(yǔ)言模型,研究人員在每個(gè)視覺(jué)序列的開(kāi)頭添加一個(gè) [BOS](序列開(kāi)始)token,在末尾添加一個(gè) [EOS](序列結(jié)束)token,并在訓(xùn)練時(shí)使用序列連接(sequence concatenation)來(lái)提高效率。

研究人員在整個(gè) UVDv1 數(shù)據(jù)集(4200 億 token)上訓(xùn)練研究人員的模型,使用一個(gè)周期(在語(yǔ)言模型中使用簡(jiǎn)單周期訓(xùn)練,以避免潛在的過(guò)擬合)。

研究人員訓(xùn)練了 4 種不同參數(shù)數(shù)量的模型:3 億、6 億、10 億和 30 億,遵循相同的訓(xùn)練配置。

通過(guò)視覺(jué)提示進(jìn)行推理

由于研究人員模型中的自回歸 Transformer 輸出了基于先前 token 的下一個(gè) token 的概率分布,研究人員可以輕松地從這個(gè)分布中抽樣,生成完成視覺(jué)序列的新視覺(jué) token。

要將模型用于下游任務(wù),可以在測(cè)試時(shí)構(gòu)建定義任務(wù)的部分視覺(jué)序列,并應(yīng)用模型生成輸出。這類似于語(yǔ)言模型中的上下文學(xué)習(xí)或計(jì)算機(jī)視覺(jué)中的視覺(jué)提示。

實(shí)驗(yàn)結(jié)果與分析

最后,研究人員評(píng)估了模型的擴(kuò)展能力,以及它理解和回答各種提示任務(wù)的能力。

可擴(kuò)展性

研究人員研究了研究人員的模型在訓(xùn)練損失和下游任務(wù)性能方面的擴(kuò)展行為,隨著模型大小的增加以及訓(xùn)練過(guò)程中看到的 token 數(shù)量的增加。

訓(xùn)練損失。首先,研究人員檢查了不同參數(shù)大小的 LVM 的訓(xùn)練損失,見(jiàn)下圖。

由于研究人員的所有模型僅在數(shù)據(jù)集上訓(xùn)練了一個(gè) epoch,因此模型只看到每個(gè)數(shù)據(jù)樣本一次,因此在訓(xùn)練過(guò)程中的任何時(shí)候的訓(xùn)練損失與驗(yàn)證損失非常相似。

可以觀察到隨著訓(xùn)練的進(jìn)行:

1. 不同大小模型的訓(xùn)練損失(困惑度)持續(xù)下降;

2. 隨著模型規(guī)模(參數(shù)計(jì)數(shù))的增加,損失下降得更快。這些觀察表明,LVM 在更大的模型和更多數(shù)據(jù)方面顯示出強(qiáng)大的可擴(kuò)展性。

雖然 LVM 在訓(xùn)練過(guò)程中整體損失良好地?cái)U(kuò)展,但并不能保證更好的整體模型也會(huì)在特定的下游任務(wù)上表現(xiàn)更好。

因此,研究人員在 4 個(gè)下游任務(wù)上評(píng)估不同大小的模型:語(yǔ)義分割、深度估計(jì)、表面法線估計(jì)和邊緣檢測(cè)。研究人員在 ImageNet 驗(yàn)證集上評(píng)估這些任務(wù)。

對(duì)于每個(gè)任務(wù),研究人員給出 5 對(duì)輸入和相應(yīng)真實(shí)標(biāo)注以及作為輸入提示的查詢圖像,并評(píng)估研究人員模型對(duì)下一個(gè) 256 個(gè) token(一幅圖像)的真實(shí)標(biāo)注的困惑度預(yù)測(cè)。

下圖中,研究人員展示了,更大的模型確實(shí)在所有任務(wù)上獲得了更低的困惑度,展示了研究人員的可擴(kuò)展整體性能確實(shí)轉(zhuǎn)化為一系列下游任務(wù)。

雖然 LVM 在更大的模型和更多數(shù)據(jù)上獲得了更好的性能,但很自然地一個(gè)問(wèn)題是,在 UVDv1 中收集的每個(gè)數(shù)據(jù)組件是否有幫助。

為了回答這個(gè)問(wèn)題,研究人員在研究人員的數(shù)據(jù)集上對(duì)幾個(gè) 3B 模型進(jìn)行了消融研究,這些模型是在研究人員數(shù)據(jù)集的子集上訓(xùn)練的,并比較了它們?cè)谙掠稳蝿?wù)上的表現(xiàn)。

研究人員使用之前相同的 4 個(gè)下游任務(wù)和設(shè)置,并在下圖中展示了結(jié)果。

研究人員觀察到,每個(gè)數(shù)據(jù)組件對(duì)下游任務(wù)都有積極的貢獻(xiàn)。LVM 不僅從更大的數(shù)據(jù)中受益,而且隨著數(shù)據(jù)集中的多樣性(包括標(biāo)注和無(wú)監(jiān)督的圖像和視頻數(shù)據(jù))的增加而改進(jìn)。

順序提示

研究人員首先采用最直觀、最簡(jiǎn)單的方法來(lái)對(duì) LVM 進(jìn)行視覺(jué)提示:順序推理。在這里,提示構(gòu)建非常簡(jiǎn)單:研究人員向模型展示 7 幅圖像的序列,并要求它預(yù)測(cè)下一幅圖像(256 個(gè) token)。

對(duì)于順序提示來(lái)說(shuō),最直接的任務(wù)是視頻預(yù)測(cè)。下圖展示了從 Kinetics-700 驗(yàn)證集序列中提示的幾個(gè)下一幀預(yù)測(cè)示例。

在頂部示例中,7 幀提示(藍(lán)色邊框)后跟著預(yù)測(cè)的幀(紅色邊框)。研究人員觀察到在空間定位、視點(diǎn)和對(duì)象理解方面有一定程度的推理能力。在 Kinetics 驗(yàn)證集上預(yù)測(cè)的困惑度為 49.8。

下面示例顯示了具有更長(zhǎng)上下文(15 幀)和更長(zhǎng)預(yù)測(cè)(4 幀)的預(yù)測(cè)。

同樣類型的簡(jiǎn)單順序提示也可以用其他方式使用。例如,下圖顯示了如何通過(guò)提示模型一個(gè)圍繞任意軸的合成對(duì)象的 3D 旋轉(zhuǎn)序列,使其能夠預(yù)測(cè)更進(jìn)一步的旋轉(zhuǎn)。

或者研究人員可以將給定類別的物品列表視為一個(gè)序列,并預(yù)測(cè)該類別中的其他想法,如下圖所示。

值得注意的是,雖然該系統(tǒng)在訓(xùn)練時(shí)是在同一 ImageNet 類別的圖像組上訓(xùn)練的,但這里的提示包括素描,這些素描在任何標(biāo)注數(shù)據(jù)中都沒(méi)有出現(xiàn)過(guò)。

接下來(lái),研究人員研究了準(zhǔn)確預(yù)測(cè)后續(xù)幀需要多少時(shí)序上下文。

研究人員評(píng)估了模型在不同長(zhǎng)度(1 到 15 幀)上下文提示下的幀生成困惑度。下圖所示,在 Kinetics-700 驗(yàn)證集上,從 1 到 11 幀困惑度明顯改善后穩(wěn)定下來(lái)(從 62.1 → 48.4)。

類比提示

研究人員的研究通過(guò)評(píng)估一個(gè)更復(fù)雜的提示結(jié)構(gòu)來(lái)進(jìn)展,研究人員稱之為「類比提示(Analogy Prompting)」。這種方法挑戰(zhàn)模型理解任意長(zhǎng)度和復(fù)雜度的類比,從而測(cè)試它的高級(jí)解釋能力。

下圖展示了在多個(gè)任務(wù)上使用類比提示的定性結(jié)果樣本。提示包括 14 幅圖像的序列,給出各種任務(wù)的示例,然后是第 15 幅查詢圖像。給定每個(gè)提示,預(yù)測(cè)的下一幅圖像。

圖的上部展示了幾個(gè)定義訓(xùn)練集中任務(wù)的示例提示(但這些實(shí)際圖像從未在訓(xùn)練中見(jiàn)過(guò))。圖的下部展示了在訓(xùn)練中從未展示過(guò)的任務(wù)的泛化。

研究人員展示了在 Pascal 3D+ 上對(duì)關(guān)鍵點(diǎn)檢測(cè)的結(jié)果,使用標(biāo)準(zhǔn)的正確關(guān)鍵點(diǎn)百分比(PCK)度量,閾值為 0.1。值得注意的是,LVM 在未對(duì)此數(shù)據(jù)集進(jìn)行訓(xùn)練的情況下達(dá)到了 81.2 的 PCK,顯示出了令人印象深刻的泛化能力。

相比之下,研究人員展示了一些現(xiàn)有的特定任務(wù)模型:StackedHourglass 的 PCK 為 68.0,MSS-Net 達(dá)到了 68.9 PCK,StarMap 則有 78.6 PCK。

與視覺(jué)提示的比較

與研究人員的方法最接近的,也允許定義任意任務(wù)的方法是視覺(jué)提示。在下表中,研究人員比較了幾種視覺(jué)提示模型在少量樣本分割、對(duì)象檢測(cè)和著色任務(wù)上的表現(xiàn)。研究人員的順序 LVM 在幾乎所有任務(wù)上都超過(guò)了之前的方法。

任務(wù)組合

下圖演示了在單個(gè)提示中組合多個(gè)任務(wù)。研究人員展示了旋轉(zhuǎn)任務(wù)與新的關(guān)鍵點(diǎn)對(duì)應(yīng)任務(wù),并要求模型繼續(xù)這種模式。模型能夠在測(cè)試時(shí)成功地組合這兩個(gè)任務(wù),顯示出一定程度的組合性。

其他類型的提示

研究人員人員嘗試他們是否可以通過(guò)向模型提供它以前沒(méi)有見(jiàn)過(guò)的各種提示,看看模型能走到哪一步。

下圖展示了一些這樣的提示,效果很不錯(cuò)。

下圖展示了一些不容易用語(yǔ)言描述的提示 —— 這是 LVM 可能最終勝過(guò) LLM 的任務(wù)類型。

參考資料:

  • https://arxiv.org/abs/2312.00785

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知