• 論文鏈接：https://browse.arxiv.org/pdf/2211.13976.pdf
• GitHub：https://github.com/Vanint/DatasetExpansion

眾所周知，深度神經(jīng)網(wǎng)絡(luò)的性能很大程度上依賴(lài)于訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量，這使得深度學(xué)習(xí)難以廣泛地應(yīng)用在小數(shù)據(jù)任務(wù)上。例如，在醫(yī)療等領(lǐng)域的小數(shù)據(jù)應(yīng)用場(chǎng)景中，人力收集和標(biāo)注大規(guī)模的數(shù)據(jù)集往往費(fèi)時(shí)費(fèi)力。為了解決這一數(shù)據(jù)稀缺問(wèn)題并最小化數(shù)據(jù)收集成本，該論文探索了一個(gè)數(shù)據(jù)集擴(kuò)增新范式，旨在自動(dòng)生成新數(shù)據(jù)從而將目標(biāo)任務(wù)的小數(shù)據(jù)集擴(kuò)充為更大且更具信息量的大數(shù)據(jù)集。這些擴(kuò)增后的數(shù)據(jù)集致力于提升模型的性能和泛化能力，并能夠用于訓(xùn)練不同的網(wǎng)絡(luò)結(jié)構(gòu)。

該工作發(fā)現(xiàn)只是利用現(xiàn)存方法無(wú)法很好地?cái)U(kuò)充數(shù)據(jù)集。（1）隨機(jī)數(shù)據(jù)增強(qiáng)主要改變圖片的表面視覺(jué)特征，但不能創(chuàng)造具有新物體內(nèi)容的圖片（如下圖的荷花依然是同一個(gè)，沒(méi)有新荷花的生成），因此所引入的信息量有限。更為嚴(yán)重的是，隨機(jī)數(shù)據(jù)增強(qiáng)可能會(huì)裁剪醫(yī)學(xué)圖像的病灶（變）位置，導(dǎo)致樣本的重要信息減少，甚至產(chǎn)生噪聲數(shù)據(jù)。（2）直接利用預(yù)訓(xùn)練的生成（擴(kuò)散）模型進(jìn)行數(shù)據(jù)集擴(kuò)增也不能很好地提升模型在目標(biāo)任務(wù)上的性能。這是因?yàn)檫@些生成模型的預(yù)訓(xùn)練數(shù)據(jù)往往與目標(biāo)數(shù)據(jù)存在較大的分布差異，這導(dǎo)致它們所生成的數(shù)據(jù)與目標(biāo)任務(wù)存在一定的分布和類(lèi)別差距，無(wú)法確保所生成的樣本帶有正確的類(lèi)別標(biāo)簽且對(duì)模型訓(xùn)練有益。

為了更有效地進(jìn)行數(shù)據(jù)集擴(kuò)增，該工作探究了人類(lèi)的聯(lián)想學(xué)習(xí)：給定一個(gè)物體，人類(lèi)可以利用他們累積的先驗(yàn)知識(shí)輕易地想象物體的不同變體，例如下圖狗子在不同種類(lèi)、不同顏色、不同形狀或不同背景下的變體。這一想象學(xué)習(xí)的過(guò)程對(duì)于數(shù)據(jù)集擴(kuò)增非常有啟發(fā)性，因?yàn)樗粌H是簡(jiǎn)單地?cái)_動(dòng)圖片中動(dòng)物體的外觀(guān)，而是應(yīng)用豐富的先驗(yàn)知識(shí)來(lái)創(chuàng)造具有新信息量的變體圖片。

然而，我們無(wú)法直接建模人類(lèi)作為先驗(yàn)?zāi)Ｐ蛠?lái)進(jìn)行數(shù)據(jù)想象。但幸運(yùn)地是，近期的生成模型（如 Stable Diffusion，DALL-E2）已經(jīng)展現(xiàn)了強(qiáng)大的擬合大規(guī)模數(shù)據(jù)集分布的能力，能夠生成內(nèi)容豐富且逼真的圖片。這啟發(fā)了該論文使用預(yù)訓(xùn)練的生成模型作為先驗(yàn)?zāi)Ｐ停盟鼈儚?qiáng)大的先驗(yàn)知識(shí)來(lái)對(duì)小數(shù)據(jù)集進(jìn)行高效地?cái)?shù)據(jù)聯(lián)想和擴(kuò)增。

基于上述想法，該工作提出了一個(gè)新的指導(dǎo)式想象擴(kuò)增框架（Guided Imagination Framework, GIF）。該方法能夠有效提升深度神經(jīng)網(wǎng)絡(luò)在自然和醫(yī)療圖片任務(wù)上的分類(lèi)性能和泛化能力，并極大地減少因人工數(shù)據(jù)收集和標(biāo)注所帶來(lái)的巨大成本。同時(shí)，所擴(kuò)增的數(shù)據(jù)集也有助于促進(jìn)模型的遷移學(xué)習(xí)，并緩解長(zhǎng)尾問(wèn)題。

接下來(lái)讓我們看看，這一數(shù)據(jù)集擴(kuò)增新范式是怎么設(shè)計(jì)的。

方法

數(shù)據(jù)集擴(kuò)增的挑戰(zhàn)和指導(dǎo)標(biāo)準(zhǔn) 設(shè)計(jì)數(shù)據(jù)集擴(kuò)增方法會(huì)有兩個(gè)關(guān)鍵挑戰(zhàn)：（1）如何使生成的樣本帶有正確的類(lèi)別標(biāo)簽？（2）如何確保生成的樣本帶有新的信息量，從而促進(jìn)模型訓(xùn)練？為了解決這兩個(gè)挑戰(zhàn)，該工作通過(guò)大量的實(shí)驗(yàn)發(fā)現(xiàn)了兩個(gè)擴(kuò)增指導(dǎo)標(biāo)準(zhǔn)：（1）類(lèi)別一致的信息增強(qiáng)；（2）樣本多樣性提升。

方法框架 基于所發(fā)現(xiàn)擴(kuò)增指導(dǎo)標(biāo)準(zhǔn)，該工作提出了指導(dǎo)式想象擴(kuò)增框架（GIF）。對(duì)于每個(gè)輸入的種子樣本 x，GIF 首先利用先驗(yàn)生成模型的特征提取器提取樣本特征 f，并對(duì)該特征進(jìn)行噪音擾動(dòng):。設(shè)置噪音(z,b)最簡(jiǎn)單的方式是采用高斯隨機(jī)噪聲，但是它無(wú)法確保所生成的樣本具有正確的類(lèi)別標(biāo)簽并帶來(lái)更多的信息量。因此，為了進(jìn)行有效的數(shù)據(jù)集擴(kuò)增，GIF 基于其發(fā)現(xiàn)的擴(kuò)增指導(dǎo)標(biāo)準(zhǔn)對(duì)噪聲擾動(dòng)進(jìn)行優(yōu)化，即。

所用到的擴(kuò)增指導(dǎo)標(biāo)準(zhǔn)實(shí)現(xiàn)如下。類(lèi)一致的信息量指標(biāo)：；樣本多樣性指標(biāo)：。通過(guò)最大化這兩個(gè)指標(biāo)，GIF 能夠有效優(yōu)化噪聲擾動(dòng)，從而生成既保持類(lèi)別一致性，又帶來(lái)更大信息量的樣本。

實(shí)驗(yàn)

擴(kuò)增有效性 GIF 具有更強(qiáng)的擴(kuò)增有效性：GIF-SD 在 6 個(gè)自然數(shù)據(jù)集上平均提高了 36.9% 分類(lèi)精度，并在 3 個(gè)醫(yī)療數(shù)據(jù)集上平均提高了 13.5% 分類(lèi)精度。

擴(kuò)增效率 GIF 具有更強(qiáng)的擴(kuò)增有效率：在 Cars 和 DTD 數(shù)據(jù)集上，使用 GIF-SD 進(jìn)行 5 倍擴(kuò)增的效果甚至超過(guò)了使用隨機(jī)數(shù)據(jù)增強(qiáng)進(jìn)行 20 倍擴(kuò)增的效果。

可視化結(jié)果 現(xiàn)有的數(shù)據(jù)增強(qiáng)方法無(wú)法生成新的圖像內(nèi)容，而 GIF 可以較好地生成帶有新內(nèi)容的樣本。

現(xiàn)有的增強(qiáng)方法甚至裁剪醫(yī)學(xué)圖像的病變位置，導(dǎo)致樣本信息減少甚至產(chǎn)生噪聲，而 GIF 可以更好地保持它們的類(lèi)別語(yǔ)義。

計(jì)算和時(shí)間成本 與人工數(shù)據(jù)收集和標(biāo)注相比，GIF 能夠極大地降低數(shù)據(jù)集擴(kuò)增的時(shí)間和成本。

擴(kuò)增數(shù)據(jù)的通用性 一旦完成擴(kuò)增，這些數(shù)據(jù)集可以直接用于訓(xùn)練各種不同的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)。

提升模型泛化能力 GIF 有助于提升模型的分布外泛化性能（OOD generalization）。

緩解長(zhǎng)尾問(wèn)題 GIF 有助于緩解長(zhǎng)尾問(wèn)題。

安全性檢測(cè) GIF 生成的圖像是安全且無(wú)害的。

基于上述實(shí)驗(yàn)結(jié)果，我們有理由相信通過(guò)模擬人類(lèi)的類(lèi)比與想象學(xué)習(xí)，該論文所設(shè)計(jì)的方法能夠有效地?cái)U(kuò)增小數(shù)據(jù)集，從而提升深度神經(jīng)網(wǎng)絡(luò)在小數(shù)據(jù)任務(wù)場(chǎng)景上的落地和應(yīng)用。