DragGAN第一作者Xingang Pan，正式加入南洋理工，出任助理教授！
還記得前一陣子爆火的DragGAN嗎？
沒(méi)錯(cuò)，就是那個(gè)拖一拖，拽一拽，就能實(shí)現(xiàn)完美P圖的模型。
因?yàn)槠洹干倒鲜健沟牟僮?，和?qiáng)大的性能，直接炸翻了作圖圈。
人們直言，現(xiàn)在終于能實(shí)現(xiàn)甲方「讓大象轉(zhuǎn)過(guò)來(lái)」的需求了！
而現(xiàn)在，論文的第一作者Xingang Pan也正式成為了南洋理工助理教授。
第一作者——Xingang Pan
消息一出來(lái)，業(yè)內(nèi)人士也是第一時(shí)間送上了祝賀。
在Pan教授的GitHub主頁(yè)上，他的個(gè)人職務(wù)已經(jīng)更新完畢。
在成為南洋理工大學(xué)的助理教授之前，他是馬克斯·普朗克計(jì)算機(jī)科學(xué)研究所的博士后研究員，由Christian Theobalt教授指導(dǎo)。
在此之前，他于2016年在清華大學(xué)獲得學(xué)士學(xué)位，并2021年在香港中文大學(xué)多媒體實(shí)驗(yàn)室獲得博士學(xué)位，導(dǎo)師是湯曉鷗教授。
他的研究興趣在計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)和計(jì)算機(jī)圖形學(xué)的交叉領(lǐng)域。
目前，他的研究方向主要集中在生成式AI模型、AI與人類(lèi)協(xié)同內(nèi)容生成、3D/視頻編輯和生成、神經(jīng)場(chǎng)景表示和渲染，以及物理感知內(nèi)容生成。
目前，Pan教授開(kāi)始在推特上進(jìn)行「招生」宣傳，表示任何對(duì)生成式AI感興趣，想繼續(xù)跟進(jìn)DragGAN的研究者都可以來(lái)。
一月學(xué)期申請(qǐng)的DDL是7月31日，而七月學(xué)期申請(qǐng)的DDL是1月31日。
南洋理工大學(xué)的官網(wǎng)上也是給出了申請(qǐng)指南。
包含具體的要求、學(xué)制，以及申請(qǐng)費(fèi)。
要知道，南洋理工大學(xué)（新加坡）是很多人心中的科研圣地。
作為一所科研密集型大學(xué)，在2023年的QS排名中，全球排名第19，亞洲排名第4。
2022年的U.S.News世界大學(xué)排名中，全球排名第33，亞洲排名第3。
DragGAN？拽完就干完了！
DragGAN之所以厲害，是因?yàn)檠芯繄F(tuán)隊(duì)?wèi)?yīng)用了一種強(qiáng)大但還未被充分探索的控制GAN的方法——以交互的方式將圖像中任意一點(diǎn)精確「拖動(dòng)」至目標(biāo)點(diǎn)。
DragGAN主要包括以下兩個(gè)主要組成部分：
- 基于特征的運(yùn)動(dòng)監(jiān)控，驅(qū)動(dòng)操作點(diǎn)向目標(biāo)位置移動(dòng)
- 一個(gè)新的點(diǎn)跟蹤方法，利用區(qū)分性的GAN特征持續(xù)定位操作點(diǎn)的位置
通過(guò)DragGAN，任何人都可以對(duì)像素進(jìn)行精確的控制，進(jìn)而編輯如動(dòng)物、汽車(chē)、人類(lèi)、風(fēng)景等多種類(lèi)別的姿態(tài)、形狀、表情和布局。
由于這些操作在GAN的學(xué)習(xí)生成圖像流形上進(jìn)行，因此它們傾向于生成逼真的輸出，即使在富有挑戰(zhàn)性的場(chǎng)景下也是如此，例如被遮擋的內(nèi)容和變形的圖像。
定性和定量的對(duì)比表明，DragGAN在圖像操作和點(diǎn)跟蹤任務(wù)中，都明顯優(yōu)于先前的方法。
在DragGAN的加持下，用戶(hù)只需要設(shè)置幾個(gè)操作點(diǎn)（紅點(diǎn)），目標(biāo)點(diǎn)（藍(lán)點(diǎn)），以及可選的表示可移動(dòng)區(qū)域的mask（亮區(qū)）。然后，模型就會(huì)自動(dòng)完成后續(xù)的圖像生成，
其中，動(dòng)態(tài)監(jiān)控步驟會(huì)讓操作點(diǎn)（紅點(diǎn)）向目標(biāo)點(diǎn)（藍(lán)點(diǎn)）移動(dòng)，點(diǎn)追蹤步驟則通過(guò)更新操作點(diǎn)來(lái)追蹤圖像中的對(duì)象。此過(guò)程會(huì)一直持續(xù)，直到操作點(diǎn)達(dá)到其相應(yīng)的目標(biāo)點(diǎn)。
具體來(lái)說(shuō)，團(tuán)隊(duì)通過(guò)在生成器的特征圖上的位移修補(bǔ)損失來(lái)實(shí)現(xiàn)動(dòng)態(tài)監(jiān)控，并在相同的特征空間中通過(guò)最近鄰搜索進(jìn)行點(diǎn)追蹤。
值得注意的是，用戶(hù)可以通過(guò)添加mask的方式，來(lái)控制需要編輯的區(qū)域。
可以看到，當(dāng)狗的頭部被mask時(shí)，在編輯后的圖像中，只有頭部發(fā)生了移動(dòng)，而其他區(qū)域則并未發(fā)生變化。但如果沒(méi)有mask的話，整個(gè)狗的身體也會(huì)跟著移動(dòng)。
這也顯示出，基于點(diǎn)的操作通常有多種可能的解決方案，而GAN會(huì)傾向于在其從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)的圖像流形中找到最近的解決方案。
因此，mask功能可以幫助減少歧義并保持某些區(qū)域固定。
在真實(shí)圖像的編輯中，團(tuán)隊(duì)?wèi)?yīng)用GAN反轉(zhuǎn)將其映射到StyleGAN的潛在空間，然后分別編輯姿勢(shì)、頭發(fā)、形狀和表情。
到目前為止，團(tuán)隊(duì)展示的都是基于「分布內(nèi)」的編輯，也就是使用訓(xùn)練數(shù)據(jù)集內(nèi)的圖像來(lái)實(shí)現(xiàn)編輯。
但DragGAN實(shí)際上具有強(qiáng)大的泛化能力，可以創(chuàng)建出超出訓(xùn)練圖像分布的圖像。比如，一個(gè)張得巨大的嘴，以及一個(gè)被極限放大的車(chē)輪。
在某些情況下，用戶(hù)可能希望始終保持圖像在訓(xùn)練分布中，并防止這種超出分布的情況發(fā)生。實(shí)現(xiàn)這一目標(biāo)的方法可以是對(duì)潛在代碼??添加額外的正則化，但這并不是本文討論的重點(diǎn)。
首先，與UserControllableLT相比，DragGAN能夠編輯從輸入圖像中檢測(cè)到的特征點(diǎn)，并使其與從目標(biāo)圖像中檢測(cè)到的特征點(diǎn)相匹配，而且誤差很小。
從下圖中可以看出，DragGAN正確地張開(kāi)了照片中人物的嘴，并調(diào)整了下巴的形狀來(lái)匹配目標(biāo)的臉型，而UserControllableLT未能做到這一點(diǎn)。
在DragGAN與RAFT、PIPs和無(wú)追蹤的定性比較中，可以看得，DragGAN可以比基線更準(zhǔn)確地跟蹤操作點(diǎn)，進(jìn)而能夠產(chǎn)生更精確的編輯。
而在移動(dòng)操作點(diǎn)（紅點(diǎn)）到目標(biāo)點(diǎn)（藍(lán)點(diǎn)）的任務(wù)上，定性比較的結(jié)果顯示，DragGAN在各種數(shù)據(jù)集上都取得了比UserControllableLT更加自然和優(yōu)秀的效果。
如表1所示，在不同的點(diǎn)數(shù)下，DragGAN都明顯優(yōu)于UserControllableLT。而且根據(jù)FID的得分，DragGAN還保留了更好的圖像質(zhì)量。
由于具有更強(qiáng)的跟蹤能力，DragGAN還實(shí)現(xiàn)了比RAFT和PIPs更精確的操縱。正如FID分?jǐn)?shù)所顯示的，如果跟蹤不準(zhǔn)確的話，很可能會(huì)造成編輯過(guò)度，從而降低圖像質(zhì)量。
雖然UserControllableLT的速度更快，但DragGAN在很大程度上提升了這項(xiàng)任務(wù)的上限，在保持相對(duì)較快的運(yùn)行時(shí)間的同時(shí)，實(shí)現(xiàn)了更靠譜的編輯。
