神經(jīng)網(wǎng)絡(luò)是個(gè)出色的繪畫(huà)家早已不是什么大新聞，它能把一副草圖變成風(fēng)景畫(huà)，兩幅不同風(fēng)格的畫(huà)之間進(jìn)行風(fēng)格遷移。

但這類(lèi)工作都是端到端的，也就是說(shuō)你并不知道神經(jīng)網(wǎng)絡(luò)究竟是怎么畫(huà)出來(lái)這幅畫(huà)的。

神經(jīng)繪畫(huà)（Neural Painting）應(yīng)運(yùn)而生，它指的是為給定的圖像生成一系列筆畫(huà)，并用神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行非照片式（non-photorealistically）再現(xiàn)的過(guò)程。

雖然基于強(qiáng)化學(xué)習(xí)的智能體可以為這個(gè)任務(wù)逐步生成一個(gè)筆畫(huà)序列，但是要訓(xùn)練一個(gè)穩(wěn)定的智能體卻不容易。

另一方面，筆劃優(yōu)化方法需要在較大的搜索空間內(nèi)迭代搜索一組筆劃參數(shù)，這種低效率的搜索很明顯會(huì)限制了基于強(qiáng)化學(xué)習(xí)方法的泛化性和實(shí)用性。

ICCV 2021上一篇文章提出，將該任務(wù)描述為一個(gè)集合預(yù)測(cè)問(wèn)題，并提出了一種新的基于Transformer的框架，使用前饋網(wǎng)絡(luò)預(yù)測(cè)一組筆畫(huà)的參數(shù)，文中起名為Paint Transformer。

通過(guò)這種方式，文中提出的模型可以并行地生成一組筆畫(huà)，并近乎實(shí)時(shí)地獲得最終的大小為512 * 512的畫(huà)作。

教機(jī)器如何作畫(huà)并不是算是一個(gè)全新的研究課題，傳統(tǒng)方法通常設(shè)計(jì)啟發(fā)式繪畫(huà)策略，或者貪婪地選擇一個(gè)筆劃，一步一步地縮小與目標(biāo)圖像的差異。

但近年來(lái)隨著神經(jīng)網(wǎng)絡(luò)中RNN和強(qiáng)化學(xué)習(xí)的興起，傳統(tǒng)的方法的泛化性能就相形見(jiàn)絀了。

文中提出的模型將神經(jīng)繪畫(huà)描述為一個(gè)漸進(jìn)的筆劃預(yù)測(cè)過(guò)程。

在每一步，可以并行預(yù)測(cè)多個(gè)筆劃，以前饋方式最小化當(dāng)前畫(huà)布和目標(biāo)圖像之間的差異。

Paint Transformer由兩個(gè)模塊組成：筆劃預(yù)測(cè)器和筆劃渲染器。給定目標(biāo)圖像和中間畫(huà)布圖像，筆劃預(yù)測(cè)器生成一組參數(shù)以確定當(dāng)前筆劃集合。

然后，筆劃渲染器為Sr中的每個(gè)筆劃生成筆劃圖像，并將其繪制到畫(huà)布上，生成預(yù)測(cè)圖像。

在Paint Transformer中，只有筆劃預(yù)測(cè)器（Stroker Predictor）包含可訓(xùn)練的參數(shù)，而筆劃渲染器（Stroker Renderer）是一個(gè)無(wú)參數(shù)且可微分的模塊。

為了訓(xùn)練筆劃預(yù)測(cè)器，又提出了一種利用隨機(jī)合成筆劃的新型自訓(xùn)練Pipeline。在訓(xùn)練期間的每次迭代中，首先隨機(jī)抽取前景筆劃集（foreground stroke set）和背景筆劃集。

然后，我們使用筆劃渲染器生成畫(huà)布圖像，將筆劃渲染器作為輸入，并通過(guò)將Sf渲染到Ic上生成目標(biāo)圖像。

最后筆劃預(yù)測(cè)器可以預(yù)測(cè)筆劃集Sr，生成以Sr和Ic為輸入的預(yù)測(cè)圖像Ir。

需要注意的是，用于監(jiān)督訓(xùn)練的筆劃是隨機(jī)合成的，因此可以生成無(wú)限的訓(xùn)練數(shù)據(jù)，而不依賴(lài)任何現(xiàn)成的數(shù)據(jù)集。

筆畫(huà)預(yù)測(cè)時(shí)主要考慮直線比劃，可以用形狀參數(shù)和顏色參數(shù)表示不同的直線。筆劃的形狀參數(shù)包括：中心點(diǎn)坐標(biāo)x和y、高度h、寬度w和旋轉(zhuǎn)角度θ。筆劃的顏色參數(shù)包括RGB值表示為r、g和b。

自訓(xùn)練pipeline的主要優(yōu)點(diǎn)是，可以同時(shí)最小化圖像級(jí)和筆劃級(jí)的地面真實(shí)值和預(yù)測(cè)之間的差異。損失函數(shù)主要由三部分構(gòu)成，像素?fù)p失、筆劃之間差異的測(cè)量以及筆劃損失。

1、像素?fù)p失（pixel loss），神經(jīng)繪畫(huà)的直觀目標(biāo)是重建目標(biāo)圖像。因此，像素?fù)p失在圖像級(jí)別上懲罰不精確的預(yù)測(cè)。

2、筆劃距離（stroke distance），在筆劃級(jí)別上，定義適當(dāng)?shù)亩攘繕?biāo)準(zhǔn)以測(cè)量筆劃間的差異是很重要的。

3、筆劃損失（stroke loss），在訓(xùn)練期間，有效的真實(shí)筆劃的數(shù)量是不同的。根據(jù)DETR模型，采用產(chǎn)生最小筆劃水平匹配成本的筆劃排列來(lái)計(jì)算最終損失，利用匈牙利算法計(jì)算最佳二部匹配。

為了模仿人類(lèi)畫(huà)家，在推理過(guò)程中，研究人員設(shè)計(jì)了一種從粗到精的算法來(lái)在推理過(guò)程中生成繪畫(huà)結(jié)果。給定一幅大小為H×W的真實(shí)圖像，Paint Transformer按從粗到細(xì)的順序在K尺度上運(yùn)行。每種比例的繪畫(huà)都取決于前一比例的結(jié)果。

目標(biāo)圖像和當(dāng)前畫(huà)布將被切割成幾個(gè)不重疊的P×P塊，然后輸入到Stroke Predictor。

將文中的方法與兩種最先進(jìn)的基于筆劃的繪制生成方法進(jìn)行比較。與基于優(yōu)化的方法（Optim）相比，Paint Transformer可以產(chǎn)生更吸引人和新穎的結(jié)果。

具體來(lái)說(shuō)，在大的無(wú)紋理圖像區(qū)域中，我們的方法可以生成具有相對(duì)較少和較大筆劃的類(lèi)人繪畫(huà)的效果。

在小的紋理豐富的圖像區(qū)域，Paint Transformer可以生成紋理更清晰的繪畫(huà)，以保持內(nèi)容結(jié)構(gòu)。

進(jìn)一步使用更多筆劃實(shí)現(xiàn)Optim+MS，上述問(wèn)題仍然存在。

與基于RL的方法相比，可以使用清晰的筆刷生成更生動(dòng)的結(jié)果。同時(shí)，RL的結(jié)果有些模糊，缺乏藝術(shù)性，與原始圖像也太相似。

在量化比較上（Quantitative Comparison），由于神經(jīng)繪畫(huà)的一個(gè)目標(biāo)是重建原始圖像，直接使用像素?fù)p失和感知損失作為評(píng)估指標(biāo)。

對(duì)于真實(shí)圖像，隨機(jī)選擇100幅風(fēng)景畫(huà)，從WikiArt中隨機(jī)選擇100幅藝術(shù)畫(huà)，從FFHQ中隨機(jī)選擇100幅肖像畫(huà)進(jìn)行評(píng)估。實(shí)驗(yàn)結(jié)果與先前的定性分析一致：

(1)Paint Transformer具有生動(dòng)的畫(huà)筆紋理，可以呈現(xiàn)的原始內(nèi)容優(yōu)于Optim

(2) 實(shí)現(xiàn)了最佳的內(nèi)容保真度，但其內(nèi)容清晰度較弱。

然后，為了比較筆劃預(yù)測(cè)性能，將合成的筆劃圖像輸入給Paint Transformer和Optim，并使用與Sec相同的度量來(lái)評(píng)估它們生成的筆劃。結(jié)果表明，該方法能夠成功地預(yù)測(cè)筆劃，并優(yōu)于其他方法。

性能實(shí)驗(yàn)結(jié)果表明，該方法具有較好的繪制性能，且訓(xùn)練和推理成本較低。當(dāng)使用單個(gè)Nvidia 2080Ti GPU測(cè)量訓(xùn)練或推理時(shí)間，由于Paint Transformer以前饋方式平行產(chǎn)生一組筆劃，因此其運(yùn)行速度明顯快于優(yōu)化Optim基線，略快于基于RL的基線模型。

至于訓(xùn)練過(guò)程，只需要幾個(gè)小時(shí)就可以訓(xùn)練筆劃預(yù)測(cè)參數(shù)，從總訓(xùn)練時(shí)間的角度來(lái)看。此外，無(wú)模型筆劃渲染器和無(wú)數(shù)據(jù)筆劃預(yù)測(cè)器效率高，使用方便。

目前代碼和模型都已經(jīng)提交到GitHub上了。

文中另一個(gè)重要的貢獻(xiàn)是提供了一個(gè)數(shù)據(jù)集。由于沒(méi)有可用于訓(xùn)練Paint Transformer的數(shù)據(jù)集，所以研究人員設(shè)計(jì)了一個(gè)自我訓(xùn)練的pipeline，這樣它可以在沒(méi)有任何現(xiàn)成的數(shù)據(jù)集的情況下進(jìn)行訓(xùn)練，同時(shí)具有不錯(cuò)的泛化能力。

不過(guò)Reddit網(wǎng)友對(duì)此似乎有異議，認(rèn)為這么簡(jiǎn)單的任務(wù)根本不需要使用機(jī)器學(xué)習(xí)技術(shù)！

下面有網(wǎng)友回復(fù)說(shuō)他之前也做過(guò)，只需要50行Scala代碼做的和這個(gè)就差不多了。

還有說(shuō)不理解為什么要用神經(jīng)網(wǎng)絡(luò)來(lái)做這個(gè)。

對(duì)此你怎么看？