[[417713]]

本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

AI已經(jīng)能教你畫油畫了。

隨便給一張圖，筆畫序列秒秒鐘呈現(xiàn)。

比如世界名畫蒙娜麗莎。

亦或是寫實類的小鳥。

還有極具氛圍感的河燈。

總之什么風(fēng)格都可以駕馭。

這項技術(shù)在Reddit上21小時內(nèi)就已經(jīng)有600+的點贊量。

究竟是如何打造的呢？

用前饋網(wǎng)絡(luò)預(yù)測筆畫

神經(jīng)繪畫，就是為給定的圖像生成一系列筆畫，并使用神經(jīng)網(wǎng)絡(luò)進行繪畫式的真實再現(xiàn)過程。

研究團隊提出了一個基于Transformer的框架，叫做Paint Transformer，用前饋網(wǎng)絡(luò)來預(yù)測筆畫的參數(shù)。

由于當(dāng)前沒有可用的數(shù)據(jù)集來訓(xùn)練Paint Transformer，受物體檢測啟發(fā)，研究人員設(shè)計了一個自訓(xùn)練Pipeline。

整個模型由兩個模塊組成：筆畫預(yù)測器和筆畫渲染器。

給定目標(biāo)圖像和中間畫布圖像，筆畫預(yù)測器，生成一組參數(shù)以確定當(dāng)前筆畫集。

預(yù)測器包含了兩個用于特征嵌入的CNN網(wǎng)路和一個用于參數(shù)預(yù)測的Transformer。

隨后，筆畫渲染器為筆畫集匯總的每個筆畫，生成筆畫圖像，并將它們繪制到畫，產(chǎn)生結(jié)果圖像，大小為512*512。

在DETR（用Transformer進行對象檢測）的基礎(chǔ)上，增加了二進制神經(jīng)元來預(yù)測筆畫是否應(yīng)該被保留。

這樣它就可以在沒有任何現(xiàn)成的數(shù)據(jù)集的情況下進行訓(xùn)練，同時還能實現(xiàn)出色的泛化能力。

實驗表明，這一方法比以前的方法取得了更好的繪畫性能，而且訓(xùn)練和推理成本更低。

百度南大團隊打造

這項技術(shù)由百度、南京大學(xué)、羅格斯大學(xué)共同打造。

目前代碼已經(jīng)開源，并在一刻相冊App上應(yīng)用。

論文地址：
https://arxiv.org/abs/2108.03798
GitHub網(wǎng)址：
https://github.com/wzmsltw/PaintTransformer