譯者 | 陳峻

審校 | 重樓

如你所知，人工智能（AI）正在改變我們處理圖像的方式。那些曾經(jīng)需要Photoshop幾個(gè)小時(shí)處理的任務(wù)，現(xiàn)在可以通過AI驅(qū)動(dòng)的工具在幾秒鐘內(nèi)完成。那些拍攝模糊的照片，可以被AI工具通過簡單點(diǎn)擊，在不丟失照片清晰度的情況下修復(fù)照明度，消除不必要的噪點(diǎn)，甚至為黑白照片添置色彩。各種由算法驅(qū)動(dòng)的工具使用經(jīng)過訓(xùn)練的AI模型，先理解圖像的樣子，再對其開展相應(yīng)的重建。在訓(xùn)練過程中，AI模型已能通過研究數(shù)百萬個(gè)示例，來“學(xué)習(xí)”圖案、紋理和細(xì)節(jié)，進(jìn)而可以“預(yù)測”缺失的內(nèi)容并“自然地”予以填補(bǔ)。當(dāng)然，對于開發(fā)人員、攝影師、以及內(nèi)容創(chuàng)作者而言，了解AI算法的基礎(chǔ)知識，可以幫助其為自己的工作流選擇合適的工具。也就是說，即使你從未計(jì)劃自己親自編寫AI模型，這些知識也將幫助你為圖像處理、網(wǎng)絡(luò)應(yīng)用或創(chuàng)意項(xiàng)目做出更好的選擇。下面，讓我們來討論當(dāng)前AI圖像增強(qiáng)領(lǐng)域最常被使用的五種重要算法，以及我們該如何在現(xiàn)實(shí)場景與需求中使用它們。

1.圖像著色(Image Colorization)

自動(dòng)化圖像著色可能是所有視覺效果上最具戲劇性的AI增強(qiáng)功能。它會(huì)根據(jù)黑白圖像預(yù)測原來應(yīng)該的顏色，進(jìn)而產(chǎn)生看起來像是全彩色照片拍攝的結(jié)果。其背后的AI技術(shù)用到的是：在巨大的彩色圖像數(shù)據(jù)集中經(jīng)過訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)（CNN）。AI模型在訓(xùn)練期間通過學(xué)習(xí)灰度和彩色版本，來還原對象本來的顯示。例如，模型會(huì)了解到草地通常是綠色的，天空通常是藍(lán)色的，而人類的皮膚屬于一定的色調(diào)范圍。

作為該領(lǐng)域最著名的模型之一，DeOldify結(jié)合了CNN和GAN。其中，GAN的設(shè)置有助于完善輸出結(jié)果，使得顏色更自然，進(jìn)而避免了奇怪或過亮的色調(diào)。

其實(shí)，除了恢復(fù)舊的家庭照片，圖像著色也有著諸如：電影與歷史項(xiàng)目修復(fù)、故事數(shù)字化，以及藝術(shù)概念化等實(shí)際用途。你可以通過鏈接，了解自動(dòng)圖像著色的相關(guān)概念。

2.基于GAN的圖像增強(qiáng)（Image Enhancement）

作為另一種圖像增強(qiáng)AI技術(shù)，生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）由兩個(gè)神經(jīng)網(wǎng)絡(luò)組成：試圖創(chuàng)建逼真圖像的生成器（generator）和評估它們的判別器（discriminator）。經(jīng)過多次迭代，生成器會(huì)變得非常擅長生成真實(shí)的圖像。

在圖像修飾過程中，GAN可以同時(shí)處理多項(xiàng)任務(wù)，例如：固定照明、提高清晰度、增強(qiáng)紋理，甚至巧妙地更改元素，以使圖片更具吸引力。由于GAN是從現(xiàn)實(shí)世界的圖像中學(xué)習(xí)，所以其輸出通常會(huì)讓人感覺比傳統(tǒng)的編輯濾鏡更加自然。

而基于GAN的修圖（retouching）可用于專業(yè)肖像編輯、電商產(chǎn)品照片、房地產(chǎn)列表，甚至游戲資產(chǎn)創(chuàng)建等應(yīng)用場景中。用戶的直觀感受就是在各種應(yīng)用中常見的“一鍵增強(qiáng)”按鈕。你可以通過鏈接，了解GAN賦能的圖像增強(qiáng)相關(guān)概念。

3.自動(dòng)降噪編碼（Denoising Autoencoders）

圖像中的噪點(diǎn)往往是那些看起來像是不應(yīng)該存在的顏色或亮度的隨機(jī)斑點(diǎn)。它經(jīng)常出現(xiàn)在低光（low-light）照片或使用高ISO設(shè)置拍攝的圖像中。它們會(huì)使得照片看起來有顆粒狀、且不那么專業(yè)。

對此，傳統(tǒng)的降噪方法只是通過模糊圖像來隱藏噪點(diǎn)，但這也會(huì)破壞圖像上的細(xì)節(jié)部分。而AI降噪的工作方式則不同。它使用自動(dòng)降噪編碼器，從大量成對的圖像中學(xué)習(xí)到哪個(gè)是清楚的、哪個(gè)是帶有噪點(diǎn)的。據(jù)此，AI會(huì)研究噪點(diǎn)是如何扭曲細(xì)節(jié)的，進(jìn)而學(xué)習(xí)如何逆轉(zhuǎn)該過程。也就是說，自動(dòng)降噪編碼器會(huì)在一張混雜的照片中消除噪點(diǎn)，同時(shí)保留邊緣、紋理和重要的小細(xì)節(jié)。

降噪模型不僅適用于攝影，也可被用于文檔掃描，使得文本更易于閱讀，醫(yī)療掃描成像更清晰，屏幕截圖更精細(xì)，以及PPT用戶界面的優(yōu)化。你可以通過鏈接，了解降噪功能的相關(guān)概念。

4.使用超分辨率以升階圖像（Image Upscaling）

超分辨率是提高圖像分辨率，使其更清晰、更精細(xì)，而不僅僅是拉伸像素的過程。過去，放大一張小圖像只會(huì)使它變得模糊。如今，AI超分辨率的工作方式則是通過研究圖像，檢測模式，然后生成新的像素。這些新的像素能夠與更高質(zhì)量的原件相匹配。

作為該領(lǐng)域的首個(gè)重大突破之一，超分辨率卷積神經(jīng)網(wǎng)絡(luò)（Super-Resolution Convolutional Neural Network，SRCNN）的工作原理是將圖像分解成多個(gè)色斑（patches），通過對其進(jìn)行分析，以預(yù)測高分辨率的色斑本該有的樣子。作為早期方法，其效果十分明顯，不過有時(shí)也會(huì)產(chǎn)生過度平滑（over-smoothing）的圖像。

在此基礎(chǔ)上，增強(qiáng)型超級分辨率生成對抗網(wǎng)絡(luò)（Enhanced Super-Resolution Generative Adversarial Network，ESRGAN）應(yīng)運(yùn)而生。ESRGAN使用了GAN架構(gòu)的生成器來創(chuàng)建增強(qiáng)的圖像，并由其判別器來判斷生成圖像的真實(shí)度。通過這種來回的訓(xùn)練，生成器逐漸學(xué)會(huì)了產(chǎn)生出精細(xì)的紋理，如：發(fā)絲、織物組織、以及建筑細(xì)節(jié)等。這些細(xì)節(jié)在人眼中會(huì)看起來更為逼真。

目前超分辨率被廣泛應(yīng)用于電商（如：產(chǎn)生更清晰的產(chǎn)品照片）、打?。ㄈ纾簩⒕W(wǎng)絡(luò)圖像變成高分辨率的海報(bào)）、以及網(wǎng)絡(luò)應(yīng)用（如：讓用戶上傳的圖像看起來更專業(yè)）。你可以通過鏈接，了解超分辨率升階圖像的相關(guān)概念。

5.偽影清除（Artifact Removal）

當(dāng)JPEG圖像被嚴(yán)重壓縮時(shí)，會(huì)出現(xiàn)塊狀色斑、模糊的邊緣、以及線條周圍奇怪的光環(huán)。該現(xiàn)象被稱為壓縮偽影，其出現(xiàn)源于JPEG通過刪除細(xì)節(jié)來換取文件體積的減小。傳統(tǒng)的修復(fù)方法是通過模糊圖像以隱藏這些缺陷，但同時(shí)也“軟化”了重要的邊緣和紋理。

柔性盲卷積神經(jīng)網(wǎng)絡(luò)（Flexible Blind Convolutional Neural Network，FBCNN）則采取了一種更聰明的方法。它既無需事先知曉確切的壓縮水平，又無需額外的輸入，而是經(jīng)過訓(xùn)練來處理各種偽影的嚴(yán)重程度。這便是它“盲目”的特點(diǎn)所在，即：不需要關(guān)于JPEG的任何壓縮元數(shù)據(jù)，便可即時(shí)調(diào)整模型的恢復(fù)過程。

通常，FBCNN主要分兩個(gè)步驟：首先，它會(huì)從圖像中提取特征，分析邊緣、紋理、以及平面區(qū)域的圖案，以識別偽影最有可能存在哪里。然后，它通過已學(xué)到的映射關(guān)系，在不造成損害的基礎(chǔ)上，重建目標(biāo)區(qū)域的原始樣貌。

同時(shí)，由于能夠估計(jì)壓縮質(zhì)量本身，因此FBCNN避免了過度平滑那些被輕度壓縮的圖像，或是欠恢復(fù)（under-restoring）那些被重度壓縮的圖像等常見問題。這種靈活性使得FBCNN在諸如：從社交媒體上清理低質(zhì)量的圖像，恢復(fù)屏幕截圖中的圖形和文本，以及打印舊的網(wǎng)絡(luò)壓縮圖像等多種情況下都非常實(shí)用。

其實(shí)，在使用超分辨率或一般性增強(qiáng)之前，現(xiàn)代化AI工具通常都會(huì)調(diào)用FBCNN作為處理的第一步。可以說，在無法手動(dòng)調(diào)整的情況下，FBCNN適應(yīng)的能力已經(jīng)成為目前現(xiàn)實(shí)世界恢復(fù)JPEG的最實(shí)用、且對開發(fā)人員最友好的模型之一。你可以通過鏈接，了解偽影清除的相關(guān)概念。

對開發(fā)的重要性

上文提到的多數(shù)模型都提供了對應(yīng)的API。據(jù)此，開發(fā)人員可以將它們構(gòu)建到自己的應(yīng)用或網(wǎng)站中。如果你運(yùn)營著社交平臺，則可以在用戶上傳的圖像出現(xiàn)在反饋頁面之前，自動(dòng)增強(qiáng)其效果；如果你在構(gòu)建電商平臺，也可以清理和提升產(chǎn)品的圖像，以獲得更好的銷售轉(zhuǎn)化率；如果你從事媒體歸檔工作，還可以輕松地恢復(fù)和保存圖像，而無需花費(fèi)數(shù)小時(shí)地手動(dòng)編輯時(shí)間。

當(dāng)然，即使你從未訓(xùn)練過自己的AI模型，上述討論也可以幫助你了解哪種算法適合你需要解決的實(shí)際問題。例如：將超分辨率用于圖像放大，將自動(dòng)降噪用于清理，將著色用于修復(fù)，將偽影清除用于壓縮，將GAN修圖用于整體美化等。

小結(jié)

目前，依托上述模型與算法的AI圖像增強(qiáng)已走出研究實(shí)驗(yàn)室，成為了日常使用工具。小白用戶都可以將低質(zhì)量的圖像轉(zhuǎn)化為清晰、生動(dòng)和專業(yè)的產(chǎn)品。無論你是希望將圖像處理集成到應(yīng)用中的開發(fā)人員，還是需要改進(jìn)視覺效果的創(chuàng)作者，上述由AI加持的模型工作原理都將能幫助你更快、更精確地完成任務(wù)，進(jìn)一步釋放由AI驅(qū)動(dòng)的創(chuàng)造力。

譯者介紹

陳峻（Julian Chen），51CTO社區(qū)編輯，具有十多年的IT項(xiàng)目實(shí)施經(jīng)驗(yàn)，善于對內(nèi)外部資源與風(fēng)險(xiǎn)實(shí)施管控，專注傳播網(wǎng)絡(luò)與信息安全知識與經(jīng)驗(yàn)。

原文標(biāo)題：How to Enhance Images with Neural Networks，作者：Manish Shivanandhan