無損放大圖片和視頻?這兩款AI工具值得擁有
身為一個編輯,除了文字工作這個主要的工作內(nèi)容之外,經(jīng)常還需要考慮一個很重要的問題:插圖。
全是文字的文章肯定沒有圖文形式的文章抓人眼球,更別提這個視頻當?shù)赖哪甏?,因此每次撰寫文章的時候,筆者都要在無版權圖片網(wǎng)站精挑細選,讓圖片和文章主旨契合,并且最好是高分辨率的圖像。
但意外也總是有的,有的時候遇到了分辨率不足但偏偏最適合的圖像,就很讓人苦惱了,直接將低分辨率圖像插入文章中,會很明顯地感覺到視覺上的不舒適,雖然現(xiàn)在PS甚至是Windows自帶的畫圖工具都能修改圖片分辨率,但強行拉伸的結果只會是:圖片非常糊。
可以看到,在進行圖片拉伸后,圖片邊緣已經(jīng)出現(xiàn)了明顯的毛刺感。
那有沒有什么方法能夠讓圖片無損放大呢?
別說,還真有,這個來自GitHub的項目“waifu2x”就能做到。
項目地址為https://github.com/nagadomi/waifu2x,有興趣的朋友可以研究一下,網(wǎng)頁版地址為http://waifu2x.udp.jp/。
閑話少說,這里直接放使用waifu2x和普通拉伸圖片后的對比(左側為拉伸,右側為使用waifu2x的效果)。
可以看到,使用waifu2x放大圖片后,“5G”邊緣的毛刺感不再明顯,雖然部分區(qū)域還存在噪點問題,但整體上來說,比直接拉伸的效果要好太多。
那為什么waifu2x可以做到無損放大圖片呢?這是因為waifu2x使用了名為SR-CNN的卷積算法,傳統(tǒng)意義上來說,圖像超分辨率問題研究的是在輸入一張低分辨率圖像時(LR),如何得到一張高分辨率圖像(HR)。
傳統(tǒng)的圖像插值算法可以在某種程度上獲得這種效果,比如最近鄰插值、雙線性插值和雙三次插值等,但是這些算法獲得的高分辨率圖像效果并不理想。
SR-CNN是首個使用CNN結構(即基于深度學習)的端到端的超分辨率算法,它將整個算法流程用深度學習的方法實現(xiàn)了,并且效果比傳統(tǒng)多模塊集成的方法好。
SR-CNN流程如下:首先輸入預處理。對輸入的低分辨率LR圖像使用bicubic算法進行放大,放大為目標尺寸。
那么接下來算法的目標就是將輸入的比較模糊的LR圖像,經(jīng)過卷積網(wǎng)絡的處理,得到超分辨率SR的圖像,使它盡可能與原圖的高分辨率HR圖像相似。
與Bicubic、SC、NE+LLE、KK、ANR、A+這些超分算法相比,SR-CNN在大部分指標上都表現(xiàn)最好,且復原速度也在前列,且RGB通道聯(lián)合訓練效果最好,這就意味著相比照片,waifu2x在放大插畫(你們最喜歡的二次元圖片)時會更有優(yōu)勢。
關于SR-CNN卷積算法,可以到https://arxiv.org/abs/1501.00092了解更多詳情。
那既然圖片可以無損放大,視頻呢?
結果當然也是可行的,不過這次用到的工具,叫做Topaz Gigapixel AI for Video,這個軟件通過數(shù)千個視頻進行培訓,并結合來自多個輸入視頻幀的信息,通過真實的細節(jié)和運動一致性將視頻放大至8K分辨率。
作為一個AI軟件,它需要一臺快速的計算機。推薦的系統(tǒng)配置是32 GB RAM加上具有6GB或更大顯存的NVIDIA顯卡。雖然也勉強能在舊電腦上跑,但速度會非常慢。
那Topaz Gigapixel AI for Video是如何做到放大視頻的呢?其實在安裝的時候,會發(fā)現(xiàn)這個軟件會安裝TensorFlow庫和cuDNN庫,所以很明顯,該軟件就是運用基于深度學習的卷積神經(jīng)網(wǎng)絡對每一幀進行處理,全程跑CUDA單元(要不然也不會這么慢了)。
熟悉顯卡的老哥們都知道,顯卡作為電腦主機里的一個重要組成部分,是電腦進行數(shù)模信號轉換的設備,承擔輸出顯示圖形的任務。
顯卡接在電腦主板上,它將電腦的數(shù)字信號轉換成模擬信號讓顯示器顯示出來,同時顯卡還是有圖像處理能力,可協(xié)助CPU工作,提高整體的運行速度。對于從事專業(yè)圖形設計的人來說顯卡非常重要。
民用和軍用顯卡圖形芯片供應商主要包括AMD和NVIDIA兩家(今年Intel也會加入亂戰(zhàn))。
GPU的構成相對簡單,有數(shù)量眾多的計算單元和超長的流水線,特別適合處理大量的類型統(tǒng)一的數(shù)據(jù),例如矩陣乘法和加法,因此顯卡在AI領域的應用也就變得十分廣泛,CUDA是NVIDIA推出的只能用于自家GPU的并行計算框架。
只有安裝這個框架才能夠進行復雜的并行計算,主流的深度學習框架也都是基于CUDA進行GPU并行加速的,Tensorflow也不例外。
不過比較遺憾的是,Topaz Gigapixel AI for Video的售價還是比較貴的,接近200美元的價格可以勸退很多人了,但用來還原或者修復某些古老的影視作品還是相當有用的,現(xiàn)在能在B站搜索到的相當一部分【4K修復】視頻,都是基于這個軟件制作的。
現(xiàn)在想想,AI的出現(xiàn)確實解決了生活中的很多實際問題,如果沒有卷積神經(jīng)網(wǎng)絡的高速發(fā)展,看到高清重制版的古老影視作品,可能只會存在于想象中。