MIT工科生跨界AI,獨(dú)作論文登Nature:只需3.5小時(shí)修復(fù)600年前名畫
MIT理工男跨界藝術(shù),一不小心就以一篇獨(dú)作論文登上Nature?!
由他設(shè)計(jì)的AI算法,將原本需要數(shù)月/數(shù)年才能搞定的名畫修復(fù)工作,極限壓縮至幾小時(shí)。
Alex Kachkine,打破畫作修復(fù)只能對(duì)原作數(shù)字掃描品進(jìn)行“縫縫補(bǔ)補(bǔ)”的傳統(tǒng)藝能,提出一種“以數(shù)字方式修復(fù)一幅畫,并在物理上實(shí)現(xiàn)效果”的全新方法。
以下面這幅15世紀(jì)的油畫為例,從左到右依次為受損原畫、具體受損類型掃描、修復(fù)后畫作,一眼看去修復(fù)效果確實(shí)還不錯(cuò)。
不過(guò)需要揭曉的是,修復(fù)后畫作并非數(shù)字復(fù)制品,而是真真切切的原畫(doge)。
他在原畫表面貼上了一層“遮罩”(很薄的塑料薄膜)——
貼上后能直接修復(fù)畫上的破損、褪色等問(wèn)題,而且能在不損害原畫的情況下,被化學(xué)品輕松去除。
當(dāng)然最最重要的是,由于新方法引入了AI算法,這一修復(fù)過(guò)程從數(shù)年、數(shù)月轉(zhuǎn)變?yōu)閹仔r(shí)。
拿上面的油畫來(lái)說(shuō),面對(duì)5612個(gè)需要修復(fù)的區(qū)域(需要用57314種不同的顏色填充),整個(gè)過(guò)程從開始到結(jié)束耗時(shí)3.5小時(shí),這比傳統(tǒng)修復(fù)方法快了約66倍。
下面揭曉Alex Kachkine修復(fù)油畫的具體過(guò)程。
“缺損越多,新方法就越有效”
概括而言,Alex Kachkine主要進(jìn)行了以下幾個(gè)步驟:
- “清潔”原畫:利用傳統(tǒng)技術(shù)去除所有之前的修復(fù)痕跡;
- 掃描并分析原始畫作:目的是創(chuàng)建畫作原始狀態(tài)下的數(shù)字版本;
- 開始修復(fù):用自己開發(fā)的軟件找出需要修復(fù)的區(qū)域和需要填充的顏色;
- 制作雙層遮罩:將需要修復(fù)的區(qū)域和顏色信息轉(zhuǎn)換成一個(gè)雙層“遮罩”;
- 打印薄膜:將兩層遮罩打印在一層很薄的透明薄膜上,并對(duì)齊貼在原畫表面,最后噴上一層薄薄的清漆固定。
整個(gè)過(guò)程be like:
這里重點(diǎn)解釋一下最后兩步。
所謂的雙層“遮罩”(Musk),其第一層是彩色的,第二層圖案完全相同但顏色為白色。
這兩層需要完美對(duì)齊,否則修復(fù)的效果就會(huì)出問(wèn)題。
Alex特意提醒,“為了完美重現(xiàn)色彩,必須同時(shí)使用白色和彩色墨水”。
之后他用高保真噴墨打印機(jī)把這兩層“遮罩”打印在一層很薄的透明薄膜上,并將其對(duì)齊貼在畫作表面。
貼好后再噴上一層薄薄的傳統(tǒng)清漆,讓修復(fù)的部分牢固地粘在畫上。
大功告成后,今后修復(fù)人員可以用特殊的溶液輕松溶解這層薄膜,從而恢復(fù)畫作的原始狀態(tài)。
同時(shí),“遮罩”上的數(shù)字文件會(huì)被保存下來(lái),這樣未來(lái)的修復(fù)人員可以清楚知道這幅畫之前被修復(fù)過(guò)哪些地方。
Alex表示,這些都是在以前的修復(fù)工作中不可能實(shí)現(xiàn)的。
整體而言,修復(fù)這幅600年前的油畫僅僅花了Alex三個(gè)多小時(shí)時(shí)間,而作為對(duì)比,他幾年前人工修復(fù)一幅缺損程度相當(dāng)?shù)囊獯罄嬜骰?/span>9個(gè)月。
并且Alex提醒,“缺損越多,新方法就越有效”。
一個(gè)熱愛藝術(shù)的理工男
說(shuō)回Alex Kachkine本人,其跨界經(jīng)歷這一次也被傳為佳話。
并且個(gè)人主頁(yè)上也明晃晃寫著:
一位擅長(zhǎng)跨學(xué)科的工程師。
先說(shuō)工程,這無(wú)疑是Alex Kachkine身上最鮮明的標(biāo)簽。
不論是家庭背景,還是個(gè)人求學(xué)創(chuàng)業(yè)經(jīng)歷,均與此相關(guān)。
他出生于一個(gè)“工程世家”,曾祖父修建橋梁,祖母為蘇聯(lián)戰(zhàn)斗機(jī)研發(fā)自動(dòng)駕駛系統(tǒng),父母也都擁有工程學(xué)位。
按他自己的話說(shuō),“追隨家族的腳步是必然的”。
進(jìn)入高中后,他對(duì)工程學(xué)愈發(fā)感興趣,并在最后兩年里學(xué)習(xí)了德克薩斯州奧斯汀社區(qū)學(xué)院開設(shè)的加速生物技術(shù)課程。
在這里他結(jié)識(shí)了Joseph Oleniczak導(dǎo)師,而后者頗為賞識(shí)其才能。
后來(lái)當(dāng)Alex進(jìn)入德克薩斯大學(xué)奧斯汀分校攻讀機(jī)械工程和經(jīng)濟(jì)學(xué)雙學(xué)位時(shí),正是這位導(dǎo)師邀請(qǐng)他參與研發(fā)細(xì)菌檢測(cè)試劑盒的項(xiàng)目。
并且Joseph Oleniczak透露,雖然自己門下有很多優(yōu)秀學(xué)生,但Alex是唯一被邀請(qǐng)的。
而Alex也不負(fù)所望,成功研發(fā)了一種病毒檢測(cè)設(shè)備,然后師生二人憑借該設(shè)備于2018年共同創(chuàng)立了GeneTiger公司,至今這家公司仍在營(yíng)業(yè)。
本科畢業(yè)后,本打算直接就業(yè)的Alex卻發(fā)現(xiàn)很多工作都需要碩士起步,于是又加入了MIT微系統(tǒng)工程師Luis Fernando Velásquez-García的實(shí)驗(yàn)室。
這家實(shí)驗(yàn)室所涉及的領(lǐng)域也非常廣泛,他們將工程學(xué)與航空航天、納米技術(shù)以及質(zhì)譜等領(lǐng)域連接起來(lái)。
而Alex再次作出重要貢獻(xiàn)。
他用一篇論文解決了質(zhì)譜儀離子源開發(fā)和優(yōu)化的長(zhǎng)期挑戰(zhàn)。其中,他發(fā)現(xiàn)蒸發(fā)對(duì)質(zhì)譜儀效率至關(guān)重要,但其他研究者往往忽視這一點(diǎn)。通過(guò)研究蒸發(fā)過(guò)程,他解釋了許多過(guò)去研究中效率提升的意外結(jié)果。
不僅論文被2022年的IEEE頂會(huì)收錄,還幫助實(shí)驗(yàn)室最終造出了更好、更高效的設(shè)備。
目前Alex仍在這家實(shí)驗(yàn)室,雖然實(shí)驗(yàn)室不隸屬于大學(xué)的任何部門,但他始終在進(jìn)行工程學(xué)研究。
而除了工程,Alex的另一面是:藝術(shù)。
童年的一次看展經(jīng)歷,最早讓他意識(shí)到了自己對(duì)藝術(shù)的真正熱愛。
當(dāng)時(shí)學(xué)校組織他們參觀德州圣安東尼奧市的麥克奈藝術(shù)博物館,一位導(dǎo)游向?qū)W生們展示了法國(guó)印象派畫家Pierre-Auguste Renoir的一幅海景畫。畫中人物近距離難以清晰呈現(xiàn),只有退后幾步才能完全展現(xiàn)其形象。
這一獨(dú)特觀賞體驗(yàn)讓Alex興奮不已,以至于他脫離大部隊(duì)獨(dú)自在這幅畫前反復(fù)觀看。
長(zhǎng)大之后,熱愛藝術(shù)的Alex經(jīng)常會(huì)購(gòu)買一些畫作,不過(guò)由于預(yù)算有限,這些畫作通常是受損的。
也正因?yàn)檫@樣,他才開始了畫作修復(fù)之旅,并嘗試用工程學(xué)思路尋找更高效的方法。
后來(lái)的故事,大家也都清楚了。
現(xiàn)在,他已經(jīng)找到了一種能節(jié)省大量時(shí)間的修復(fù)方法,并且還打算持續(xù)優(yōu)化。
一切的一切,Alex都是希望有更多受損藝術(shù)品能重回大眾視野:
倉(cāng)庫(kù)里有很多受損的藝術(shù)品,可能永遠(yuǎn)都見不到了。希望通過(guò)這種新方法,我們有機(jī)會(huì)看到更多藝術(shù)品。
論文:https://dspace.mit.edu/handle/1721.1/159269