過去幾年中，深度學(xué)習(xí)在計算機視覺和圖像處理方面取得了令人矚目的成功。 對于許多此類給定的任務(wù)，深度學(xué)習(xí)方法的表現(xiàn)優(yōu)于其他人工方法，甚至優(yōu)于人類專家。 例如，GoogleNet在ImageNet基準(zhǔn)測試中的表現(xiàn)超過了人類。本文我們將在圖像修補領(lǐng)域展開一場人機大戰(zhàn)，比較專業(yè)藝術(shù)家和計算機算法（包括基于深度神經(jīng)網(wǎng)絡(luò)）的表現(xiàn)，以確定到底誰可以產(chǎn)生更好的圖像修復(fù)結(jié)果？

什么是圖像修補？

圖像修復(fù)是重建圖像缺失部分的過程，以達到以假亂真的目的。 此技術(shù)通常用于兩種類型。

修復(fù)：從圖像中去除雜質(zhì)或多余的部分。

恢復(fù)：舊照片，舊畫作修復(fù)損壞部分。

圖像修復(fù)是一種古老的藝術(shù)，最初需要藝術(shù)家們花費大量的心力，手工完成這項工作。 但是今天，研究人員提出了許多自動修復(fù)方法。 除了圖像之外，這些方法中的大多數(shù)還需要輸入掩模來顯示需要修復(fù)的區(qū)域。 這里，我們將九種自動修復(fù)方法與專業(yè)藝術(shù)家的結(jié)果進行了比較。

數(shù)據(jù)集

為了創(chuàng)建一組測試圖像，我們從私人收藏中挑選了三十三個512×512大小的圖像片。 然后我們在每個圖片的中心用填充180×180像素的黑色正方形。自動修復(fù)方法與專業(yè)藝術(shù)家的任務(wù)是通過僅改變黑色方塊中的像素來恢復(fù)扭曲圖像的自然外觀。

我們使用了未經(jīng)發(fā)布的私人照片集，以確保原始圖片是沒有被神經(jīng)網(wǎng)絡(luò)看到過的。 盡管在現(xiàn)實世界的修復(fù)中，不規(guī)則的掩模是典型的，但我們選擇了在圖像的中心處貼有方形掩模。

以下是我們數(shù)據(jù)集中圖像的縮略圖。

自動修復(fù)方法

我們在我們的測試數(shù)據(jù)集中應(yīng)用了六種基于神經(jīng)網(wǎng)絡(luò)的修復(fù)方法：

Deep Image Prior(Ulyanov, Vedaldi, and Lempitsky, 2017)

全局和本地一致的圖像完成 (Iizuka, Simo-Serra, and Ishikawa, 2017)

高分辨率圖像修復(fù) (Yang et al., 2017)

Shift-Net(Yan et al., 2018)

聯(lián)系上下文的圖像修復(fù)技術(shù)(Yu et al., 2018) - 這種方法在我們的結(jié)果中出現(xiàn)過兩次，因為我們測試了兩個版本，每個版本都訓(xùn)練在不同的數(shù)據(jù)集上（ImageNet和Places2）

使用部分卷積修復(fù)不規(guī)則孔的圖像 (Liu et al., 2018)

作為基準(zhǔn)線，我們測試了在深度學(xué)習(xí)方法爆發(fā)之前提出的三種修復(fù)方法：

基于范例的圖像修復(fù) (Criminisi, Pérez, and Toyama, 2004)

圖像完成的補丁偏移統(tǒng)計 (He and Sun, 2012)

基于內(nèi)容感知填寫的Adobe Photoshop CS5

藝術(shù)家組表現(xiàn)：專業(yè)的藝術(shù)家

我們聘請了三位專業(yè)藝術(shù)家進行照片修飾和修復(fù)，并要求他們每個人從我們的數(shù)據(jù)集中隨機選擇三張圖像。 為了鼓勵他們產(chǎn)生最好的結(jié)果，我們還告訴每位藝術(shù)家，如果他或她的作品超過了競爭對手，我們會增加50％的獎勵。 雖然我們沒有嚴(yán)格的時間限制，但藝術(shù)家們都在大約90分鐘內(nèi)完成了作業(yè)。

以下是他們的作品：

人類vs 算法

我們使用Subjectify.us平臺比較了三位專業(yè)藝術(shù)家的修復(fù)結(jié)果和自動修復(fù)方法的結(jié)果與原始的，未失真的圖像。

該平臺成對的向研究參與者呈現(xiàn)結(jié)果，要求他們從每對中選擇具有最佳視覺質(zhì)量的圖像。 該平臺總共收集了來自215名參與者的6,945項成對判斷結(jié)果。

以下是此比較的整體和每圖像主觀質(zhì)量得分：

藝術(shù)家們在整體上都大大優(yōu)于自動化方法。但是在一個案例中，算法擊敗了藝術(shù)家：由非神經(jīng)方法繪制的“城市花朵”圖像補丁偏移統(tǒng)計（He和Sun，2012）獲得的排名高于1號藝術(shù)家修補的圖像。此外，只有藝術(shù)家繪畫的圖像與原始未失真的圖像相比或者看起來更好：2號和3號藝術(shù)家繪制的“Splashing Sea”圖像甚至獲得了比原圖更高的質(zhì)量得分。

在自動識別方法中：排名第一的是深度學(xué)習(xí)方法-基于生成的圖像修復(fù)方法。但這不是一次壓倒性的勝利，因為這個算法從未達到我們研究中任何圖像的最佳分?jǐn)?shù)。 “城市花朵”和“海浪飛濺”圖的第一名分別用于非神經(jīng)方法補丁補償和基于范例的修補統(tǒng)計，并且“森林步道”的第一名用于深度學(xué)習(xí)方法Partial Convolutions。值得注意的是，根據(jù)整體排行榜，其他深度學(xué)習(xí)方法的表現(xiàn)優(yōu)于非神經(jīng)學(xué)方法。

有趣的例子

幾個結(jié)果引起了我們的注意。上文中提到的非神經(jīng)方法中的片元偏移統(tǒng)計方法（He和Sun，2012）產(chǎn)生的圖像，獲得了高于藝術(shù)家修補的圖像的分?jǐn)?shù)。

此外，來自排名靠前的神經(jīng)方法Generative Image Inpainting的圖像得分低于非神經(jīng)方法補丁偏移統(tǒng)計(Statistics of Patch Offsets)。

另一個令人驚訝的結(jié)果是，在2018年提出的神經(jīng)方法生成圖像修復(fù)得分低于2014年前提出的非神經(jīng)方法（Exemplar-Based Image Inpainting）。

算法與算法間比較

為了進一步比較神經(jīng)圖像修復(fù)方法和非神經(jīng)圖像方法，我們使用Subjectify.us進行了額外的比較。 與第一次比較不同，我們使用整個33圖像數(shù)據(jù)集來比較這些方法。

以下是使用來自147名研究參與者的3,969對成對判斷計算的總體主觀評分：

第一名的算法是： Place2數(shù)據(jù)集上進行訓(xùn)練的Generative Image Inpainting算法；排名第二的算法是：Photoshop CS5中的內(nèi)容感知填充工具，它不使用神經(jīng)網(wǎng)絡(luò)，僅略微落后于第一名。 在ImageNet上訓(xùn)練的Generative Image Inpainting獲得第三名。

值得注意的是，所有其他深度學(xué)習(xí)方法的表現(xiàn)都不及非神經(jīng)學(xué)網(wǎng)絡(luò)的方法。

結(jié)論

我們對自動圖像修復(fù)方法與專業(yè)藝術(shù)家的研究使我們得出以下結(jié)論：

藝術(shù)家們的修復(fù)仍然是獲得與原圖質(zhì)量相似的圖片的唯一途徑。

僅僅對于某些特定的圖像，使用機器修復(fù)得效果可以與人工修復(fù)相媲美。

雖然自動方法中的第一位是深度學(xué)習(xí)算法，但非神經(jīng)算法在許多測試中保持了強大的地位并且超越了深度學(xué)習(xí)方法。

雖然非深度學(xué)習(xí)方法可以修復(fù)任意形狀的區(qū)域，但大多數(shù)基于神經(jīng)的方法對掩模形狀施加了嚴(yán)格的限制。這種約束進一步縮小了這些方法的現(xiàn)實適用性。因此，我們強調(diào)使用部分卷積的不規(guī)則孔的圖像修復(fù)方法，該方法可以針對性的解決任意形狀掩模問題。

我們相信該領(lǐng)域的未來研究以及GPU計算能力和RAM大小的增長將使深度學(xué)習(xí)算法能夠超越其傳統(tǒng)競爭對手，并提供與人類藝術(shù)家相同的圖像修復(fù)效果。然而，在現(xiàn)在的情況下，選擇經(jīng)典的圖像或視頻處理方法可能比盲目選擇新的深度學(xué)習(xí)方法更好。