本文重點介紹了圖像恢復這個任務，以及如何使用深度圖像先驗來解決此任務。

圖像恢復介紹

圖像恢復是指從其劣質圖像中恢復未知真實圖像的任務。 圖像損耗可能在圖像形成，傳輸和存儲期間發生。 該任務廣泛的用于衛星成像，低光攝影。由于數字技術的進步，計算和通信技術從退化圖像恢復清晰圖像非常重要。

圖像恢復主要有三個任務：

圖像去噪：

圖像去噪是指恢復受附加噪聲污染的圖像。 這是圖像恢復中最簡單的任務，因此已被多個技術社區廣泛研究。

超分辨率：

超分辨率是指從一組低分辨率圖像產生高分辨率圖像（或一系列高分辨率圖像）的過程。

圖像重建：

繪畫中的圖像是重建圖像劣化部分丟失的過程。 繪畫實際上是一種古老的藝術，需要人類繪制繪畫中和丟失的部分。 但在今天的世界研究中，已經提出了許多方法來使用深度卷積網絡自動完成這項任務。

什么是Deep Image Prior？

隨著Alexnet在2012年圖像網絡競爭中的成功，卷積神經網絡已經變得非常流行并且已經被用于每個計算機視覺和圖像處理任務中。

深度卷積網絡因其能夠從大量圖像數據集中學習而獲得成功。 Dmitry Ulyanov的論文“Deep Image Prior”表明，為了解決像圖像恢復這樣的逆問題，網絡的結構已經足夠，并且足以從劣質圖像恢復原始圖像。本文強調，為了執行這些任務，不需要預訓練網絡或大圖像數據集，并且可以僅考慮劣質圖像來執行。

為了完成圖像恢復的任務，學習先驗和顯式先驗是兩種研究人員流行和主要使用的方法。

學習先驗是一種直接的方法，訓練深度卷積網絡通過數據集了解世界，數據集將噪聲圖像作為輸入，清晰圖像作為所需輸出。

另一方面，顯式先驗或人為的先驗方法，其中我們嵌入硬約束并且從合成數據教導什么類型的圖像是自然的等。在數學上表達像自然這樣的約束是非常困難的。

在深度圖像先驗中，作者試圖通過構造一個新的顯式先驗，使用卷積神經網絡來彌合兩種流行方法之間的差距。

理論基礎

x→原始圖像

?→劣質圖像

x *→恢復圖像

我們可以使用最大后驗分布來估計經驗數據中的未觀察值

使用貝葉斯規則，我們可以將其表示為先驗。

我們可以將方程式表示為優化問題，而不是單獨使用分布：

E（x;?）是數據項，它是似然的負對數，R（x）是圖像先前項，它是先驗的負對數。

現在的任務是最小化圖像x上的Eq（2）。 傳統方法是用隨機噪聲初始化x，然后計算函數相對于x的梯度并遍歷圖像空間直到我們收斂到某個點。

另一種方法是構造函數g，其用隨機θ初始化，來自不同空間的輸出可以被映射到圖像x并使用梯度下降來更新θ，直到它在某個點收斂。 因此，我們可以優化θ，而不是優化圖像空間。

但是，為什么這種方法可行，我們為什么要使用它呢？ 這是可能的，因為從理論上講，如果g是滿射g：θ?x（如果至少一個θ映射到圖像x）那么這個優化問題是等價的，即它們具有相同的解。 但實際上，g會極大地改變優化方法搜索圖像空間的方式。 我們實際上可以將g視為超參數并對其進行調整。 如果我們觀察到，g（θ）作為一個先驗，它有助于選擇一個良好的映射，給出一個所需的輸出圖像，并防止使用得到錯誤的圖像。

現在，方程2可以表示為，

其中，z是隨機固定輸入圖像，θ是隨機初始化的權重，將使用梯度下降更新以獲得所需的輸出圖像。

但是，為什么我們應該考慮這種參數化方法仍然不明顯。 理論上乍一看，它似乎會產生原始的嘈雜圖像。 在論文中，作者進行了一項實驗，該實驗表明，當使用梯度下降來優化網絡時，卷積神經網絡不會產生噪聲圖像，并且更快速，更容易地下降到自然的圖像。

Deep Image Prior 步驟

? = corrupted image(observed)

1.初始化z。 ：用均勻噪聲或任何其他隨機圖像填充輸入z。

2.使用基于梯度的方法求解和優化函數。

3.最后，當我們找到最佳θ時，我們可以通過將固定輸入z向前傳遞到具有參數θ的網絡來獲得最佳圖像。

結論

本文試圖證明構造具有隨機權重的隱式先驗內部深度卷積神經網絡體系結構的方法非常適合于圖像恢復任務。 本文中顯示的結果主要表明，適當的手工制作的網絡架構足以解決圖像恢復任務。