DeepMind提出一種全新的“深度壓縮感知”框架，將壓縮感知與深度學習相結合，顯著提高了信號恢復的性能和速度，并提出一種改進GAN的新方法。

壓縮感知(CS)是一種優雅的框架，用于從壓縮信號中恢復稀疏信號。

例如，CS可以利用自然圖像的結構，僅從少量的隨機測量中恢復圖像。

CS具有靈活性和數據效率高的優點，但由于其稀疏性和昂貴的重建過程，CS的應用受到限制。

那么，將CS與深度學習的思想相結合，是否能得到更優雅的框架呢？

近日，DeepMind的Yan Wu，Mihaela Rosca，Timothy Lillicrap等研究人員在ICML 2019發表論文Deep Compressed Sensing，基于前人將CS和神經網絡生成器結合起來的方法，提出一個全新的框架。

深度壓縮感知(DCS)框架通過聯合訓練生成器和通過元學習優化重建過程，顯著提高了信號恢復的性能和速度。作者探索了針對不同目標的測量訓練，并給予最小化測量誤差推導出一系列模型。

作者表示：“我們證明了，生成對抗網絡(GANs)可以被視為這個模型家族中的一個特例。借鑒CS的思想，我們開發了一種使用來自鑒別器的梯度信息來改進GAN的新方法。”

壓縮感知，一種優雅的框架

壓縮感知是什么呢？

有人這樣評價道：

壓縮感知是信號處理領域進入 21 世紀以來取得的最耀眼的成果之一，并在磁共振成像、圖像處理等領域取得了有效應用。壓縮感知理論在其復雜的數學表述背后蘊含著非常精妙的思想。基于一個有想象力的思路，輔以嚴格的數學證明，壓縮感知實現了神奇的效果，突破了信號處理領域的金科玉律 —— 奈奎斯特采樣定律。即，在信號采樣的過程中，用很少的采樣點，實現了和全采樣一樣的效果。[1]

編碼和解碼是通信中的核心問題。壓縮感知(CS)提供了將編碼和解碼分離為獨立的測量和重建過程的框架。與常用的自動編碼模型(具有端到端訓練的編碼器和解碼器對)不同，CS通過在線優化從低維測量重建信號。

該模型架構具有高度的靈活性和采樣效率：高維信號可以從少量隨機測量數據中重建，幾乎不需要或根本不需要任何訓練。

CS已經成功地應用于測量噪聲大、成本高的場景，如MRI。它的采樣效率使得諸如“單像素相機”的開發成為可能，可以從單個光傳感器重全分辨率的圖像。

然而，尤其是在現代深度學習方法蓬勃發展的大規模數據處理中，CS的廣泛應用受到了它的稀疏信號假設和重建優化過程緩慢的阻礙。

最近，Bora et al. (2017)將CS與單獨訓練的神經網絡生成器相結合。雖然這些預訓練的神經網絡沒有針對CS進行優化，但它們表現出的重建性能優于現有的方法，如Lasso (Tibshirani, 1996)。

在本文中，我們提出一種深度壓縮感知框架(deep compressed sensing，DCS)，在此框架中，神經網絡可以從頭開始訓練，用于測量和在線重建。

我們證明，深度壓縮感知框架可以自然地生成一系列模型，包括GANs，可以通過訓練具有不同目標的測量函數推導得出。

這項工作的貢獻如下：

我們展示了如何在CS框架下訓練深度神經網絡。

結果表明，與以往的模型相比，元學習重建方法具有更高的精度和快幾個數量級的速度。

我們開發了一種新的基于潛在優化的GAN訓練算法，提高了GAN的性能。

我們將這個新框架擴展到訓練半監督GAN，并表明潛在優化會產生具有語義意義的潛在空間。

深度壓縮感知：結合深度神經網絡

我們首先展示了將元學習與Bora et al. (2017)的模型相結合的好處。然后將測量矩陣推廣到參數化的測量函數，包括深度神經網絡。

之前的工作依賴于 random projection作為測量函數，而我們的方法通過將RIP作為訓練目標來學習測量函數。然后，我們通過在測量上添加RIP之外的其他特性，得到了兩個新的模型，包括一個帶有鑒別器引導的潛在優化的GAN模型，這導致了更穩定的訓練動態和更好的結果。

壓縮感知與元學習

我們假設CSGM(Bora et al. 2017)的運行時效率和性能可以通過使用元學習訓練潛在的優化過程、通過梯度下降步驟的反向傳播來提高。

CS模型的潛在優化過程可能需要數百個或數千個梯度下降步驟。通過使用元學習來優化這個優化過程，我們的目標是用更少的更新來實現類似的結果。

為此，我們訓練模型參數，以及潛在的優化程序，以盡量減低預期的測量誤差:

我們的算法如下：

算法1：元學習壓縮感知

具有學習測量函數的深度壓縮感知

在算法1中，我們使用RIP屬性來訓練生成器。我們可以使用相同的方法，并加強RIP屬性來學習測量函數F本身，而不是使用random projection。

下面的算法2總結了這個擴展算法。我們稱之為深度壓縮感知(DCS) ，以強調測量和重建可以是深度神經網絡。

算法2：深度壓縮感知

實驗和結果

表2和表3總結了我們的模型以及Bora等人的基準模型的結果。

表2：使用不同測量函數的MNIST測試數據的重建損失。除了第一行之外，所有行都來自我們的模型。“±”表示測試樣本間的標準差。(L)表示習得的測量函數，越低越好。

表3：使用不同測量函數的CelebA測試數據的重建損失。除了第一行之外，所有行都來自我們的模型。“±”表示測試樣本間的標準差。(L)表示習得的測量函數，越低越好。

可以看到，DCS的性能明顯優于基準。此外，雖然基線模型使用了數千個梯度下降步驟，并且多次重啟，但是我們只使用了3個步驟，沒有重啟，大幅提高了效率。

有趣的是，對于固定的函數F，隨機線性投影的表現優于神經網絡。這個實證結果符合壓縮感知文獻中描述的隨機投影的最優性，以及更通用的Johnson-Lindenstrauss定理。

更多結果如下：

表4：與 Spectral Normalised GANs的比較。

圖2：利用隨機線性投影(上)、訓練線性投影(中)和訓練神經網絡(下)的10個測量的重建。

圖3：使用0(左)、3(中)和5(右)個梯度下降步驟進行潛在優化的CS-GAN樣本。采用0步驟的CS-GAN相當于原始GAN。

圖4：在CIFAR訓練期間的Inception Score(越高越好)和FID分數(越低越好)。