全卷積神經網絡 ［3］

　　全卷積神經網絡 FCN 可以說是深度學習在圖像語義分割任務上的開創性工作，出自 UC Berkeley 的 Trevor Darrell 組，發表于計算機視覺領域頂級會議 CVPR 2015，并榮獲best paper honorable mention。

　　FCN 的思想很直觀，即直接進行像素級別端到端（end-to-end）的語義分割，它可以基于主流的深度卷積神經網絡模型（CNN）來實現。正所謂「全卷積神經網絡」，在FCN中，傳統的全連接層 fc6 和 fc7 均是由卷積層實現，而最后的 fc8 層則被替代為一個 21 通道（channel）的 1x1 卷積層，作為網絡的最終輸出。之所以有 21 個通道是因為 PASCAL VOC 的數據中包含 21 個類別（20個object類別和一個「background」類別）。

　　下圖為 FCN 的網絡結構，若原圖為 H×W×3，在經過若干堆疊的卷積和池化層操作后可以得到原圖對應的響應張量（activation tensor） ，其中， 為第i層的通道數。可以發現，由于池化層的下采樣作用，使得響應張量的長和寬遠小于原圖的長和寬，這便給像素級別的直接訓練帶來問題。

　　為了解決下采樣帶來的問題，FCN 利用雙線性插值將響應張亮的長寬上采樣到原圖大小，另外為了更好的預測圖像中的細節部分，FCN 還將網絡中淺層的響應也考慮進來。具體來說，就是將 Pool4 和 Pool3 的響應也拿來，分別作為模型 FCN-16s 和 FCN-8s 的輸出，與原來 FCN-32s 的輸出結合在一起做最終的語義分割預測（如下圖所示）。

　　下圖是不同層作為輸出的語義分割結果，可以明顯看出，由于池化層的下采樣倍數的不同導致不同的語義分割精細程度。如 FCN-32s，由于是 FCN 的最后一層卷積和池化的輸出，該模型的下采樣倍數最高，其對應的語義分割結果最為粗略；而 FCN-8s 則因下采樣倍數較小可以取得較為精細的分割結果。

　　Dilated Convolutions ［4］

　　FCN 的一個不足之處在于，由于池化層的存在，響應張量的大小（長和寬）越來越小，但是FCN的設計初衷則需要和輸入大小一致的輸出，因此 FCN 做了上采樣。但是上采樣并不能將丟失的信息全部無損地找回來。

　　對此，dilated convolution 是一種很好的解決方案——既然池化的下采樣操作會帶來信息損失，那么就把池化層去掉。但是池化層去掉隨之帶來的是網絡各層的感受野（receptive field）變小，這樣會降低整個模型的預測精度。Dilated convolution 的主要貢獻就是，如何在去掉池化下采樣操作的同時，而不降低網絡的感受野。

　　以 3×3 的卷積核為例，傳統卷積核在做卷積操作時，是將卷積核與輸入張量中「連續」的 3×3 的 patch 逐點相乘再求和（如下圖a，紅色圓點為卷積核對應的輸入「像素」，綠色為其在原輸入中的感知野）。而 dilated convolution 中的卷積核則是將輸入張量的 3×3 patch 隔一定的像素進行卷積運算。

　　如下圖 b 所示，在去掉一層池化層后，需要在去掉的池化層后將傳統卷積層換做一個「dilation=2」的 dilated convolution 層，此時卷積核將輸入張量每隔一個「像素」的位置作為輸入 patch 進行卷積計算，可以發現這時對應到原輸入的感知野已經擴大（dilate）為 ；同理，如果再去掉一個池化層，就要將其之后的卷積層換成「dilation=4」的 dilated convolution 層，如圖 c 所示。這樣一來，即使去掉池化層也能保證網絡的感受野，從而確保圖像語義分割的精度。

　　從下面的幾個圖像語義分割效果圖可以看出，在使用了 dilated convolution 這一技術后可以大幅提高語義類別的辨識度以及分割細節的精細度。

　　以條件隨機場為代表的后處理操作

　　當下許多以深度學習為框架的圖像語義分割工作都是用了條件隨機場（conditional random field，CRF）作為最后的后處理操作來對語義預測結果進行優化。

　　一般來講，CRF 將圖像中每個像素點所屬的類別都看作一個變量 ，然后考慮任意兩個變量之間的關系，建立一個完全圖（如下圖所示）。

　　其中是一元項，表示像素對應的語義類別，其類別可以由 FCN 或者其他語義分割模型的預測結果得到；而第二項為二元項，二元項可將像素之間的語義聯系／關系考慮進去。例如，「天空」和「鳥」這樣的像素在物理空間是相鄰的概率，應該要比「天空」和「魚」這樣像素的相鄰概率大。最后通過對 CRF 能量函數的優化求解，得到對 FCN 的圖像語義預測結果進行優化，得到最終的語義分割結果。

　　值得一提的是，已經有工作［5］將原本與深度模型訓練割裂開的 CRF 過程嵌入到神經網絡內部，即，將 FCN+CRF 的過程整合到一個端到端的系統中，這樣做的好處是 CRF 最后預測結果的能量函數可以直接用來指導 FCN 模型參數的訓練，而取得更好的圖像語義分割結果。