在本文中，我盡量使用簡單明了的方式向大家解釋深度學習中常用的幾種卷積，希望能夠幫助你建立學習體系，并為你的研究提供參考。

Convolution VS Cross-correlation

卷積是一項在信號處理、視覺處理或者其他工程/科學領域中應用廣泛的技術。在深度學習中，有一種模型架構，叫做Convolution Neural Network。深度學習中的卷積本質上就是信號處理中的Cross-correlation。當然，兩者之間也存在細微的差別。

在信號/圖像處理中，卷積定義如下：

由上公式可以看出，卷積是通過兩個函數f和g生成第三個函數的一種數學算子。對f與經過翻轉和平移的g乘積進行積分。過程如下：

信號處理中的卷積。濾波器g首先翻轉，然后沿著橫坐標移動。計算兩者相交的面積，就是卷積值。

另一方面，Cross-correlation被稱為滑動點積或者兩個函數的滑動內積。Cross-correlation中的濾波器函數是不用翻轉的。它直接劃過特征函數f。f和g相交的區域就是Cross-correlation。

在深度學習中，卷積中的濾波器不翻轉。嚴格來說，它是Cross-correlation。我們基本上執行元素對元素的加法或者乘法。但是，在深度學習中，我們還是習慣叫做Convolution。濾波器的權重是在訓練期間學習的。

Convolution in Deep Learning

卷積的目的是為了從輸入中提取有用的特征。在圖像處理中，有很多濾波器可以供我們選擇。每一種濾波器幫助我們提取不同的特征。比如水平/垂直/對角線邊緣等等。在CNN中，通過卷積提取不同的特征，濾波器的權重在訓練期間自動學習。然后將所有提取到的特征“組合”以作出決定。

卷積的優勢在于，權重共享和平移不變性。同時還考慮到了像素空間的關系，而這一點很有用，特別是在計算機視覺任務中，因為這些任務通常涉及識別具有空間關系的對象。（例如：狗的身體通常連接頭部、四肢和尾部）。

The single channel version

單個通道的卷積在深度學習中，卷積是元素對元素的加法和乘法。對于具有一個通道的圖像，卷積如上圖所示。在這里的濾波器是一個3x3的矩陣[[0,1,2],[2,2,0],[0,1,2]]。濾波器滑過輸入，在每個位置完成一次卷積，每個滑動位置得到一個數字。最終輸出仍然是一個3x3的矩陣。（注意，在上面的例子中，stride=1，padding=0）

The muti-channel version

在很多應用中，我們需要處理多通道圖片。最典型的例子就是RGB圖像。

不同的通道強調原始圖像的不同方面另一個多通道數據的例子是CNN中的層。卷積網絡層通常由多個通道組成（通常為數百個通道）。每個通道描述前一層的不同方面。我們如何在不同深度的層之間進行轉換？如何將深度為n的層轉換為深度為m下一層？

在描述這個過程之前，我們先介紹一些術語：layers（層）、channels（通道）、feature maps（特征圖），filters（濾波器），kernels（卷積核）。從層次結構的角度來看，層和濾波器的概念處于同一水平，而通道和卷積核在下一級結構中。通道和特征圖是同一個事情。一層可以有多個通道（或者說特征圖）。如果輸入的是一個RGB圖像，那么就會有3個通道。“channel”通常被用來描述“layer”的結構。相似的，“kernel”是被用來描述“filter”的結構。

layer和channel之間，filter和kernel之間的不同filter和kernel之間的不同很微妙。很多時候，它們可以互換，所以這可能造成我們的混淆。那它們之間的不同在于哪里呢？一個“Kernel”更傾向于是2D的權重矩陣。而“filter”則是指多個Kernel堆疊的3D結構。如果是一個2D的filter，那么兩者就是一樣的。但是一個3Dfilter，在大多數深度學習的卷積中，它是包含kernel的。每個卷積核都是獨一無二的，主要在于強調輸入通道的不同方面。

講了概念，下面我們繼續講解多通道卷積。將每個內核應用到前一層的輸入通道上以生成一個輸出通道。這是一個卷積核過程，我們為所有Kernel重復這樣的過程以生成多個通道。然后把這些通道加在一起形成單個輸出通道。下圖：

輸入是一個5x5x3的矩陣，有三個通道。filter是一個3x3x3的矩陣。首先，filter中的每個卷積核分別應用于輸入層中的三個通道。執行三次卷積，產生3個3x3的通道。

然后，這三個通道相加（矩陣加法），得到一個3x3x1的單通道。這個通道就是在輸入層（5x5x3矩陣）應用filter（3x3x3矩陣）的結果。

同樣的，我們可以把這個過程看作是一個3Dfilter矩陣滑過輸入層。值得注意的是，輸入層和單個filter有相同的深度（通道數量=單個filter中卷積核數量）。3Dfilter只需要在2維方向上移動，圖像的高和寬。這也是為什么這種操作被稱為2D卷積，盡管是使用的3D濾波器來處理3D數據。在每一個滑動位置，我們執行卷積，得到一個數字。就像下面的例子中體現的，（正方形的那個側面 記為輸入圖片長寬， 長方形的側面，這個長 便反應出深度 = 即 對應的 通道數是多少 ）滑動水平的5個位置和垂直的5個位置進行。總之，我們得到了一個單一通道輸出。

現在，我們一起來看看，如何在不同深度的層之間轉換。假設輸入層有xin個通道，我們想得到輸出有Dout個通道。我們只需要將Dout 個filters應用到輸入層。每一個 filter有Din個卷積核。每個filter提供一個輸出通道。完成該過程，將結果堆疊在一起形成輸出層。

3D Convolution

在上一節的最后一個插圖中，可以看出，這實際上是在完成3D卷積。但是在深度學習中，我們仍然把上述操作稱為2D卷積。3D數據，2D卷積。濾波器的深度和輸入層的深度是一樣的。3D濾波器只在兩個方向上移動（圖像的高和寬），而輸出也是一個2D的圖像（僅有一個通道）。

3D卷積是存在的，它們是2D卷積的推廣。在3D卷積中，濾波器的深度小于輸入層的深度（也可以說卷積核尺寸小于通道尺寸）。所以，3D濾波器需要在數據的三個維度上移動（圖像的長、寬、高）。在濾波器移動的每個位置，執行一次卷積，得到一個數字。當濾波器滑過整個3D空間，輸出的結果也是一個3D的。

和2D卷積能夠編碼2D域中的對象關系一樣，3D卷積也可以描述3D空間中的對象關系。3D關系在一些應用中是很重要的，比如3D分割/醫學圖像重構等。

1x1 Convolution

下面我們來看一種有趣的操作，1x1卷積。

我們會有疑問，這種卷積操作真的有用嗎？看起來只是一個數字乘以輸入層的每個數字？正確，也不正確。如果輸入數據只有一個通道，那這種操作就是將每個元素乘上一個數字。

但是，如果輸入數據是多通道的。那么下面的圖可以說明，1 x 1卷積是如何工作的。輸入的數據是尺寸是H x W x D，濾波器尺寸是1 x 1x D，輸出通道尺寸是H x W x 1。如果我們執行N次1x1卷積，并將結果連接在一起，那可以得到一個H x W x N的輸出。

1 x 1卷積在論文《Network In Network》中提出來。并且在Google發表的《Going Deeper with Convolution》中也有用到。1 x 1卷積的優勢如下：

• 降低維度以實現高效計算
• 高效的低維嵌入，或特征池
• 卷積后再次應用非線性

前兩個優勢可以從上圖中看出。完成1 x 1卷積操作后，顯著的降低了depth-wise的維度。如果原始輸入有200個通道，那么1 x 1卷積操作將這些通道嵌入到單一通道。第三個優勢是指，在1 x 1卷積后，可以添加諸如ReLU等非線性激活。非線性允許網絡學習更加復雜的函數。

Convolution Arithmetic

現在我們知道了depth維度的卷積。我們繼續學習另外兩個方向（height&width），同樣重要的卷積算法。一些術語：

Kernel size（卷積核尺寸）：卷積核在上面的部分已有提到，卷積核大小定義了卷積的視圖。

Stride（步長）：定義了卷積核在圖像中移動的每一步的大小。比如Stride=1，那么卷積核就是按一個像素大小移動。Stride=2，那么卷積核在圖像中就是按2個像素移動（即，會跳過一個像素）。我們可以用stride>=2，來對圖像進行下采樣。

Padding：可以將Padding理解為在圖像外圍補充一些像素點。padding可以保持空間輸出維度等于輸入圖像，必要的話，可以在輸入外圍填充0。另一方面，unpadded卷積只對輸入圖像的像素執行卷積，沒有填充0。輸出的尺寸將小于輸入。

下圖是2D卷積，Kernel size=3，Stride=1，Padding=1：

這里有一篇寫得很好的文章，推薦給大家。它講述了更多的細節和舉了很多例子來講述不同的Kernel size、stride和padding的組合。這里我只是總結一般案例的結果。

輸入圖像大小是i，kernel size=k，padding=p，stride=s，那么卷積后的輸出o計算如下：

編輯：hfy