【導讀】下圖是 2008 年伊朗政府發布的一張圖片，然而強大的網友們卻憑借著肉眼，看出來圖中黃色圈出的部分和紅色圈出的部分是一模一樣的，不得不說網友們真的是火眼金睛。而在今年的 CVPR 計算機視覺大會， Adobe 展示了他們最新的研究，旨在利用機器學習識別經過處理過的圖像。這篇研究論文在業內雖然談不上什么突破性，而且也還沒有轉化為商業化產品，但是看到作為圖像編輯軟件龍頭老大的 Adobe 進行這樣的研究，著實是一件有趣的事。今天人工智能頭條就為大家介紹一下這個有趣的工作！

▌前言

世界各地的專家越來越擔心新的 AI 工具的出現讓圖片和視頻編輯越來越容易，尤其是一些令人震驚的內容在社交媒體上未經查實就可以被迅速傳播。 Adobe 就是此類 AI 工具中的佼佼者，不過它也在研究如何利用機器學習自動識別被編輯過的圖片，以解決上述問題。

這篇新論文展示了如何利用機器學習識別三種常見的圖像處理操作：

拼接（splicing）—— 拼接取自不同圖像的兩部分；如下圖中第一行，經過識別與分析，向日葵并不是原圖中的一部分，是從另外一張圖片中截取后放到最后的圖片中，這種對圖片的編輯操作叫拼接；

復制（cloning）—— 在同一圖像中復制粘帖物體；下圖中第二行，真的是兩只鳥嗎？經過識別與分析發現，后面更遠處的那只鳥完全是前面更近這只鳥的復制品，這類操作叫圖片的克隆（復制）；

移除（removal）——移除圖像中的物體；下圖中第三行，可以非常容易的發現，黃色小球被從圖片中移除了，這種對圖片的操作稱為移除。

為了識別出這些處理操作，數字取證專家通常會在圖像的隱藏圖層中尋找線索。上面提到的三種操作往往會留下數字處理痕跡，例如：由圖像傳感器造成的顏色和亮度隨機變化不一致現象（也稱圖像噪聲）。舉例來說，當拼接兩張不同圖像，或者在同一圖像中將某一部分中的一個物體復制粘帖到另一部分時，背景噪聲會無法匹配，就像是用另一種與墻面顏色相近的顏料涂抹墻上的一個斑點。

和許多其他機器學習系統一樣，Adobe 的機器學習系統在訓練時使用的也是由經剪輯圖像組成的大型數據集。借助這個數據集，系統學習并識別篡改操作的常見模式。

▌研究介紹

圖像處理檢測與傳統的語義對象檢測不同，前者更多關注的是篡改痕跡而不是圖像內容，這意味著圖像處理檢測需要學習豐富的特征。我們用四個標準圖像處理數據集進行了試驗，試驗表明我們所提出的雙流框架的檢測性能達到了先進水準，不僅優于單流框架，而且優于其他替代方法，并且對圖像尺寸調整和壓縮有很好的魯棒性（robustness）。

圖像編輯方法和方便的圖像編輯軟件出現后，低成本的圖像篡改或處理操作得到了廣泛使用。有時，在完成拼接、復制或移除這三種常見的處理操作后還要進行后處理，例如高斯平滑處理（Gaussian smoothing）。即使進行仔細檢查，人類也很難識別出被處理的區域。

用不同篡改方法處理后的圖像示例

從上到下分別展示的是拼接、復制移動和移除操作

這些篡改方法使得分辨真實圖像和被處理過的圖像變得越來越難。專注于圖像取證（image forensics）的新研究非常重要，因為其目標是防止不法分子使用被篡改的圖像進行不道德的商業或政治活動。當前的目標檢測網絡主要用于檢測圖像中所有不同類別的目標，而圖像處理檢測網絡專門用于檢測被篡改的區域（通常為圖像中的目標）。通過研究RGB圖像內容和圖像噪聲特征，我們探討了如何調整目標檢測網絡，以使其能夠執行圖像處理檢測。

圖像取證的最新研究利用局部噪聲特征和相機彩色濾波陣列（Camera Filter Array，CFA）模式等線索，將圖像中的特定patch或像素分類為“被篡改”和“未被篡改”兩個類別，并定位被篡改的區域。其中，大部分方法針對的是一種單一篡改方法。最近提出的一種基于長短期記憶網絡（LSTM）的架構通過學習可以檢測被篡改的邊界（edge），并對被篡改的 patches 進行分割。

在本文中，我們提出了一種雙流Faster R-CNN網絡，對其進行端對端訓練，檢測經處理圖像中被篡改的區域。其中一個流是RGB流，其作用是從RGB圖像輸入中提取特征，找出篡改痕跡（例如：對比度差異、不自然的邊界等）。另一個流是噪聲流，其作用是利用從SRM模型（steganalysis rich model）過濾層中提取的噪聲特征，找出圖像中真實區域和被篡改區域的噪聲間的不一致。然后，用一個雙線性池化層整合從RGB流和噪聲流中提取出的特征，以進一步改進這兩種模式的空間共現性（spatial co-occurrence）。

雙流Faster R-CNN網絡圖示

網絡結構中各部分為：

RGB stream input：RGB 流輸入；對可見的篡改痕跡（例如：物體邊界經常出現的高對比度）進行建模，并將邊界框（bounding boxes）回歸為ground-truth。

SRM filter layer：SRM 過濾層；提取噪聲 feature map，然后利用噪聲特征提供圖像處理分類的附加依據；

Noise stream input：噪聲流輸入；分析圖像中的局部噪聲特征，先讓輸入RGB圖像通過一個 SRM 過濾層；

RGB Conv Layers：RGB 卷積層

Noise Conv Layers：噪聲卷積層

RGB 流和噪聲流共用 RPN 網絡生成的 region proposals，RPN 網絡只將 RGB 特征作為輸入。Faster R-CNN 中的 RPN（Region Proposal Network）負責 propose 可能包含相關目標的圖像區域，其經過改造后可以執行圖像處理檢測。

RPN layer：RPN 層

RoI pooling layer：Rol 池化層；從 RGB 流和噪聲流中選擇空間特征；

RGB RoI features：RGB RoI 特征；

Bilinear pooling：雙線性池化；

Noise RoI features：噪聲 Rol 特征；

預測邊界框（表示為‘bbx pred’）是 RGB Rol 特征中生成的。為了區別被篡改和未被篡改的區域，我們利用從 RGB 通道中提取的特征來捕捉線索，例如：被篡改邊界視覺上的不一致，被篡改區域和真實區域間的對比效應等。

在完成 Rol 池化后，網絡的線性池化層將整合從 RGB 流和噪聲流中分別提取的空間共現特征。

最后，將所得結果輸入到一個全連接層和一個 softmax 層，網絡生成預測標簽（表示為‘cls pred’)）并確定預測邊界是否經過處理。

第二個流背后，當從圖像（源圖像）中移除某一目標并將其粘貼到另一圖像（目標圖像）中時，源圖像和目標圖像的噪聲特征是不可能匹配的。如果用戶對被篡改的圖像進行壓縮，就可以部分掩飾這些特征差異。

為了利用這些特征，我們將 RGB 圖像轉化為噪聲域（noise domain），然后將局部噪聲特征作為第二個流的輸入。在一張圖像中生成噪聲特征的方法有很多種。我們參考了 SRM 模型（steganalysis rich model）圖像處理分類的最新研究后，最終選擇 SRM 過濾器核（SRM filter kernels）來生成噪聲特征，然后將這些 SRM 過濾器核最為第二個 Faster R-CNN 的輸入通道。

對 RGB 流和噪聲流中提取的特征進行雙線性池化，然后每個 Rol 池化層將依據從這兩個流中提取的特征檢測篡改痕跡。

▌研究結果

先前的圖像處理數據集只有幾百張圖像，不足以訓練一個深度網絡。為了克服這個困難，我們在 COCO 數據集的基礎上創造了一個合成的篡改圖像數據集，用來預訓練模型，然后再在不同數據集上對模型進行微調，以進行測試。我們在四個標準數據集上的試驗結果表明，該模型的表現十分優秀。我們的這項研究有兩大貢獻。一，我們展示了如何將 Faster R-CNN 框架改造為可以執行圖像處理檢測的雙流框架。我們研究了兩種模式——RMB 篡改痕跡和局部噪聲特征不一致性，對這兩種模式進行雙線性池化，以識別被篡改的區域。二，我們證明了在檢測不同篡改方法時 RGB 流和噪聲流時互補的，這使得我們的框架在四個圖像處理數據集上的表現優于其他先進的方法。

▌結束語

Adobe 的發言人在接受科技媒體 The Verge 采訪時表示，這項研究還是一個 “早期研究項目”，但是未來 Adobe 希望可以 “開發用于監督和驗證數字媒體可信性的技術”。這句話意味著什么還不清楚，因為 Adobe 之前從未發布過任何用于識別虛假圖像的軟件。但是 Adobe 指出，與執法機構的合作（例如：利用數字取證技術幫助尋找失蹤兒童）正是 Adobe 對其技術負責任態度的體現。

撇開對 AI 危害的警告不談，越來越多的研究致力于在數字世界打假，如果正如那些 AI 危害論者所說，人類將進入某種后真相時代，那么我們將需要使用一切可以使用的工具來辨別真假。而 AI 就像是一把雙刃劍，既可以帶來危害，也可以帶來幫助。