作者：Patrick Mannion，特約編輯

隨著設計人員將并行數據處理作為人工智能 (AI)、自然語言處理和圖像處理的異構架構的核心元素，曾經的協處理器 現在正在變成處理器。

可以肯定的是，英特爾、AMD、Arm 和開源 RISC-V 架構的 CPU 仍將在控制平面處理甚至信號處理功能中發揮作用。然而，重點顯然轉移到了為快速有效地執行深度神經網絡 (DNN) 和卷積神經網絡 (CNN) 算法而優化的乘法累加 (MAC) 函數數組。

DNN 主要用于 AI 和自然語言處理。一個簡單的例子是亞馬遜的 Echo Dot，這是一個看似簡單的前端設備，由大規模并行 AI 和自然語言處理農場支持。CNN 越來越多地用于計算機視覺處理，尤其是對來自汽車制造商的高效 CNN 解決方案特別感興趣，這些解決方案希望進一步增強其高級駕駛輔助系統 (ADAS)。

對于希望利用 DNN 和 CNN 技術的數據中心和基于邊緣的系統的設計人員來說，經典架構在 Nvidia 的大型 GPU 和 videantis GmbH 的低功耗 CNN 處理器之后處于次要地位。

例如，Nvidia 最新的 Tesla V100 GPU 加速器使用 Volta GV100 GPU，繼續在數據中心樹立標準（圖 1）。GV100 基于該公司的 Pascal GPU，將 211 億個晶體管封裝在一個尺寸為 815 mm 2的芯片 中，并使用 TSMC 的 12-nm FinFET Nvidia (FFN) 制造工藝。GV100 版本進一步簡化了編程和應用程序移植，提高了 GPU 資源利用率。

圖 1：Nvidia 的 Tesla V100 加速器基于其 GV100 GPU，它繼續為高性能數據中心、人工智能和深度學習系統和應用設定標準。

Volta 迭代具有重新設計的流式多處理器 (SM) 架構，效率比 Pascal 設計高 50%。新的 Tensor Core 專為深度學習而設計，可為訓練提供高達 12 倍的峰值 teraflops，為推理提供高達 6 倍的峰值 teraflops。其他功能包括支持 6 個第二代 Nvidia NVLink，總帶寬為 300 GB/s，16 GB HBM2 內存，以及針對 Caffe2、MXNet、CNTK 和 TensorFlow 等深度學習框架的優化軟件。

TensorFlow 是 Google 的深度學習框架，該公司使用張量處理單元 (TPU) 來支持它（圖 2）。谷歌將 TPU ASIC 設計為當前 GPU 和 CPU 架構的替代方案，為谷歌搜索、谷歌圖像處理和谷歌翻譯等應用程序大規模執行神經網絡處理。

圖 2：谷歌的 TPU 旨在為谷歌搜索、谷歌圖像處理和谷歌翻譯執行大規模的神經網絡計算。

TPU 采用 28 納米工藝實現，運行頻率為 700 MHz，功耗為 40 W。由于 Google 需要快速部署它以滿足快速達到極限的數據中心的需求，因此它是一款適合的加速卡插入 SATA 插槽。它通過 PCIe Gen3 x16 總線連接到主機。該接口的帶寬為 12.5 Gbytes/s。

相對于 CPU 和 GPU，TPU 在性能上是一個飛躍。處理器性能的核心是按脈動陣列排列的乘法器矩陣單元 (MXU)。雖然通用 CPU 是按順序執行讀-操作-寫過程，但 MXU 的脈動陣列意味著它可以讀取輸入值并對其執行多項操作，而無需將其存儲到寄存器中。之所以稱為收縮期，是因為數據以波的形式流經芯片陣列，就像心臟如何泵血一樣。

MXU 方法針對功率和面積效率進行了優化，每個周期可以為 8 位整數執行 65,536 個 MAC。由于它以 700 MHz 運行，這意味著它可以執行 46 x 10 12 MACs/秒。這與 DNN 上下文中的 RISC CPU 相比是有利的，因為它們通常每條指令只能執行一個或兩個算術運算。GPU 每秒可以執行數千次。

谷歌的 TPU 和英偉達的 Tesla V100 在替代處理架構方面處于領先地位，AMD 和英特爾正在迎頭趕上。也就是說，英特爾收購了 Nervana 和 Altera 等公司尚未充分利用，而微軟已經展示了其 Brainwave 軟件在 Stratix 10 FPGA 上運行，達到 39.5 teraops/s。它預計在以 500 MHz 運行的生產硅上實現 90 teraop/s。

將 CNN 帶到視覺邊緣隨著新老芯片和軟件供應商在數據中心為 DNN 定位而努力，videantis GmbH 宣布了一個直接針對邊緣的 CNN 視覺處理器和開發工具鏈。特別是 v-MP6000UDX 視覺處理架構和 v-CNNDesigner 工具針對智能圖像和視頻處理（圖 3）。

圖 3：videantis v-MP6000UDX 與 v-CNNDesigner 工具相結合，加速了網絡邊緣智能圖像傳感器的開發。

根據 videantis 營銷副總裁 Marco Jacobs 的說法，CPU 和 GPU 本身的效率不足以在邊緣進行圖像傳感和處理，因此它在 2004 年開發了用于低功耗應用的數字信號處理器。6000 系列是其最新的實例，該實例用于 DNN 和 CNN 算法。

與 TPU 不同，它也不用于訓練。相反，Jacobs 說，一旦培訓完成，設計師可以獲取開發的代碼，通過 v-CNNDesigner 運行它，并在幾分鐘內將該代碼映射到 v-MP6000UDX 內核。訓練是在不同情況和不同背景下識別對象的過程，例如不同的動物、路標、行人和其他對象。該過程是勞動密集型的，可能需要數周時間，并產生數兆字節的最終代碼。但是，一旦生成，代碼通過 v-CNNDesigner 運行，大大簡化了傳輸和映射過程。Jacobs 表示，v-MP6000UDX 處理器本身的運行速度為 50 teraops/s，其效率取決于工藝節點和其他實施因素。

智能傳感設備、ADAS 和智能手機是明顯的目標應用，還有無人機、自動駕駛汽車、虛擬和增強現實以及監控。由于神經網絡處理的進步，videantis 所做的只是計算機視覺一個非常有趣的時期的開始。“2012 年，CNN 取得了重大突破，”他說，他指的是當年參加 ImageNet 大規模視覺識別挑戰賽的 CNN。“現在第二個趨勢[數據中心是第一個]是讓它們更小、更節能，這樣它們就可以在嵌入式設備上運行。”

隨著 CNN 的創新每天都在發生，Jacobs 強調 v-MP6000UDX 運行多種算法，使其經得起未來考驗。

審核編輯 黃昊宇