深度學習 AI 應(yīng)用是解鎖生產(chǎn)力新時代的關(guān)鍵，人類的創(chuàng)造力能夠通過機器得到提高與增強。我們致力于將大量培訓數(shù)據(jù)和海量數(shù)學運算用于全面訓練每個神經(jīng)網(wǎng)絡(luò)。訓練可使用大規(guī)模批處理功能離線進行，歷時數(shù)天。經(jīng)過訓練的網(wǎng)絡(luò)要投入部署，那就面臨嚴格得多的時限要求。

為了納入 AI 處理功能，數(shù)據(jù)中心將需要部署更新的服務(wù)器，但空間的局限和功耗的的問題都是阻礙AI 部署的關(guān)鍵問題。與此同時，客戶期望獲得即時響應(yīng)，這就需要確保極低時延。

在汽車駕駛輔助系統(tǒng)或自動駕駛汽車等用例中，必須確保生命安全，這不僅要求最大限度地降低時延，確保可靠的實時響應(yīng)也至關(guān)重要。與此同時，數(shù)據(jù)中心的規(guī)模和功耗要求甚至更嚴，重量和散熱問題也是他們必須要考慮的問題。特斯拉近期舉辦自動駕駛?cè)栈顒樱榻B他們?yōu)槭裁催x擇自建芯片，相對于 GPU 而言能夠?qū)崿F(xiàn)低功耗（小于 100?瓦）和低時延（一個批處理大小）的結(jié)合優(yōu)勢。

隨著 AI 不斷在越來越多的領(lǐng)域得到推廣，并助力更快地解決挑戰(zhàn)性問題，已部署的神經(jīng)網(wǎng)絡(luò)也面臨著更高的性能要求。

歷久彌新的高效推斷

無論我們討論的是云端 AI 還是 AI 在汽車等領(lǐng)域的嵌入式應(yīng)用，滿足新型應(yīng)用需求的推斷引擎都必須確保低時延、低功耗和小尺寸。

將經(jīng)過訓練的神經(jīng)網(wǎng)絡(luò)成功用于執(zhí)行現(xiàn)實環(huán)境的推斷，不僅需要適當?shù)恼{(diào)整優(yōu)化，還需要認真考慮處理平臺，從而可以在功耗、尺寸和散熱等常見限制性條件下，確保所需的性能（通常指響應(yīng)時間或時延）。隨著 AI 商業(yè)部署的推廣以及最終用戶需求的提升，處理器芯片廠商都在加強高端器件架構(gòu)的開發(fā)以滿足相關(guān)要求。

一些最新型芯片面向自動駕駛等應(yīng)用領(lǐng)域，采用結(jié)合 CPU 和應(yīng)用處理器核的混合架構(gòu)，并搭配大量 GPU 進行數(shù)學運算。盡管片上資源可用，但架構(gòu)是固定的，因此開發(fā)者受制于不靈活的存儲器接口寬度和數(shù)據(jù)解析度。8 位整數(shù)數(shù)學通常是最小寬度，但深度學習算法能以更低的解析度有效操作數(shù)據(jù)，有時甚至低至 2 位或 1 位。不靈活的 CPU 或 GPU 計算架構(gòu)越來越難以滿足神經(jīng)網(wǎng)絡(luò)性能要求，我們需要更靈活的架構(gòu)調(diào)整解析度及核數(shù)量，從而實現(xiàn)最佳計算性能與功耗。

調(diào)整優(yōu)化受訓練的神經(jīng)網(wǎng)絡(luò)并在目標處理器中高效實施已經(jīng)非常困難，新型更高效神經(jīng)網(wǎng)絡(luò)的開發(fā)源源不斷，更是超越了芯片的發(fā)展速度。項目一開始基于最先進的技術(shù)，但很可能在部署時技術(shù)就已經(jīng)過時了。不過，部署時最尖端的神經(jīng)網(wǎng)絡(luò)技術(shù)，在現(xiàn)有處理器架構(gòu)中幾乎肯定無法表現(xiàn)良好。

可配置的?AI?加速

為應(yīng)對性能、功耗和面向未來靈活性的挑戰(zhàn)，開發(fā)團隊目前正在利用 FPGA 提供的靈活應(yīng)變優(yōu)勢來構(gòu)建 AI 加速器。

FPGA 能配置成百上千乃至成千上萬個高度并行化的計算單元，最低支持單位解析度，并且為了消除瓶頸還可定制存儲器接口。此外，F(xiàn)PGA 可方便地再編程，這就能讓開發(fā)者在芯片迭代之間更靈活地升級神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并跟上技術(shù)發(fā)展的步伐。

2017 年，賽靈思收購了 AI 專業(yè)公司深鑒科技?(DeePhi Tech)，此后加大了先進的調(diào)整優(yōu)化工具和 IP 開發(fā)力度，從而可以更好地在 FPGA 中部署神經(jīng)網(wǎng)絡(luò)。通過刪除不具備影響力的近零訓練權(quán)重，調(diào)整優(yōu)化可精簡神經(jīng)網(wǎng)絡(luò)，并發(fā)現(xiàn)可最大限度減少計算操作數(shù)量、降低功耗的網(wǎng)絡(luò)組織方式。深鑒科技的神經(jīng)網(wǎng)絡(luò)優(yōu)化技術(shù)經(jīng)過優(yōu)化后運行在 FPGA 上，能減少多達九成權(quán)重，同時實現(xiàn)可接受的圖形識別精度。性能提速高達 10?倍，能效也得到大幅提升。

從云端到邊緣

自動駕駛技術(shù)是一個很好的例子，說明了人們對低時延、小尺寸、少重量和低功耗的迫切需求。雷達或攝像頭檢測到的對象（如車輛、騎行者、行人等）需要在瞬間加以識別。眾所周知，人類在四分之一秒的時間之內(nèi)就能對視覺輸入做出反應(yīng)，因此，自動駕駛系統(tǒng)所需的視覺識別功能至少也應(yīng)達到相同的速度，甚至應(yīng)當更快。要達到人類駕駛員的水平，就整個檢測—識別—響應(yīng)過程而言，系統(tǒng)應(yīng)當能在 1.5 秒之內(nèi)做出緊急制動決定。

賽靈思近期宣布同奔馳開展研發(fā)合作，實施基于高性能 FPGA 的深度學習處理器，用來分析來自攝像頭、雷達和激光雷達的數(shù)據(jù)，實現(xiàn)駕駛員監(jiān)控、車輛導(dǎo)引和防撞等功能。兩家公司的專家聯(lián)手基于高度自適應(yīng)的汽車平臺上實施 AI 算法，并將為奔馳的神經(jīng)網(wǎng)絡(luò)優(yōu)化深度學習處理器技術(shù)。該技術(shù)可以最大限度地降低時延，同時還能實現(xiàn)較高的功率效率，確保系統(tǒng)在汽車有限的散熱條件下可靠地工作。

此外，在數(shù)據(jù)中心領(lǐng)域，F(xiàn)PGA 也能支持深度學習加速器，其單位功耗性能水平大大超越標準的的 GPU 處理器，韓國 SK 電訊將 Kintex UltraScale FPGA 作為數(shù)據(jù)中心的 AI 加速器，從而成功提升了其語音助理 NUGU 的性能。這是韓國電信產(chǎn)業(yè)首次部署 AI，相對于傳統(tǒng)的 GPU 處理器，SK 的自動語音識別?(ASR)?應(yīng)用速度提升高達 500%。單位功耗性能提升 16 倍。此外，現(xiàn)有的僅使用 CPU 的服務(wù)器在采用加速器后，處理多個語音通道時能顯著降低 SKT 的總體擁有成本?(TCO)。

另一個例子就是最新型 AI 家庭安全功能。作為與新興市場領(lǐng)域中領(lǐng)先企業(yè)之一 Tend Insights 聯(lián)合開發(fā)的云平臺的一部分，由 FPGA 加速的低時延推斷能夠支持更加智能的監(jiān)控功能和創(chuàng)新服務(wù)，如居家護理等。安裝在家里各個位置的攝像頭具備識別有關(guān)事件的基本功能，并能夠?qū)嬅嫔蟼鞯皆谠贫诉\行的基于 FPGA 的 AI 加速器中。這些加速器可通過一系列 API 訪問（本例中是作為賽靈思機器學習套件?(ML Suite)?硬件編譯器的一部分），區(qū)分哪些人是家庭成員、哪些是陌生人，哪些是家庭寵物，哪些是其他動物，從而判斷是否存在威脅并發(fā)出警報。內(nèi)部攝像頭的畫面幀在業(yè)主同意下進行分析，能夠判斷家庭成員是否面臨困難，比如老人是否摔倒了需要幫助。隨后，該系統(tǒng)能夠發(fā)出呼救，包括撥打指定家庭成員的電話或?qū)で髮I(yè)護理機構(gòu)的幫助。

AI 也在眾多其他場合下發(fā)揮作用，用來進行復(fù)雜的模式匹配和圖像識別，并快速獲得結(jié)果。這包括基因組分析，加速醫(yī)療診斷和治療。使用 FPGA 加速 AI 推斷已將病人基因組測序和異常識別所需時間從 24 小時縮短至大約 20-30?分鐘。然后就是原子研究，核聚變實驗畫面捕獲涉及極高清圖形，每幀動輒高達 1 億像素，而且需要在 25ms 之內(nèi)處理。這種挑戰(zhàn)需要引入低時延神經(jīng)網(wǎng)絡(luò)探測器，傳統(tǒng) CPU 推斷根本無法應(yīng)對。事實上，傳統(tǒng)方法相差甚遠。FPGA 已經(jīng)在幫助科學家獲得他們所需的答案了。

結(jié) 論

AI 最近才成為一個切實可行的解決方案，但在人們的日常工作生活中已經(jīng)開始發(fā)揮重要作用。降低運營成本、縮短客戶等待時間、打造新的增值服務(wù)機遇，這些潛力讓商業(yè)機構(gòu)深感激動，同時也加大了性能提升的壓力，需要降低時延、功耗和成本。

創(chuàng)建 AI 有兩大要素，一是訓練某種類型的神經(jīng)網(wǎng)絡(luò)，讓其盡可能符合現(xiàn)有任務(wù)要求；二是對經(jīng)過訓練的網(wǎng)絡(luò)進行調(diào)整優(yōu)化，作為推斷引擎在適當?shù)奶幚砥魃蠈嵤?/p>

FPGA 架構(gòu)的靈活性和高性能，加上高性能的實施優(yōu)化工具（如 ML Suite 硬件編譯器和 Deephi 優(yōu)化器），再加上實施最新神經(jīng)網(wǎng)絡(luò)架構(gòu)帶來的可再配置性使其無需等待芯片更新，這些都是在云端、網(wǎng)絡(luò)或網(wǎng)絡(luò)邊緣實現(xiàn) AI 推斷加速的關(guān)鍵因素。

審核編輯：湯梓紅