今天我們周圍的一切都在變得更加智能。人工智能（AI）不僅僅是一種數(shù)據(jù)中心應(yīng)用，在我們?nèi)粘Ｅc之交互的各種嵌入式系統(tǒng)中也能夠發(fā)現(xiàn)AI。我們希望與這些系統(tǒng)進(jìn)行對(duì)話和手勢(shì)交流，期待它們能夠識(shí)別和理解我們，這種智能不僅使這些系統(tǒng)的功能更加完善、使用更為便捷，同時(shí)更加安全和可靠。
?



所有這些智能都來源于深度神經(jīng)網(wǎng)絡(luò)的進(jìn)步。神經(jīng)網(wǎng)絡(luò)的關(guān)鍵挑戰(zhàn)之一是計(jì)算復(fù)雜度。小型神經(jīng)網(wǎng)絡(luò)可能需要數(shù)百萬次的乘積累加運(yùn)算（MAC）才能產(chǎn)生結(jié)果，而大型神經(jīng)網(wǎng)絡(luò)則可能需要數(shù)十億次，像大語言模型等復(fù)雜網(wǎng)絡(luò)可能需要達(dá)到萬億級(jí)的計(jì)算量。這種級(jí)別的計(jì)算需求超出了嵌入式處理器的承載能力。
?
在某些情況下，這些推理計(jì)算可以通過網(wǎng)絡(luò)被轉(zhuǎn)移到數(shù)據(jù)中心。越來越多的設(shè)備擁有快速且可靠的網(wǎng)絡(luò)連接，使得這種方式成為許多系統(tǒng)的可行之選。然而，也有很多系統(tǒng)具有嚴(yán)格的實(shí)時(shí)要求，即使是最快最可靠的網(wǎng)絡(luò)也無法滿足。例如，任何有自動(dòng)化能力的系統(tǒng)（如自動(dòng)駕駛汽車或無人機(jī)）都需要比離線數(shù)據(jù)中心更快地做出決策。還有一些系統(tǒng)處理了不應(yīng)該通過網(wǎng)絡(luò)傳輸?shù)拿舾袛?shù)據(jù)，而且傳輸內(nèi)容會(huì)增加黑客攻擊的風(fēng)險(xiǎn)。由于性能、隱私和安全等原因，某些推理操作需要在嵌入式系統(tǒng)上完成。
?
對(duì)于簡單的網(wǎng)絡(luò)來說，嵌入式 CPU 就可以處理這些任務(wù)，例如，一個(gè)樹莓派就能部署一個(gè)簡單的物體識(shí)別算法。而對(duì)于更復(fù)雜的任務(wù)，嵌入式 GPU 以及針對(duì)嵌入式系統(tǒng)的神經(jīng)處理單元（NPU）可以提供更強(qiáng)的計(jì)算能力。但是，要想獲得更高水平的性能和效率，需要構(gòu)建一個(gè)定制化的 AI 加速器。
?
無論是針對(duì) ASIC 還是 FPGA，設(shè)計(jì)新的硬件都是一項(xiàng)艱巨的任務(wù)，但它能使開發(fā)者能夠取得現(xiàn)成組件無法達(dá)到的性能和效率水平。和有著多代產(chǎn)品設(shè)計(jì)經(jīng)驗(yàn)的設(shè)計(jì)師相比，普通開發(fā)團(tuán)隊(duì)如何才能構(gòu)建一個(gè)更好的AI加速器呢？其中一個(gè)方法是通過針對(duì)正在執(zhí)行的特定推理來定制實(shí)施方案，這樣的效果會(huì)比通用解決方案更勝一籌。
?
在開發(fā)者通用 AI 加速器構(gòu)建 NPU 時(shí)，其目標(biāo)是支持任何可能的神經(jīng)網(wǎng)絡(luò)。他們希望獲得盡可能多的設(shè)計(jì)輸入，因此必須使設(shè)計(jì)盡可能通用，不僅如此，他們還希望在設(shè)計(jì)中內(nèi)置一定程度的“future proofing”，以支持幾年后可能出現(xiàn)的任何網(wǎng)絡(luò)。而在技術(shù)快速發(fā)展的背景下，這并非易事。
?
一個(gè)定制化加速器只需支持一個(gè)或幾個(gè)特定的網(wǎng)絡(luò)。這種自由度允許將在加速器實(shí)施過程中的可編程元素固定在硬件中，使得硬件比通用硬件更小且更快。在圖像和濾波器尺寸固定的情況下，一個(gè)專用卷積加速器的速度可比設(shè)計(jì)良好的通用 TPU 快上 10 倍。

通用加速器通常使用浮點(diǎn)數(shù)。這是因?yàn)閹缀跛猩窠?jīng)網(wǎng)絡(luò)都是在使用浮點(diǎn)數(shù)的通用計(jì)算機(jī)上用 Python 開發(fā)的。為了正確支持這些神經(jīng)網(wǎng)絡(luò)，加速器必須支持浮點(diǎn)數(shù)。然而，大多數(shù)神經(jīng)網(wǎng)絡(luò)使用接近 0 的數(shù)值，并且需要較高的精度，而浮點(diǎn)乘法器體積龐大，如果不需要它們，從設(shè)計(jì)中去除可以節(jié)省大量面積和功耗。
?
一些 NPU 支持整數(shù)表示法，有時(shí)還支持多種大小。然而，支持多種數(shù)值表示格式會(huì)增加電路復(fù)雜性，進(jìn)而消耗電力并加大傳播延遲。選擇一種表示格式并專門使用，可以實(shí)現(xiàn)更小、更快的實(shí)現(xiàn)。
?
在構(gòu)建定制化加速器時(shí)，并不局限于 8 位或 16 位，任何尺寸都可以使用。選擇正確的數(shù)字表示，或?qū)ι窠?jīng)網(wǎng)絡(luò)進(jìn)行 “量化”，可以優(yōu)化數(shù)據(jù)和運(yùn)算器的大小。量化可以顯著減少需要存儲(chǔ)、傳輸和操作的數(shù)據(jù)量。減少權(quán)重?cái)?shù)據(jù)庫的內(nèi)存占用和縮小乘法器的尺寸可以顯著改善設(shè)計(jì)的面積和功耗。例如，一個(gè) 10 位定點(diǎn)乘法器比一個(gè) 32 位的浮點(diǎn)乘法器小約 20 倍，功耗約為后者的 1/20。這意味著設(shè)計(jì)可以更小巧、更節(jié)能。使用更小的乘法器，設(shè)計(jì)人員也可以選擇使用該區(qū)域，部署 20 個(gè)可以并行運(yùn)行的乘法器，從而在使用相同資源的情況下產(chǎn)生更高的性能。
?



在構(gòu)建定制化機(jī)器學(xué)習(xí)加速器時(shí)，有一個(gè)挑戰(zhàn)是創(chuàng)建神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)科學(xué)家通常不了解硬件設(shè)計(jì)，而硬件設(shè)計(jì)師也不了解數(shù)據(jù)科學(xué)。在傳統(tǒng)設(shè)計(jì)流程中，他們會(huì)通過“會(huì)議”和“規(guī)范”來傳遞知識(shí)和分享想法，但顯然，這些方法也并不會(huì)通過信息交流得到有效傳遞。
?
通過高階綜合（High-Level Synthesis, HLS），數(shù)據(jù)科學(xué)家生成的實(shí)施方案不僅可以作為可執(zhí)行參考，還可以作為硬件設(shè)計(jì)流程的機(jī)器可讀輸入。這就避免了在設(shè)計(jì)流程中手動(dòng)重新解釋算法，從而避免既緩慢又易出錯(cuò)的手動(dòng)過程。HLS 從算法描述中合成 RTL 實(shí)現(xiàn)。一般來說，算法用 C++ 或 SystemC 描述，但像 HLS4ML 這樣的設(shè)計(jì)流程能使 HLS 工具能夠直接從機(jī)器學(xué)習(xí)框架中獲取神經(jīng)網(wǎng)絡(luò)描述。
?
HLS 能夠以一種在機(jī)器學(xué)習(xí)框架中尚不普及的方式對(duì)量化進(jìn)行實(shí)際探索。為了充分理解量化的影響，需要對(duì)算法進(jìn)行微精確的實(shí)現(xiàn)，包括溢出、飽和和舍入等影響的特征描述。目前，這只適用于硬件描述語言（HDL）或 HLS 微精確數(shù)據(jù)類型。隨著機(jī)器學(xué)習(xí)的普及，更多的嵌入式系統(tǒng)將需要部署推理加速器。HLS 是一種實(shí)用且行之有效的構(gòu)建定制加速器的方法，加速器針對(duì)特定應(yīng)用進(jìn)行了優(yōu)化，提供比通用 NPU 更高的性能和效率。
?
了解更多信息：高階綜合推動(dòng)下一代邊緣 AI 加速器的發(fā)展
?
?
?