卷積神經(jīng)網(wǎng)絡(luò)（CNN）已廣泛應(yīng)用于計(jì)算機(jī)視覺任務(wù)領(lǐng)域。例如工業(yè)檢測(cè)、自主視覺和機(jī)器人檢測(cè)。然而，由于其大量的乘法運(yùn)算和參數(shù)，很難將這些標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)部署到具有效率吞吐量和功耗的嵌入式設(shè)備中。作為一種解決方案，AdderNet 在深度神經(jīng)網(wǎng)絡(luò)，尤其是卷積神經(jīng)網(wǎng)絡(luò) (CNN) 中使用這些大規(guī)模乘法，以獲得更便宜的加法以降低計(jì)算成本。

?

?

?

Function.1 CNN

?

Function.2 人工神經(jīng)網(wǎng)絡(luò)

?

?

?

作為案例研究，我們選擇 ResNet-20-CIFAR10 作為基線設(shè)計(jì)。ResNet-20-CIFAR10的處理引擎如圖1所示。據(jù)我們所知，CNN 加速器有兩種通用方法：?jiǎn)蝹€(gè) PE 和多個(gè) PE。在這項(xiàng)工作中，我們?cè)趹?yīng)用程序中使用了多個(gè) PE 以獲得更好的吞吐量。

?

?

自動(dòng) HLS 和手動(dòng)轉(zhuǎn)換

Xilinx Vitis HLS 上的自動(dòng)綜合：

Xilinx Vitis HLS 可以從 C++ 代碼自動(dòng)生成 FPGA 項(xiàng)目。

對(duì)于 CNN-ResNet-20，綜合報(bào)告顯示該項(xiàng)目的硬件符合我們的目的。

對(duì)于 ADD-ResNet-20，合成報(bào)告并沒(méi)有遵循我們之前的目的，因?yàn)?Vitis HLS 中的 C 合成不支持將 DSP48 配置為 SIMD 模式。

我們的解決方案：

將 SAD 操作設(shè)計(jì)為 C++ 中的獨(dú)立函數(shù)。

替換 Xilinx Vitis HLS 生成的 Verilog 源文件中的 SAD 代碼。

在 Xilinx Vivado 中重新綜合該項(xiàng)目。

此外，通過(guò)編輯 SAD 代碼，我們可以為 DSP48E2 配置更多選項(xiàng)。

?

?

Batch Normalization 融合可以減少計(jì)算量，并為模型量化提供更簡(jiǎn)潔的結(jié)構(gòu)。

如 Function.3 和 4 所示，將細(xì)化權(quán)重應(yīng)用于卷積層作為原始推理。但是考慮左邊顯示的加法器層的功能，作為卷積添加到函數(shù)中的細(xì)化權(quán)重不能用作卷積層。

由于乘法和加法的開銷，這個(gè)函數(shù)不能提供 AdderNet 的硬件優(yōu)勢(shì)。

為了避免這種開銷，我們使用額外的 for 循環(huán)來(lái)處理乘法和加法的開銷，這將花費(fèi)更多的時(shí)鐘周期和硬件。

?

?

?

DSP配置方法

在本節(jié)中，將介紹兩種 DSP48E2 配置方法：

方法 a：利用與 CONV 相同數(shù)量的 DSP，但與方法 b 相比，LUT 更少。

方法 b：利用一半的 DSP 作為 CONV，但與方法 a 相比，LUT 更多。

?

?

?

該報(bào)告顯示，通過(guò)比較解決方案 a、解決方案 b 和 ResNet-20 基線的結(jié)果，我們的方法可以以增加 10% 的 LUT 和 5% 的推理時(shí)間開銷為代價(jià)，減少大約 45% 的 DSP 利用率。

?

?

?