一、摘要

最近特斯拉提出的Occupancy Networks引起了一些討論，本篇論文也提出了一個occupy grid預測的網絡，不過相關性并不大。回到正題，作者基于毫米波的問題：識別靜態目標的性能較差、稀疏的缺點，提出了第一個實時(1.5ms)BEV多任務(障礙檢測、可駕駛區域網格預測)網絡。Free space定義為可行駛的網格區域。通過引入Lidar的標記數據對毫米波進行監督，能夠有效增強毫米波對靜態目標的感知能力的同時解決了毫米波數據難以標注的問題。另一方面作者通過預測dense occupancy probability map以生成RDM(radial distance map)用于自動駕駛路徑規劃。

二、相關工作與主要貢獻

相關工作

障礙檢測上：分為dense RADAR data cubes和radar points，第一種，也就是Range-Dopper這類稠密的特征雖然特征保留度好，但是如今商業化的雷達大部分僅提供點云數據(經過CRAR處理后)，并且為了獲得更稠密的特征，需要增加許多天線等升級毫米波，這顯然對于如今普遍好幾個雷達的商用車輛是不符的，這類方法擁有自己獨立的一套體系。第二種，借鑒的Lidar-based方法較多，包括借鑒于centerpoint, pointnet等等，與激光雷達的方法論大同小異。

占位柵格生成：

Probably Unknown: Deep Inverse Sensor Modelling In Radar

Road scene under- standing by occupancy grid learning from sparse radar clusters using semantic segmentation

主要貢獻：

作者提出的NVRadarNet，在僅使用雷達點云數據的情況下(CFAR處理后生成的點云圖)，在BEV空間能夠實現端到端的靜態與動態目標檢測，并且完成占位柵格的預測任務；

提出了一種新的半監督預測行駛區域的方法，僅使用Radar peak detection也就是點云就能夠完成稠密的占位柵格預測；

能夠實現1.5ms的端到端預測，這個時間是在嵌入式GPUNVIDIA DRIVE AGX上，使用TensorRT加速推理得到；

三、模型結構

3.1 整體架構

如上圖所示，整體結構比較簡單，輸入是累加多幀的毫米波點云圖(800x800, 100mx100m)，送入類似于UNet結構的網絡中，UNet常用于分割任務中，能夠較好結合底層與高層信息，經過多次下采樣后的低分辨率信息。能夠提供分割目標在整個圖像中上下文語義信息，可理解為反應目標和它的環境之間關系的特征。這個特征有助于物體的類別判斷，然后經過concatenate操作從encoder直接傳遞到同高度decoder上的高分辨率信息。能夠為分割提供更加精細的特征，生成多尺度語義特征后，將特征分別送入不同的三個檢測頭，任務分別是：分類、回歸、占位柵格預測頭。

如上圖所示，encoder結構及特征維度變化、decoder結構與特征尺度分別上、下部分所示，encoder提供給decoder融合了底層與高層特征的最終特征，decoder也就是head用于解碼出所需要的Headmap。

3.2 Head與Loss設計

Head

作者在BEV二維平面檢測和生成Free Space，分別生成的是2D檢測框和稠密的占位柵格地圖(dense occupancy probability map)。

將Encoder輸出的特征圖，分別輸入三個Head，用于檢測、分類、生成Free Space預測，其中regression和classification的HW相同，而freespace的網格更為細密。freespace對100x100m的分割單元為25cm，regression和classification的分割單元大小為50cm，后者和BEVformer等網絡設置的grid大小一致，而占位柵格需要的細粒度更高，需要設置兩倍的細分精度。

對于Regression Head:channel=6，包括中心位置，size(w,l)，偏航角(sinθ和cosθ)，注意這里沒有回歸高度信息；

對于Classification Head:

對于Inverse sensor model head (ISM，逆向傳感器模型)：用來將傳感器觀測值轉換為占位柵格概率的網格圖，關于如何預測和生成占位柵格圖，細節沒有多提，具體可以看Probably Unknown: Deep Inverse Sensor Modelling In Radar 這篇文章。預測生成的占位柵格圖如下圖所示，中間黑色的為道路部分，占位的概率大小從黑色到黃色逐漸升高，顏色越亮代表所在柵格存在目標的可能性越大。

Loss

總體損失如上圖所示，其中，作者采用貝葉斯權重損失計算，K是損失的種類數，這里是3，Li是某個loss的值，wi為需要預測的損失項權值，μw為wi的均值，將整體最小化，最后一項也能夠作為正則項避免權值過大。

檢測頭損失計算：分別為交叉熵損失、L1損失

Inverse sensor model head (ISM，逆向傳感器模型) 損失計算：

inverse sensor model loss用于占位柵格網絡的損失，最后一項損失為Probably Unknown: Deep Inverse Sensor Modelling In Radar， ICRA2019中提出，如下圖所示，由左側的Range-Doppler-Matrix(由極坐標系下經過插值轉換到笛卡爾坐標系下)生成的右側的Label作為GT，監督Inverse sensor model head預測占位柵格圖，生成的占位柵格圖在沿中心的射線上高于某個threshhold的柵格作為occupied grid(將網格的值賦值為1)，遍歷360°的射線后生成的柵格圖與GT計算loss。

淺提一下“Probably Unknown: Deep Inverse Sensor Modelling In Radar（ICRA2019）”這篇論文，論文使用深度神經網絡將原始雷達掃描轉換為占用概率柵格地圖，使用激光雷達生成的部分占用標簽進行自我監督，優于標準的CFAR濾波方法，能夠成功地將世界劃分為占用的和空閑的空

上圖是loss計算的細節，可以看到loss綜合考慮了y=1和y=0也就是占據和非占據(free space)兩種損失。

四、一些論文細節

4.1 雷達數據處理與FreeSpace的Label生成

雷達數據預處理

對毫米波點云進行量化采樣，生成voxel網格數據，對重復投影到同一位置的點云采用均值池化的方式

累計8個雷達的0.5s內的掃描點云稠密性，通過運動補償完成多幀雷達累計

輸入維度為：Doppler, elevation angle, RADAR cross section (RCS), azimuth angle and the relative detection timestamp

將RCS小于?40 dBm的雷達點云過濾

小于4個毫米波點云投射的目標進行濾除

生成Detection Head的GT數據：Label Propagation(由Lidar生成用于目標檢測的GT)

如下圖所示，作者將Lidar標注好的2D GT，進行篩選，條件如下：1. 少于4個point在內的bbox去除；2. 反射強度

生成Inverse sensor model head的Label：Free Space Label Generation

將occupy grid分為：Observed and free，Observed and occupied，Unobserved，Partially observed四類網格

激光雷達數據輔助生成Free Space Label，將多線(這里是128線)的點云投射到地面，去除道路的點云以生成free space label，因為路面由于多線雷達的多面掃描會使可行駛的路面被認作為障礙物，因此要去除道面點云，以生成準確的Free Space監督信號

總結來說，就是分為幾個區間[ego,first return), (first return, last_return), (last_return, border]，分別標記為：黑色，深灰色，灰色，顏色由深變淺，白色就是返回的有目標的點，如下圖所示：

4.2 End-to-end Obstacle Detection

作者使用OneNet的匹配方法，同時考慮尺寸和類別信息用于正樣本分配，同樣是一種Anchor-free的檢測方法。

4.3 數據集

作者使用Nvidia的自動駕駛數據集，數據集未公開，只說明了基本的信息，對比而言，nuScenes作為目前較大的自動駕駛數據集，只有15小時的采集，作者的內部數據集有幾百個小時的采集；

激光雷達128線，8個毫米波雷達Continental ARS430，相比NuScenes的408更加稠密，性能更好；

4.4 題外話：ISM輸出轉化為RDM圖

自動駕駛中并不是直接利用生成的占位柵格概率圖，一些方法通常將Free Space經過一系列轉化，生成一種“可行駛區域的邊界輪廓”用于自動駕駛的路徑規劃，這是作者額外介紹的應用。ISM生成的占位柵格概率圖用于Loss的計算而不是這一節所介紹的邊界輪廓。轉換過程如下：

生成占位柵格地圖：Inverse sensor model head (ISM，逆向傳感器模型)生成概率柵格地圖，亮度由暗到亮，存在物體的概率逐漸上升

轉化到極坐標系下：通過近鄰采樣方法，將笛卡爾坐標系的柵格轉化到當前的極坐標系中，如下圖所示，y由上到下，分別是-180度到180度，代表笛卡爾坐標系中心向外的一條射線（至邊界），x從左到右代表0-100m的距離

根據上圖的極坐標系，沿著每個角度，將其作為一條射線，將遇到的第一個概率大于閾值的柵格作為最遠的點，并以此遍歷360°，生成下圖的RDM（radial distance map）

在生成了上述RDM圖后，可以進一步得到如下在極坐標系下的簡化后的可行區域圖，這就是最后所求的車輛可行駛區域的邊界圖，這是在極坐標系下的表示，這個圖可以與RDM圖相轉換。

四、總結評價

4.1 實驗

論文相關工作及相關屬性

可以看出，還沒有與作者較為合適的網絡用于對比，作者在2D檢測領域并沒有進行對比實驗，只在Free Space生成上與OccupancyNet做了對比試驗。

Occupancy probability po < 0.4作為占位柵格的閾值，大于等于此值的認為其是被占據的柵格。實驗總共分為兩部分（2D檢測和Free Space prediction），每一部分都在內部數據集和NuScenes數據集上做了實驗，由于兩個數據集的設置大部分是一致的，所以這里僅介紹在內部數據集上的實驗。

2D檢測精度隨距離變化圖

在檢測距離增加時，明顯的可以看到精度的損失，同時增加分辨率可以有效增加對于行人等小目標的檢測精度，減小量化損失

這里只介紹在作者內部數據集的實驗：增加輸入分辨率可以有效提高精度，這降低了量化采樣的損失，但是在Free Space生成上效果不大

在NuScenes數據集上與OccupancyNet的對比，雖然Ocuupied有兩倍的提升，但是其他性能都有下降。

4.2 評價（均為個人推測，看看就行）

本文的一個亮點，就是實時、多任務，作者在英偉達的嵌入式自動駕駛設備上進行了一系列優化并達到了1.5ms遠大于實時的速度要求，可以滿足實時性

作者并沒有在實驗中驗證前文中提到的對于靜態目標、遮擋目標等的效果提升，大部分實驗只是在擺出自己的實驗效果，沒有做檢測任務上的對比實驗，感覺實驗還是缺不少的

作者使用Lidar數據標注GT用于Radar的任務標簽，會存在很多問題：一個是Lidar visible的目標Radar有些事invisible的，這樣會導致radar檢測假陽性會多一些，二是毫米波的透視能力強，加上多路干擾會檢測到一些遮擋的目標，所以使用Lidar的標簽會導致毫米波的透視性能下降，順便提一句，在之前的一個工作有說過并解決了這個問題，可以看我之前寫過的：https://zhuanlan.zhihu.com/p/568160922，在里面的一個工作“Radar Occupancy Prediction With Lidar Supervision While Preserving Long-Range Sensing and Penetrating Capabilities”解決了這個問題。

審核編輯：郭婷