針對多種數據類型正在探索多種方法，但現在說哪一種最好，或者其中任何一種是否會縮短自動駕駛汽車的上市時間還為時過早。

全自動駕駛汽車的一個關鍵策略是能夠將多個傳感器的輸入融合在一起，這對于做出安全可靠的決策至關重要，但事實證明這比最初想象的要困難得多。

有多個問題需要解決，包括如何對不同類型的數據進行分區、優先級排序和最終組合，以及如何構建車輛內的處理架構，以便車輛能夠足夠快地根據這些不同的數據類型做出決策，以避免事故。對于如何實現這一目標，沒有單一的最佳實踐，這就是為什么許多汽車原始設備制造商采取截然不同的方法的原因。這也有助于解釋為什么今天道路上還沒有完全自動駕駛的車輛。

“可以通過三種主要方法來看待這個問題，” Siemens Digital Industries Software混合物理和虛擬系統、汽車和軍用航空副總裁 David Fritz 說道。“一種方法是在處理之前融合來自多個傳感源的原始數據。雖然這種方法可以降低功耗，但一個傳感器陣列的不良數據可能會污染其他傳感器的良好數據，從而導致不良結果。此外，大量原始數據的傳輸還帶來了帶寬、延遲和系統成本等其他挑戰。”

第二種方法是對象融合，其中每個傳感器處理數據并將其特定于傳感器的處理結果表示為對其檢測到的內容的解釋。“這具有無縫集成機載傳感器結果的優點。基礎設施傳感器以及其他車輛上的傳感器，”弗里茨說。“這種方法的挑戰是對象的通用表示和標記，以便它們可以在不同的車輛和基礎設施之間共享。

第三種選擇——也是我們認為從功耗、帶寬和成本角度來看最引人注目的一種——是前兩種方法的混合。在這種方法中，物體被傳感器檢測到但不被分類。在這種情況下，物體的點云被傳輸到機載中央計算系統，該系統對來自內部和外部不同傳感器的點云進行分類（標記）。這顯著降低了帶寬和延遲要求，降低了傳感器的成本和負載，并允許車輛解釋或分類，

汽車生態系統中的討論才剛剛開始，還有很多挑戰需要克服。

“你需要弄清楚你擁有哪些對象，以及何時使用它們，” Arteris IP業務開發副總裁 Frank Schirrmeister 說道。“所有的格式都非常不同。如果您正在研究激光雷達，就會發現一些帶有距離的時髦地圖。在相機中，它是RGB，并且有一組像素。有了熱量，還有別的東西。即使在關聯和融合所有這些內容之前，您也需要以某種方式理解這些格式。從架構的角度來看，這可能導致最需要在傳感器處或靠近傳感器處進行處理。然后，在不同位之間完成對象關聯。但你需要弄清楚細節，比如物體有多熱、物體有多遠等。這些不同傳感器的維恩圖具有一組重疊的特征，其中一些比其他傳感器更好。”

傳感器融合是一個快速創新的領域，得益于算法的不斷改進和芯片行業對 SoC 架構的深入了解。

“傳感器融合的一個共同點是需要異構處理方法，因為它需要結合信號處理——通常使用 DSP、專用加速器上的人工智能處理以及使用 CPU 的控制代碼，”高級工程師 Markus Willems 說。新思科技產品經理。“根據傳感器的類型，需要支持不同的數據類型。這包括用于圖像數據的 8 位整數處理，或用于雷達處理的 32 位單精度 (SP) 浮點，而 AI 處理可能需要 bfloat16 等。在單芯片上運行不同類型的處理器需要復雜的軟件開發流程，利用優化的 C/C++ 編譯器和函數庫，以及支持最新神經網絡（包括傳感器融合中使用的變壓器）的圖形映射工具。內存、帶寬和延遲是關鍵的設計參數，設計人員希望看到處理器仿真模型和 SoC 架構探索工具的早期可用性，以檢查假設場景。”

雖然傳感器融合在汽車領域受到廣泛關注，但它對于其他市場也很有用。

Cadence Tensilica IP 小組產品管理組總監 Pulin Desai 表示：“我們專注于汽車領域，因為攝像頭、雷達中將會有圖像傳感器，或許還有激光雷達。”“機器人應用中還可能有圖像傳感器和 IMU。可能有多個圖像傳感器，并且您將融合這些東西。其他傳感器包括陀螺儀、磁力計、加速度計，這些傳感器在許多不同的領域以多種不同的方式使用。雖然汽車方面備受關注，但家用掃地機器人也使用相同的圖像傳感器和雷達傳感器。它可能具有與無人機非常相似的架構。任何類型的無人駕駛車輛都具有此類傳感器。”

有大量數據流入。弄清楚在哪里處理所有數據是一個挑戰，部分原因是并非所有數據都采用相同的格式。

“這里存在經典的邊緣計算情況，您需要決定如何平衡整個鏈條的處理 - 從模擬世界獲取數據的地方，到在大腦中做出決定或與駕駛員交互的地方混合使用模型，”Arteris 的 Schirrmeister 說道。“對象關聯聽起來更現實，但也存在各種各樣的挑戰。熱雷達、激光雷達和雷達都使用不同的類型來表示數據。如果您查看激光雷達，因為它本質上是為您提供一定距離內的點，所以這是與從相機獲得的數據完全不同類型的數據。將這些全部關聯起來當然不是一件小事，并且可能需要大量計算。更重要的是，您還需要確定不同的項目是否彼此不一致。如果是這樣，你選擇什么？你使用一些平均值嗎？對于所有這些傳感器的組合來說絕對是一個挑戰。”

當談到數據的實際融合時，西門子的弗里茨觀察了多種方法。“在早期的一些嘗試中，NVIDIA 迅速起步，他們說，‘我們可以做很多人工智能的事情。當傳感器數據傳入時，我們可以使用高端 GPU，嘗試降低其功耗，然后使用神經網絡對其進行處理。”這就是幾年前我們在后備箱中安裝一個必須進行水冷卻的機架的原因。然后，激光雷達人員會說，‘我知道你不能為每臺激光雷達支付 20,000 美元，所以我們正在努力讓激光雷達更便宜。有人說，‘好吧，等一下。相機大概是35美分。我們為什么不放置一堆相機并將所有這些融合在一起呢？這是幾年前開始的，采用的是一種蠻力的、幾乎是腦死亡的方法。這就是方法，“我有原始激光雷達數據。我有原始相機數據。我有雷達、激光雷達、攝像頭。我如何將所有這些放在一起？人們做了一些瘋狂的事情，比如將激光雷達數據轉換為 RGB。“我們有多個幀，因為有距離信息。然后我們將通過最簡單的卷積神經網絡運行它來嘗試檢測對象并對它們進行分類。這就是事情的嚴重程度。但有些人仍在嘗試這樣做。”

相比之下，特斯拉仍然主要依賴攝像頭數據。弗里茨說，這是可能的，因為立體相機的功能，甚至是單聲道相機中固定時間段內的連續幀，使用視差來確定深度。“正因為如此，他們說，‘為什么我需要激光雷達？因為我沒有激光雷達，所以我沒有傳感器融合問題。它只是簡化了事情。但是假設相機上的鏡頭被水或污垢覆蓋。他們有這些問題需要擔心。在極端的另一端，如果你完全依賴激光雷達，我見過這樣的場景：你有一個人穿過街道的 2D 表示，而汽車認為這是一個真人。為什么？因為反射。激光雷達發生了各種各樣人們不知道的事情。

融合不同的數據類型還取決于存在的傳感器類型。“人們正在談論早期、中期和晚期融合，”Cadence 的 Desai 說。“這一切都取決于我們的客戶和我們客戶的客戶的系統設計，這表明他們正在嘗試解決什么類型的問題。我們對其中一些事情是不可知的，因為立體傳感器可以進行早期融合或后期融合，因為你的圖像和數據都已經識別了物體，并且你可以對其進行后期融合。還可能存在中間融合，這更像是系統供應商選擇他們想要如何進行融合，他們想要做多少計算，信息有多強大，或者他們試圖解決什么類型的問題解決。這有多難？嗯，這取決于融合的類型。”

傳感器融合的類型

圖 1：不同的融合選項。來源：Cadence

Desai 說，另一個需要考慮的因素是何時使用它們，或者經典 DSP 是否更合適，尤其是在人們對 AI/ML 技術高度關注的情況下。“我將我們過去所做的一些事情與我們今天所做的事情進行了比較。在某些問題上，你可以通過某種確定性的方式利用人工智能實現非常高的成功率。例如，我們在2012年和2013年做人臉和人物檢測時，我們使用了經典的計算機視覺算法，但當時它們不是很準確。達到準確度是非常困難的。然后，當我們轉向人工智能時，我們在人臉檢測和人物檢測方面獲得了非常強大的性能。所以現在有一個非常確定的情況，你會說，‘我要做人臉檢測，我可以達到人類所說的 99% 的準確率，而人工智能可以給我 97% 的準確率。為什么我需要玩一些不夠好的東西？我會去使用這個人工智能，因為我確切地知道它的作用，并且它提供了最好的準確性。但在某些情況下，例如當我仍在嘗試解決問題時，我需要嘗試不同的算法并在我的環境中進行操作。我需要能夠做到 X、Y 或 Z，并且我需要靈活性。在那里，您可以繼續使用數字信號處理器來執行這些算法。”我需要嘗試不同的算法并在我的環境中進行游戲。我需要能夠做到 X、Y 或 Z，并且我需要靈活性。在那里，您可以繼續使用數字信號處理器來執行這些算法。”我需要嘗試不同的算法并在我的環境中進行游戲。我需要能夠做到 X、Y 或 Z，并且我需要靈活性。在那里，您可以繼續使用數字信號處理器來執行這些算法。”

此外，很多時候，使用人工智能引擎時，進入人工智能引擎的數據必須經過預處理，這意味著它必須采用特定的格式。

“在特定的數據類型中，你的人工智能引擎可能會說，‘我只做定點，’”德賽解釋道。“所以你可以使用可編程引擎來做到這一點。那么，一旦你把某些東西放入人工智能中，你可能就沒有太大的靈活性了。四年后，當新事物出現時，你可能必須改變它。有很多不同的因素。本質上，如果您正在做一些非常確定的事情，您就會知道您可以獲得非常高的性能率，并且您今天就知道了。你可能會說，‘今天我要引入人工智能來解決這個問題。明天，我可能還會這么做。然后，我通過使用可編程引擎來增加靈活性。或者，如果我不知道我需要使用它，那么我仍然會使用經典算法來使用它。即使我有AI，我仍然需要做數據的預處理和后處理。

結論

隨著汽車原始設備制造商和系統公司將其計算架構向傳感器融合發展，實驗將成為一項要求。

西門子的弗里茨認為，在這個進化時期，處理開發的正確方法是雇用和/或組建一些小團隊來進行大量試點項目。“可能有十幾個人或兩打人。例如，他們的目標可能是到 2026 年或 2028 年在測試環境中生產 300 個原型。”

盡管如此，每個 OEM 目前的處境仍取決于 OEM、他們進行架構開發的時間以及他們未來希望如何做到這一點。

“不同的原始設備制造商擁有不同水平的專業知識。有些人正試圖加強他們的團隊來解決這個問題，”弗里茨指出。“大多數原始設備制造商都有一點‘不是這里發明的’綜合癥，他們認為自己可以做到這一點，因為他們有很多聰明的人。問題是，您是否要將 ECU 從 100 個增加到 200 個，并使車輛的重量增加一倍？換句話說，他們現在的員工中往往沒有全面思考這個問題的人。他們的想法是，“我有一把錘子，因此這一定是一顆釘子。”然后他們就慘敗了。”

與大多數新技術一樣，開發人員認識到他們需要一個適合自己 CPU 的編譯器，因此他們嘗試構建自己的編譯器。“然后他們發現他們認為可以做到的兩個人卻做不到，并意識到他們還需要四個人，然后，再需要一兩個人，”他說。“到最后，他們對它投入了如此多的感情，很難消滅它，而且這種情況會永遠持續下去，直到最后他們最終購買了他們需要的芯片并解雇了 100 名內部開發人員。這種情況經常發生，在汽車領域也不例外。傳感器融合是我們正在看到這種現象發生的幾個關鍵領域之一。就像這個領域的其他一切一樣，就像多年前發令槍響了一樣，人們開始跑步，然后意識到，‘我還沒有為這場馬拉松進行訓練。’”