本文是對我們CoRL 2022被接收的文章SurroundDepth: Entangling Surrounding Views for Self-Supervised Multi-Camera Depth Estimation的介紹。在這個工作中，我們利用transformer融合環(huán)視的多視角特征，提升模型性能，并提出SfM預(yù)訓(xùn)練和聯(lián)合位姿估計(jì)來實(shí)現(xiàn)真實(shí)尺度的深度圖。很榮幸地，我們的文章被CoRL 2022收錄，目前項(xiàng)目代碼已開源，歡迎大家試用。

概述

近年來隨著人工智能的發(fā)展，自動駕駛技術(shù)飛速發(fā)展。以特斯拉為首的視覺派拋棄激光雷達(dá)，只依賴于圖像進(jìn)行三維感知。作為純視覺感知方案的基石任務(wù)，基于圖像的三維目標(biāo)檢測天然存在長尾問題。模型很可能會對數(shù)據(jù)集中沒見過的類別物體漏檢，而這種漏檢往往是致命的。重建出整個三維場景可以作為一種安全冗余，在三維目標(biāo)檢測失效的情況下依然可以實(shí)現(xiàn)避障。

作為最簡單直接且不需要點(diǎn)云標(biāo)簽的三維場景重建方式，在這個工作中我們重點(diǎn)研究自監(jiān)督環(huán)視深度估計(jì)這個任務(wù)。自監(jiān)督深度估計(jì)是一個很經(jīng)典的領(lǐng)域，早在17年就有相關(guān)的工作，但大部分工作都是基于單目圖像的。與單目圖像不同，環(huán)視圖像的各個視角之間存在overlap，因此可以將多個視角之間的信息進(jìn)行融合得到更準(zhǔn)確的深度圖預(yù)測。除此之外，自監(jiān)督單目深度估計(jì)存在尺度歧義（scale-ambiguity）問題，換句話說，預(yù)測出的深度圖會與深度真值差一個尺度系數(shù)。這是因?yàn)槿绻蛔撕蜕疃葓D同時乘以一個相同的尺度，會使得光度一致性誤差（photometric loss）相同。與單目深度估計(jì)不同，假設(shè)我們可以知道多個相機(jī)之間的外參，這些外參我們可以比較容易的通過標(biāo)定得到，外參中包含了世界真實(shí)尺度的信息，因此理論上我們應(yīng)該可以預(yù)測得到真實(shí)尺度的深度圖。

我們根據(jù)環(huán)視視覺的特點(diǎn)提出了SurroundDepth，方法的核心是通過融合環(huán)視多視角信息以自監(jiān)督的方式得到高精度且具有真實(shí)尺度的深度圖。我們設(shè)計(jì)了跨視角transformer以注意力機(jī)制的形式對多視角的特征進(jìn)行融合。為了恢復(fù)出真實(shí)尺度，我們在相鄰視角上利用SfM得到稀疏偽點(diǎn)云對網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練。之后我們提出聯(lián)合位姿估計(jì)去顯示地利用外參信息，對深度和位姿估計(jì)網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練。在DDAD和nuScenes數(shù)據(jù)集上的實(shí)驗(yàn)驗(yàn)證了我們的方法超過了基線方法，達(dá)到了當(dāng)前最佳性能。

方法

1) 跨視角Transformer （CVT）

2) SfM預(yù)訓(xùn)練

這一步的目的是為了挖掘外參包含的真實(shí)世界尺度信息。一個自然的做法是以外參作為位姿估計(jì)結(jié)果，在空域上利用photometric loss得到帶有真實(shí)尺度的深度圖。但環(huán)視圖像之間的overlap比較小，這會使得在訓(xùn)練開始階段，大部分的像素都會投影到overlap區(qū)域外，導(dǎo)致photometric loss無效，無法提供有效的真實(shí)尺度的監(jiān)督。為了解決這個問題，我們用SIFT描述子對相鄰視角的圖像提取correspondences，并利用三角化轉(zhuǎn)換成具有真實(shí)尺度的稀疏深度，并利用這些稀疏深度對深度估計(jì)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，使其可以預(yù)測帶有真實(shí)尺度的深度圖。但由于環(huán)視多視角之間的overlap較小，視角變化較大，因此描述子的準(zhǔn)確度和魯棒性有所降低。為了解決這個問題，我們首先預(yù)估出overlap區(qū)域，具體為每個視角圖像左右1/3部分的圖像，我們只在這些區(qū)域提取correspondences。進(jìn)一步地，我們利用對極約束篩掉噪點(diǎn)：

3）聯(lián)合位姿估計(jì)

大部分深度估計(jì)方法用PoseNet估計(jì)時序上相鄰兩幀的位姿。拓展到環(huán)視深度估計(jì)上，一個直接的方法是對每個視角單獨(dú)預(yù)測位姿。但這種方法沒有利用視角之間的幾何變化關(guān)系，因此無法保證位姿之間的多視角一致性。為了解決這個問題，我們將位姿估計(jì)分解為兩塊。首先我們預(yù)測全局位姿，具體而言，我們將所有視角圖像送入PoseNet encoder，將特征平均之后再送入decoder：

實(shí)驗(yàn)結(jié)果

我們在DDAD(Dense Depth for Automated Driving) [1]以及nuScenes [2]上均進(jìn)行了實(shí)驗(yàn)，使用了與Monodepth2 [3]相同的backbone網(wǎng)絡(luò)（ImageNet pretrained ResNet34）與pose estimation網(wǎng)絡(luò)來構(gòu)建SurroundDepth。在兩個數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果如下：

其中，我們對比了兩種最先進(jìn)的單目深度估計(jì)方法（Monodepth2 [3] and PackNet-SfM [4]）以及一種多相機(jī)深度估計(jì)方法FSM [5]。我們在相同的測試環(huán)境下對比了所有的方法，可以看出，SurroundDepth在兩個數(shù)據(jù)集上均取得了最好的性能。

此外，由于利用了環(huán)視相機(jī)之間的交互，SurroundDepth相比其他方法的一大優(yōu)勢在于可以取得絕對深度估計(jì)。針對絕對深度，我們在兩個數(shù)據(jù)集上進(jìn)行了相關(guān)實(shí)驗(yàn)。可以發(fā)現(xiàn)，僅僅利用spatial photometric loss無法使網(wǎng)絡(luò)學(xué)習(xí)到絕對深度。通過我們提出的SfM pretraining方法，網(wǎng)絡(luò)才能有效地預(yù)測絕對深度。