1.摘要

傳統的三維形狀表示方法存在離散化和內存占用等問題，而基于深度學習的方法在恢復三維幾何結構方面取得了顯著的進展。然而，這些方法的離散形狀表示受到空間分辨率和內存占用的限制。因此，本文提出了一種新的三維形狀表示方法，即射線-表面距離場（RayDF），通過學習射線與表面之間的距離來表示三維形狀。與現有的基于坐標和射線的方法相比，RayDF具有更高的效率和更準確的三維幾何重建能力。同時，本文還引入了多視角一致性優化模塊，以提高學習到的射線-表面距離場在不同視角下的一致性。通過在多個數據集上的實驗證明，RayDF方法在三維形狀重建的準確性和效率方面優于現有的方法。

2.研究思路

本研究的研究思路是通過神經網絡來學習三維形狀的表面距離，并保持多視角一致性。我們提出了一種稱為RayDF的方法，它包括三個關鍵組件：

主要的射線-表面距離網絡

輔助的雙射線可見性分類器

多視角一致性優化模塊

3.貢獻

我們采用了直觀的射線-表面距離場來表示三維形狀，這種表示方法比現有的基于坐標的表示更高效。

我們設計了一種新的雙射線可見性分類器，用于學習任意一對射線的空間關系，使學到的射線-表面距離場具有多視角幾何一致性。

我們在多個數據集上展示了優越的三維形狀重建準確性和效率，相比于現有的基于坐標和基于射線的基線方法，取得了顯著更好的結果。

4.研究問題的解決方法

通過訓練主要的射線-表面距離網絡和輔助的雙射線可見性分類器，并引入多視角一致性優化模塊來訓練這兩個網絡。具體而言，我們的訓練模塊包括兩個階段：

階段1：訓練雙射線可見性分類器。關鍵是創建正確的數據對，將原始深度值轉換為射線-表面距離值，并生成射線對和0/1標簽。采用標準的交叉熵損失函數來優化雙射線可見性分類器。

階段2：訓練射線-表面距離網絡。將所有深度圖像轉換為射線-表面距離，為特定的3D場景生成訓練射線-距離對。通過采樣多視角射線并利用訓練好的可見性分類器，優化射線-表面距離網絡，使其不僅適應已見射線的距離，還能準確估計未見射線的距離，從而實現多視角一致性。

5.RayDF網絡結構和訓練過程

網絡結構

RayDF模型包括主要的射線-表面距離網絡、輔助的雙射線可見性分類器和多視角一致性優化模塊。

訓練過程

第一階段是訓練雙射線可見性分類器

首先，將所有原始深度值轉換為射線-表面距離值。對于第k張圖像中的第i條射線（像素），將其射線-表面點投影回剩余的（K-1）個掃描中，得到相應的（K-1）個距離值。設置10毫米作為接近閾值，確定投影的（K-1）條射線在（K-1）個圖像中是否可見?？偣采蒏* H * W * (K-1)對射線，以及0/1標簽。采用標準的交叉熵損失函數來優化雙射線可見性分類器。推薦三維重建課程基于深度學習的三維重建MVSNet系列 [論文+源碼+應用+科研]

第二階段是訓練射線-表面距離網絡

首先，將所有深度圖像轉換為射線-表面距離，為特定的3D場景生成K * H * W個訓練射線-距離對。然后，對于特定的訓練射線，稱為主射線，我們在以表面點p為球心的球中均勻采樣M條射線，稱為多視角射線。

然后，計算表面點p與沿著每條多視角射線的邊界球之間的距離，得到多視角距離。

接下來，建立M對射線并將它們輸入到訓練好的可見性分類器中，推斷它們的可見性得分。

然后，將主射線和所有采樣的M條多視角射線輸入到射線-表面距離網絡中，估計它們的表面距離。

最后，使用多視角一致性損失函數來（公式如下）優化射線-表面距離網絡，使其不僅適應主射線的表面距離，還滿足可見的多視角射線也具有準確的距離估計。

6.創新點

主要體現在以下幾個方面：

提出了一種新的神經網絡模型，稱為RayDF，用于學習三維場景的表面距離。與傳統的基于點云或體素的方法不同，RayDF利用射線與表面的交點來表示場景的幾何形狀，從而更準確地捕捉細節和形狀變化。

引入了多視角一致性約束，通過訓練網絡來學習不同視角下的一致性信息。這種約束可以提高模型在新視角下的泛化能力，使其能夠更好地處理未見過的場景。

提出了雙射線可見性分類器，用于判斷射線是否與表面相交。這個分類器可以幫助網絡學習更準確的表面距離，并提高模型在測試階段的性能。

在實驗中，本研究在多個真實世界的三維數據集上進行了評估，并與其他基線方法進行了比較。

7.實驗方法

本研究采用了兩組實驗方法進行評估。第一組實驗方法是基于多視角深度圖像的三維形狀表示。在這組實驗中，我們使用了多視角深度圖像作為輸入，通過訓練模型來學習三維場景的形狀表示。我們與其他基線方法進行了比較，包括OF、DeepSDF、NDF、NeuS、DS-NeRF、LFN和PRIF。通過對六個ScanNet數據集場景的評估，我們發現我們的方法在ADE指標上表現明顯優于其他方法，展示了我們方法在顯式表面恢復方面的明顯優勢。第二組實驗方法是基于多視角RGB圖像和深度圖像的三維形狀和外觀表示。在這組實驗中，我們使用了多視角RGB圖像和深度圖像作為輸入，通過訓練模型來學習三維場景的形狀和外觀表示。我們與NeuS、DS-NeRF、LFN和PRIF等基線方法進行了比較。通過對DM-SR數據集的評估，我們發現我們的方法在ADE指標上再次超越了所有基線方法，展示了我們方法在形狀恢復方面的優勢。同時，我們的方法在PSNR、SSIM和LPIPS等指標上也取得了可比較的性能。

8.結論

本文的研究旨在提出一種稱為RayDF的方法，用于準確地表示三維形狀。該方法基于射線-表面距離場的概念，通過訓練一個主要的射線-表面距離網絡和一個輔助的雙射線可見性分類器，以及一個多視角一致性優化模塊來實現。主要網絡直接將射線作為輸入，并推斷射線起點與其在表面上的擊中點之間的距離。輔助網絡則以一對射線作為輸入，并預測它們的相互可見性。通過訓練輔助網絡，可以有效地利用學到的雙射線可見性來訓練主網絡，從而使學到的射線-表面距離在任何已見或未見的視角下保持多視角一致性。研究結果表明，相比于現有的基于坐標的表示方法，RayDF方法在效率上具有優勢，而相比于現有的基于射線的方法，RayDF方法在學習準確的三維幾何形狀方面表現出色。在多個數據集上的實驗證明了RayDF方法在三維形狀重建的準確性和效率方面的優越性。

編輯：黃飛