01 、摘要

大多數(shù)先前的工作通過(guò)坐標(biāo)表示點(diǎn)云的形狀。然而，直接利用坐標(biāo)描述局部幾何是不充分的。在本文中，我們提出了 RepSurf（representative surface），這是一種新穎的點(diǎn)云表示，顯式的描述了非常局部的點(diǎn)云結(jié)構(gòu)。

我們探索了 RepSurf 的兩種變體，Triangular RepSurf 和 Umbrella RepSurf，其靈感來(lái)自計(jì)算機(jī)圖形學(xué)中的三角形網(wǎng)格和傘形曲率。我們?cè)诒砻嬷亟ê笸ㄟ^(guò)預(yù)定義的幾何先驗(yàn)計(jì)算 RepSurf 的表征。RepSurf 可以成為絕大多數(shù)點(diǎn)云模型的即插即用模塊，這要?dú)w功于它與無(wú)規(guī)則點(diǎn)集的自由協(xié)作。

基于 PointNet++（SSG 版本）的簡(jiǎn)單基線，Umbrella RepSurf 在各種基準(zhǔn)上的分類(lèi)、分割和檢測(cè)在性能和效率方面都大大超過(guò)了之前的 state-of-the-art。在只有0.008M參數(shù)數(shù)量、0.04G FLOPs 和 1.12ms推理時(shí)間的增的情況下，我們的方法在分類(lèi)數(shù)據(jù)集 ModelNet40 上達(dá)到 94.7% （+0.5%），在 ScanObjectNN 上達(dá)到 84.6% （+1.8%） ；而在分割任務(wù)的 S3DIS 6-fold 上達(dá)到74.3%（+0.8%） mIoU，在ScanNet 上達(dá)到70.0% （+1.6%） mIoU 。

對(duì)于檢測(cè)任務(wù)，我們的 RepSurf 應(yīng)用于最先進(jìn)的檢測(cè)器，并在 ScanNetV2 上達(dá)到71.2% （+2.1%） mAP25、54.8% （+2.0%） mAP50 和在 SUN RGB-D數(shù)據(jù)集上64.9% （+1.9%） mAP25、47.7% （+ 2.5%） mAP50的性能。我們的輕量級(jí)Triangular RepSurf 在這些基準(zhǔn)測(cè)試中同樣表現(xiàn)出色。

02、 介紹

對(duì)原始點(diǎn)云表征（Point Cloud Representation）的處理因其在自動(dòng)駕駛、增強(qiáng)現(xiàn)實(shí)和機(jī)器人技術(shù)等各種應(yīng)用中的優(yōu)勢(shì)而引起了相當(dāng)大的關(guān)注。但是，點(diǎn)云局部表征的不穩(wěn)定性使得這個(gè)任務(wù)非常有難度。

局部形狀對(duì)于點(diǎn)云的學(xué)習(xí)至關(guān)重要。為了從局部結(jié)構(gòu)信息中學(xué)習(xí)，一些先前的工作從Grid（例如PointCNN）、Relation（例如RS-CNN）或Graph（例如DGCNN）中學(xué)習(xí)。

然而，這些方法通過(guò)加入更多成分（如歐幾里得距離、注意力機(jī)制）或應(yīng)用各種變換（如圖形構(gòu)造、體素化）隱式地從點(diǎn)云shape中提取局部特征。這些可能導(dǎo)致復(fù)雜的預(yù)處理或大量計(jì)算。我們認(rèn)為這可能會(huì)導(dǎo)致在預(yù)定義成分時(shí)遺漏信息，或在轉(zhuǎn)換過(guò)程中損失幾何形狀。因此，本文探索了更穩(wěn)定的顯式點(diǎn)云局部表征。

03、 動(dòng)機(jī)

我們首先受到泰勒級(jí)數(shù)的啟發(fā)。泰勒級(jí)數(shù)用導(dǎo)數(shù)表示局部曲線。為了簡(jiǎn)化它，我們只考慮到二階導(dǎo)數(shù)。因此，我們可以通過(guò)其對(duì)應(yīng)的切線粗略地表示局部曲線，或者我們稱(chēng)之為 3D 點(diǎn)云中的“surface”。

04、 方法

為了將2D Curve擴(kuò)展到3D Surface，我們引入了兩種RepSurf變體（Triangular RepSurf和Umbrella RepSurf）來(lái)近似的描述點(diǎn)云局部特征：

兩種RepSurf的實(shí)現(xiàn)也非常簡(jiǎn)潔：

05 、實(shí)驗(yàn)

RepSurf分別在3D分類(lèi)（ModelNet40，ScanObjectNN）、分割（S3DIS，ScanNet）、檢測(cè)（ScanNetV2，SUN RGBD）上達(dá)到了不俗的效果：

06 、結(jié)論

我們希望我們的工作能夠激發(fā)3D社區(qū)并喚起對(duì)點(diǎn)云的顯示表征的重新思考。我們認(rèn)為 RepSurf 值得在不同領(lǐng)域（例如自動(dòng)駕駛）或更大規(guī)模的點(diǎn)云上進(jìn)行進(jìn)一步探索，因?yàn)?RepSurf 有能力去處理真實(shí)場(chǎng)景中的大量背景點(diǎn)。RepSurf 還可以通過(guò)其對(duì)幾何敏感度的能力對(duì)點(diǎn)云采樣帶來(lái)幫助。

審核編輯：郭婷