論文模型

融合采樣

3D 目標(biāo)檢測有基于點(diǎn)和基于體素兩種框架，前者更加耗時，由候選生成與預(yù)測細(xì)化兩個階段組成。

在第一個階段，SA 用于降采樣以獲得更高的效率以及擴(kuò)大感受野，F(xiàn)P 用來為降采樣過程中丟掉的點(diǎn)傳播特征。在第二階段，一個優(yōu)化模塊最優(yōu)化 RPN 的結(jié)果以獲得更準(zhǔn)確的預(yù)測。SA 對于提取點(diǎn)的特征是必需的。但 FP 和優(yōu)化模塊會限制效率。

首先最容易想到的是直接用 SA 的采樣點(diǎn)進(jìn)行預(yù)測，但如果用 D－FPS 的采樣方法會使得采樣點(diǎn)中有很多背景點(diǎn)，這是由于 D－FPS 是在歐式空間中進(jìn)行最遠(yuǎn)點(diǎn)采樣，并不會考慮到該點(diǎn)的任何屬性特征，從而極大的降低預(yù)測效果。

因此本文引入了 F－FPS，以達(dá)到保留更多前景點(diǎn)信息的目的，同時為了防止保留很多同一個目標(biāo)的點(diǎn)導(dǎo)致精度下降，作者將 F－FPS 與 D－FPS 相結(jié)合，同時考慮歐式空間和特征空間的采樣信息，通過 F－FPS 和 D－FPS 各選擇一半的點(diǎn)的方法以保證分類的效果。

邊框預(yù)測網(wǎng)絡(luò)

已有的工作是在得到每個點(diǎn)的特征后接三層 SA 分別用于中心點(diǎn)選擇、周圍點(diǎn)特征的提取以及生成語義信息。本文為進(jìn)一步降低計算成本，候選中心點(diǎn)的生成是直接在 F－FPS 采樣后進(jìn)行的。F－FPS 采樣的點(diǎn)由于比 D－FPS 的點(diǎn)更加可能是前景點(diǎn)，所以候選點(diǎn)僅僅只是在 F－FPS 的點(diǎn)上生成。接著作者將這些候選中心點(diǎn)當(dāng)作候選生成層的中心點(diǎn)。最后根據(jù)候選中心點(diǎn)領(lǐng)域選擇從 F－FPS 和 D－FPS 中采樣得到的代表點(diǎn)進(jìn)行局部特征提取，采用 MLP 進(jìn)行特征提取。

在 3D 目標(biāo)檢測中，需要在場景中每隔一段距離就設(shè)置一個錨，這些錨有幾個不同的朝向，所以每增加一個類別需要線性的增加錨，為了降低計算量，本文的回歸頭是無錨的。由于沒有每個點(diǎn)的先驗方位，在方位角回歸中采用分類和回歸公式的混合表達(dá)式。

在訓(xùn)練過程中，需要一種分配策略來為每個候選點(diǎn)打標(biāo)簽。在 2D 但階段檢測中，IoU 閾值或 mask 可以用于標(biāo)簽分配。在 3DLIDAR 數(shù)據(jù)上，由于點(diǎn)云數(shù)據(jù)都在物體的表面，因此他們的中心性非常接近的，這會導(dǎo)致不太可能從這些點(diǎn)得到好的預(yù)測。因此之前生成候選點(diǎn)的時候要選取采樣后再朝中心靠近的點(diǎn)而不是直接用原始采樣點(diǎn)。