CVPR 2021 Oral | VRCNet：變分關聯點云補全網絡

在 CVPR 2021 上，南洋理工大學 S-Lab 與商湯 IRDC 團隊合作提出變分關聯點云補全網絡 (VRCNet)。如 Fig.1(a) 所示，VRCNet 首先預測出粗略形狀框架 (PMNet)，再增強關聯性形狀細節生成 (RENet)。對比之前方法，VRCNet 生成的完整點云有顯著的質量提升 (見Fig.1(b))。更進一步地，Fig.1(c) 中的補全結果顯示，VRCNet 可以基于觀測到的不同的殘缺點云，結合關系性架構推測生成合理而不同的完整點云。此外，本文還建立了一個大規模多視角的殘缺點云 (MVP) 數據集，可以應用于包括殘缺點云分類、分割和配準等多個點云學習任務的研究。

Figure 1 VRCNet 點云補全方法框架和主要優點總覽

Part 1 問題和挑戰

點云補全是 3D 感知中的一個重要并且基礎的任務，它旨在基于掃描得到的片面且不完全的點云形狀預測和恢復完整的3D模型。現實生活中，由于遮擋等問題造成只能觀察到殘缺的點云形狀，而很多任務很依賴感知到完整的 3D 形狀。比如，抓取機器人需要了解完整的物體形狀以穩妥地抓取物體。此外，完整的點云形狀還有助于深度學習對 3D 物體的語義感知和檢測。點云補全問題大約可以分為以下三個層次：

1. 點云補全需要能感知并區別不同但類似的點云形狀 （辨識）

2. 點云補全需要能從結構關系上分析和理解點云形狀 （推斷）

3. 點云補全需要對完整點云形狀有一定的先驗知識 （生成）

3D 深度學習的發展使得點云補全也取得了顯著的進展。然而，很多現有的方法都只停留在“辨識”層面上，也就是可以從已知的形狀中獲取與片面觀測最相似的形狀。可是，新補全的部分和觀測到的部分之間缺少關系約束，并且對學習中未見過的新形狀缺少推理和生成的能力，甚至難以保留已觀測到的形狀細節特征。 

Part 2 方法介紹

鑒于此，我們提出了一個新穎并且綜合性的點云補全網絡（VRCNet，如Fig. 2所示）。它由概率模型網絡（PMNet）和關系增強網絡（RENet）兩個子網絡級聯構成。首先，PMNet基于殘缺點云生成一個粗略的點云形狀框架，然后再由RENet結合前階段生成的粗略框架和殘缺點云觀測，推測具有相關性的結構，以實現最后生成點云細節特征的增強。

Figure 2 VRCNet網絡架構：PMNet（淺藍色）和RENet（淺黃色，細節見Figure 4）

動機：

由于點云的形狀殘缺，也導致了其空間分布上的網格缺失，從而影響了全局意義上局部形狀細節的生成。為了緩解和避免這個問題，我么提出并設計了 PMNet，旨在先從點云的全局特征和分布出發，先生成一個粗略的全局點云框架結構，再以此輔助其形狀細節增強。

方法：

PMNet（如Fig. 2淺藍色框所示） 是一個雙通道的網絡架構，包含一個重建通道和一個補全通道。重建通道對完整的點云形狀做自編碼和解碼以恢復完整形狀，而補全通道通過相似的網絡做編碼和解碼以補全完整形狀。兩個通道間有多個共享模塊。在訓練時，重建通道在網絡梯度和形狀分布兩個層面上引導補全通道的學習和收斂。在測試時，重建通道不再使用，網絡只輸入殘缺點云。

訓練時使用到的損失函數如下:

其中表示重建通道的損失函數，而代表的是補全通道的損失函數。這里代表 E 對應函數的期望，是對應數據的真實分布，X 是殘缺點云，Y 是完整點云，KL 代表 Kullback–Leibler 散度。重建通道和補全通道的損失函數都包含有兩個部分：1）分布之間的散度比較；2）生成的形狀與真實數據形狀的比較。不同的是，重建通道的編碼分布向先驗的高斯分布靠近，而補全通道的編碼分布向重建通道的編碼分布靠近。

2. 關系增強網絡（RENet）

動機：

通過 PMNet，我們編碼生成了粗略的點云形狀框架，但是缺少了很多細節信息。理想的點云補全不僅應當能保留觀測到的點云細節信息，還應當根據關聯性的結構（比如，人造物體的對稱，陣列，以及光滑表面）推測未知的點云的細部特征。于是，我們綜合考慮生成的粗略點云形狀框架和殘缺點云，以進一步增強生成完整點云的細節特征。啟發于 2D 圖像中基于自注意力的操作可以有效學習圖像特征的關聯，我們也致力于探索各種基于自注意力的操作對于點云特征的學習。

方法：

基于提出的多個新穎且強力的點云學習模塊，諸如 PSA，PSK 和 R-PSK 模塊（見Fig. 3），我們構建了 RENet（Fig. 4）網絡架構。PSA 模塊利用點云的自注意力機制，自適應地學習點云局部鄰近點之間的關聯。PSK 模塊通過并聯多個不同尺度的 PSA 模塊，可以自適應地選取由不同尺度感受野編碼得到的特征。此外，通過額外添加的殘差鏈接，我們得到最終的 R-PSK 模塊，而它是 RENet 的基本運算塊。

Figure 3 RENet 中使用到的各個基于關系的點云特征學習模塊

各個點云模塊的具體運算：

PSA 模塊的具體運算展示于公式（3）和公式（4）中。其中，代表點所有搜尋到的 K-NN 臨近點的特征, β , γ , σ 和 ξ 都代表了線性變換運算，而 δ 代表了特征向量的鏈接操作（concatenation）。

PSK 模塊的運算可以用公式（5）表述。其中和是由兩個不同尺度的 PSA 模塊編碼得到的點云特征；W，A 和 B，是預測的權重矩陣；是全連接層；V 是最后融合得到的點云特征。

Figure 4 RENet 的具體網絡架構

基于我們構建的多種模塊，我們沿用 U-Net[1] 的思路搭建起多層級的 RENet 網絡。 此外，RENet 還使用了 EFE[2] 模塊以支持多種分辨率的完整點云生成。

3. 損失函數

損失函數主要有三個部分：重建通道損失函數 ，補全通道損失函數和關系增強網絡的損失函數。和都包含兩個損失函數項：公式（6）中的Kullback–Leibler（KL）散度項和公式（7）中的 Chamfer Distance （CD）損失函數；只包含CD損失函數。于是，整體的損失函數定義如公式（8）所示，其中 ，和是對應的權重參數。

Part 3 MVP 數據集

動機：

為了建立一個更統一并且綜合性的殘缺點云數據集，我們生成了 MVP 數據集。對比之前的殘缺點云數據集，比如 PCN[3] 和 C3D[4]，MVP 有很多吸引人的特性（見Table 1）。

MVP 主要的優點有：1）均勻分布的虛擬相機視角產生了多樣化的殘缺點云； 2）更大數量和更高質量的點云數據； 3）豐富的點云種類。 由 Fig. 5(a) 和 Fig. 5(b) 可以看出，對于同一個完整 CAD 飛機模型，我們使用了26個均勻分布的虛擬相機，從而采集到豐富且各異的高質量殘缺飛機點云。Fig. 5(c) 對比了不同分辨率下生成的殘缺點云質量，MVP 使用高分辨率也獲得了更高質量的殘缺點云。 不同采樣方法生成的完整點云質量對比展示在 Fig. 5(d)中。 相比較之前方法使用的均勻采樣（US），MVP 使用的泊松采樣（PDS）生成了更高質量的完整點云。

Part 4 實驗結果

1. 點云補全結果質量對比

Fig. 6是在 MVP 數據集上的不同方法點云補全的效果圖對比。VRCNet 的結果相比較之前的點云補全方法主要有兩方面的優勢：1）可以生成更均勻和光滑分布的高質量完整點云；2）可以有效地捕捉到關聯性結構并對缺失部分實現合理的生成和補全。

Figure 6 不同方法在MVP數據集上的點云補全結果展示

我們進一步在現實采集到的殘缺點云上檢驗 VRCNet 的補全能力。 在 Fig. 7 中，殘缺的汽車點云源于 Kitti 數據集（激光雷達采集），而殘缺的桌子和椅子點云源于 ScanNet 數據集（深度相機采集），它們都沒有對應的完整的點云。 VRCNet 通過學習和預測多種對稱性，可以較好地生成高質量的完整點云。

Figure 7 在實際采集的殘缺點云的補全效果對比

3. 點云補全結果數值對比

與之前提出的方法對比，VRCNet 在 MVP (見 Table 4)和 C3D (見 Table 3)數據集上取得更優的表現，并有著明顯的提升。不同的分辨率下的點云補全實驗(見 Table 2) 進一步彰顯出 VRCNet 的優越性。

Part 5 結語

在本文中，我們提出了 VRCNet，一個變分關聯性點云補全網絡。VRCNet 可以通過學習關聯性結構來預測完整點云。此外，我們還提出了多個新穎并且強力的基于自注意力的點云學習模塊，如 PSA 和 PSK，它們也可以很便捷地被運用到其他的點云學習任務中。特別地，我們貢獻了一個大規模的點云數據集 MVP，可以應用于多個點云學習任務，比如殘缺點云分類和配準。我們強烈推薦研究人員在后續的點云研究中嘗試我們提出的點云學習模塊和數據集。

項目主頁

https://paul007pl.github.io/projects/VRCNet

論文地址

https://arxiv.org/abs/2104.10154

代碼地址

https://github.com/paul007pl/VRCNet

實驗室主頁

https://www.mmlab-ntu.com/

歡迎有興趣實習/深造的學生關注官網，聯系NTU@MMLab~

Reference

[1] Ronneberger, O., Fischer, P., & Brox, T. (2015, October). U-net: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention (pp. 234-241). Springer, Cham.

[2] Pan, L. (2020). ECG: Edge-aware Point Cloud Completion with Graph Convolution. IEEE Robotics and Automation Letters, 5(3), 4392-4398.

[3] Yuan, W., Khot, T., Held, D., Mertz, C., & Hebert, M. (2018, September). Pcn: Point completion network. In 2018 International Conference on 3D Vision (3DV) (pp. 728-737). IEEE.

[4] Tchapmi, L. P., Kosaraju, V., Rezatofighi, H., Reid, I., & Savarese, S. (2019). Topnet: Structural point cloud decoder. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 383-392).