返回
人工智能基礎設施
企業服務智能化
城市管理智能化
汽車出行智能化
個人生活智能化CVPR 2021 | ShapeInversion: 基于GAN逆映射的無監督點云補全方法
在CVPR 2021上，商湯科技-南洋理工大學聯合 AI 研究中心 S-Lab 提出了基于GAN逆映射的無監督點云補全方法：ShapeInversion。與已有的全監督方法相比，ShapeInversion首次將生成對抗網絡(GAN)逆映射引入到點云補全中。利用GAN提供的先驗知識，ShapeInversion不僅在已有的基線上媲美眾多有監督方法，還展示了顯著的泛化能力，對真實世界的殘缺掃描和各種形式的殘缺輸入以及不完整程度給出了魯棒的結果。同時，ShapeInversion提供一系列額外的功能，例如對有歧義的殘缺點云提供合理的多解，以及對給定完整點云的編輯。
論文名稱: Unsupervised 3D Shape Completion through GAN Inversion
Part 1 問題和挑戰
點云補全任務是基于一個物體的殘缺點云估計物體的完整形狀。點云補全對諸多下游任務至關重要，例如三維場景理解，機器人導航等。大多數點云補全方法在很大程度上依賴于成對的殘缺-完整點云，并以全監督方式進行學習。盡管它們在域內數據上的表現令人印象深刻，但泛化到其他形式的殘缺點云或現實世界的殘缺掃描時，由于域的差距（如下圖a-d），往往無法獲得令人滿意的結果。另外，給定一個殘缺點云，這些訓練方法往往只輸出唯一的完整點云，即使該殘缺點云可能對應多個合理的完整形狀（如下圖e）。
Part 2 方法介紹
針對以上提出的問題，我們提出了一個新穎的框架ShapeInversion, 首次在點云補全任務中引入GAN逆映射。該方法充分利用預訓練的GAN中的先驗知識，并且不受殘缺點云的域影響。如下圖所示，一個潛碼通過預訓練的GAN生成一個完整點云，再通過一個三維降采樣模塊M轉化為一個殘缺點云，進而與輸入的殘缺點云計算損失函數。該框架利用梯度下降的方法反傳損失函數來更新潛碼并且微調預訓練的GAN，從而使生成的完整點云與輸入的殘缺點云在課間部分最接近。
該框架成功點關鍵在于如何應對3D數據固有的特性所帶來的挑戰：
1. 提高點云均勻度- PatchVariance
動機：不同于2D圖片里固定的像素位置，3D點云數據具有極其非結構化的特性。因此，GAN生成的點云往往具有很差的均勻度，即點云不能均勻的分布在物體表面上。這種不均勻性可能引起一些空洞，進而影響點云的完整性。
方法：
我們提出一個新的均勻度損失函數，PatchVariance，用來GAN 預訓練階段提高點云的均勻度：我們在物體表面上隨機選取n個點，利用k臨近形成n個patch，再計算這n個patch密度的方差作為損失函數。
以tree-GAN為例，如下圖所示，PatchVariance可以有效的提高生成點云的均勻度，從而得到更高質量的點云。
2. k-Mask – 三維的降采樣模塊
動機：
類比GAN逆映射在2D 圖像修復任務中的應用，我們需要一個降采樣的mask把生成的完整點云轉化成與輸入點云對應的殘缺點云。然而，點云不規則和無序的特性使得點云補全任務與圖像修復有顯著區別。在2D 圖片修復中，圖片之間的像素對應關系顯而易見，所以我們可以很容易計算出可見部分的損失函數。而在點云補全任務中，得到兩個點云的之間點的對應關系通常比較困難，因為兩個物體的對應區域很有可能處在三維空間中的不同位置，這給三維中的降采樣模塊增加了挑戰。另外，這種對應關系往往比較模糊，并且因不同點云而異。
方法：
我們因此提出了k-Mask來動態的獲得輸入的殘缺點云和任意輸出的完整點云的對應關系。具體而言，對于殘缺點云中的每一個點，我們利用歐幾里得距離找到該點在給定完整點云中的k個對應點—來解決點對應關系模糊的問題。由此，殘缺點云中所有點的k個對應點的合集就構成了與輸入殘缺點云對應的輸出殘缺點云：
如下圖所示，對比基于預設閾值的基線方法， 如voxel-Mask和 t-mask, k-Mask可以提供精確而魯棒的三維降采樣。
Part 3 實驗結果
ShapeInversion在眾多場景下卻的了出色的表現。
首先，在ShapeNet基準上，ShapeInversion優于SOTA無監督方法，并可與用配對數據學習的有監督方法相媲美，如下表所示：
第二， ShapeInversion在真實世界的數據和多種殘缺的形式下表現了很好的泛化能力。如下圖表示的真實世界下的結果：
第三，當輸入物體太過殘缺因而產生不確定性，ShapeInversion可以提供多解，并且保證每個解都合理的反應殘缺物體的可見部分：
第四，由于GAN的引入，ShapeInversion 能夠很好的實現對已知點云形狀的編輯，如下面兩圖的擾動和差值：
Part 4 總結
在本文中，我們提供了點云補全的無監督新框架ShapeInversion。該框架能夠充分利用預訓練中GAN的先驗知識，并在多種殘缺點云的域，包括真實殘缺點云下取得令人滿意的效果和泛化能力。由于預訓練GAN的參與，ShapeInversion自然地實現了一系列額外的能力，例如為一個歧義的殘缺輸入產生多個合理的完整點云，以及對給定完整點云的編輯。
Part 5 作者介紹
張俊哲，新加坡南洋理工大學 S-Lab 和 MMLab@NTU 三年級博士生。師從呂健勤 (Chen Change Loy) 副教授和 Chai Kiat Yeo 副教授。當前主要研究興趣包括三維重建和生成，點云補全等。
個人主頁：https://junzhezhang.github.io/
項目主頁
https://junzhezhang.github.io/projects/ShapeInversion/
arXiv
https://arxiv.org/abs/2104.13366
代碼地址
https://github.com/junzhezhang/shape-inversion
實驗室主頁
https://www.mmlab-ntu.com/
歡迎有興趣實習/深造的學生關注官網，聯系NTU@MMLab~
