arXiv
github

---

3D Semantic Segmentation in the Wild: Learning Generalized Models for Adverse-Condition Point Clouds

3D Semantic Segmentation in the Wild：学习对恶劣天气点云的通用模型

提出新数据集： 论文中提出了 SemanticSTF，一个专门为研究在恶劣天气条件下进行3D语义分割而设计的数据集。该数据集包含了密集的点级注释，所有数据都来自不同的天气条件（包括浓雾、轻雾、降雪和降雨）。这一数据集的特点是填补了现有3D分割模型的一个空白，因为大部分现有模型训练时使用的点云数据来自正常天气条件。

本研究是首次探索 3DSS 域泛化的尝试。

利用SemanticSTF 数据集使正常到恶劣环境的无监督域适应成为可能。

• 数据集特点：
  • 恶劣天气条件：包括雾霾、雪天和雨天，数据集中的点云能够覆盖这些极端天气的环境。
  • 点云密度和注释：提供了高密度的点云数据和点级标签(20+1ignore)，这对于训练高精度的3D分割模型至关重要。
  • 从 STF 中选择了由 Velodyne HDL64 S3D 捕获的 2076 个scan，涵盖了包括 694 个雪天、637 个浓雾天、631 个轻雾天和 114 个雨天（STF 中所有的雨天扫描）在内的各种恶劣天气条件。在选择中注意点云地理多样性，最大限度减少数据冗余，忽略白天/夜晚。
  • 将 SemanticSTF 分三部分，包括 1326 训练，250 验证，500 测试（不同天气扫描比例大致相同）

恶劣天气条件下的挑战： 自动驾驶系统高度依赖点云来进行环境感知，这些点云通常是在不同的天气条件下获取的。然而，现有的3D语义分割模型大多是在正常天气条件下进行训练的，这使得它们在恶劣天气下的表现不尽如人意。论文旨在通过探索领域自适应和领域泛化的策略，使模型能够更好地适应各种天气变化。

PointDR框架：作者设计了PointDR，这是一个新的基线框架，用于未来在各种天气条件下3DSS的研究和基准测试。PointDR通过几何样式随机化和嵌入聚合两种迭代操作来解决稀疏、不完整和几何变化大的点云数据问题，以及恶劣天气条件下引入的噪声问题。

• 几何样式随机化旨在丰富几何样式并扩展训练点云数据的分布。弱视图 $A^W(x)$ 采用简单的随机旋转和随机缩放；**强视图 **$A^S(x)$ 在 $A^W(x)$ 我们在的基础上进一步采用随机丢弃、随机翻转、随机噪声扰动和随机抖动。
• 嵌入聚合旨在聚合随机点云的编码嵌入，以学习域不变表示。通过E和P得到标准化的点特征嵌入 $f=P(E(x))$.再通过对一个batch内的 $f^w$ 进行类别平均，存储在记忆库B（无反向传播）中，并通过迭代动量更新。最后将每个点特征嵌入 $f_i^s$ 作为query，将B中的特征嵌入作为对比学习的key， 其中与查询具有相同语义类别的键是正键ℬ+，其余为负键。对比损失定义为：
  • 
• 对比学习使同类点的特征嵌入更紧密，同时使不同类点的特征嵌入相互远离。优化所提出的对比损失将聚合随机点云特征，并学习扰动不变表示，最终得到一个鲁棒性强且可泛化的分割模型。动量更新的记忆库为每个语义类提供了特征原型，从而能够进行更鲁棒和稳定的对比学习。

方法	目标	依赖的数据类型	挑战
领域自适应3DSS	将在正常天气下训练的模型迁移到恶劣天气数据中	需要目标领域的标注数据	需要大量标注数据；源领域与目标领域之间的分布差异
领域泛化3DSS	训练一个跨多个领域通用的模型	不需要目标领域的标注数据	学习到的特征要具有领域无关性；如何平衡模型的泛化能力

---

两种主要方法：

领域泛化3D语义分割（Domain Generalizable 3DSS） 这一方法的目标是创建能够在不同领域（不同天气条件下）表现出色的模型，而不需要针对特定条件进行微调。

领域泛化方法的目标是训练一个通用的3D语义分割模型，使其能够跨越不同的领域（包括不同的天气条件），而无需针对每个特定的领域进行重新训练或微调。

两个基准，SemanticKITTI → SemanticSTF 和 SynLiDAR → SemanticSTF。基准测试中使用MinkowskiNet作为主干模型。

使用两种方法作为基线方法进行对比，所提出的 PointDR 在两个基准测试上均实现了最佳的泛化能力，证明了其学习扰动不变点云表示以及处理全天气 3DSS 任务时的有效性和卓越能力。

• 数据增强(仅适用雨天和雪天)

  • Dropout：随机丢弃点以模拟恶劣天气下激光雷达点的缺失
  • 噪声扰动：在三维空间中添加随机点以模拟由落雪等粒子引入的噪声点
  • PolarMix：混合不同来源的点云以增强效果

• 将二维域泛化方法应用于三维单扫描场景语义分割

  • MMD最小化最大平均差异：Domain generalization with adversarial feature learning(浓雾和雨天)
  • PCL：Proxy-based contrastive learning for domain generalization(雨天和雪天)

---

领域自适应3D语义分割（Domain Adaptive 3DSS） 这一方法的重点是将训练好的3D语义分割模型（基于正常天气数据）自适应到恶劣天气数据上。

主要思路：

领域自适应方法的目标是将一个在正常天气数据上训练的3D语义分割模型，调整或迁移到在恶劣天气条件下（如雾霾、雪天、雨天）表现更好的模型。

基准SemanticKITTI → SemanticSTF，基准测试中使用MinkowskiNet作为主干模型。

选择四种无监督域适应UDA方法

• ADDA
• 熵最小化Ent-Min
• 自训练
• CoSMix

在正常到恶劣的适应设置下，所有 UDA 方法的表现均始终优于仅源模型。然而，另一方面，性能提升仍然相当有限，这表明在正常到恶劣天气条件下的域自适应三维语义场景分割（3DSS）方面仍有很大的改进空间。

在浓雾和轻雾条件下，四种方法的表现均优于仅源方法，证明了它们在缓解域差异方面的有效性。然而，在雨雪条件下，仅有 CoSMix 取得了微小的性能提升，而其他三种 UDA 方法的性能提升有限。

• 雨雪会在物体表面造成较大形变或产生大量噪声，使得从正常天气到恶劣天气的适应更具挑战性。CoSMix 在输入空间中通过直接混合源点和目标点来工作，从而在降雪和降雨较大、域差距较大的情况下表现更佳。

---

两者关系：

• 领域自适应方法依赖于目标领域的数据，而领域泛化则力求在没有目标领域标注数据的情况下进行训练，目标是通过特征学习使得模型跨领域泛化。

• 如果领域自适应方法成功，可能会显著提高在特定领域（如恶劣天气）的性能；而领域泛化方法则旨在从根本上提高模型的通用性，使其适应更多种类的环境变化。