之前在微信公众号中更新了以下几个章节 1，如何学习PCL以及一些基础的知识 2，PCL中IO口以及common模块的介绍 3, PCL中常用的两种数据结构KDtree以及Octree树的介绍
文章：FEC: Fast Euclidean Clustering for Point Cloud Segmentation
本期介绍一篇基于大规模点云的语义分割相关论文《Large-scale Point Cloud Semantic Segmentation with Superpoint Graphs》
三维点云的语义分割3D Point Cloud Semantic Segmentation (PCSS)在计算机视觉以及机器人领域广泛的应用，随着深度学习技术的发展在点云的语义分割领域提供了新的可能性，并受到越来越多的关注，本文将着重的介绍这一主题的相关研究，首先从遥感领域和计算机视觉的角度概述三维点云的分割，并且结合已经发表的PCSS相关的文章作为研究基础，进行总结和比较，并且对传统的以及最新的点云分割技术进行回顾和比较，最后讨论了PCSS研究中重要的问题和有待解决的问题。
文章：Curved-Voxel Clustering for Accurate Segmentation of 3D LiDAR Point Clouds with Real-Time Performance
众所周知，点云的有效分割是许多应用的前提，例如在三维重建领域，需要对场景内的物体首先进行分类处理，然后才能进行后期的识别和重建。传统的点云分割主要依赖聚类算法和基于随机采样一致性的分割算法，在很多技术上得到了广泛应用，但当点云规模不断增大时，传统的分割算法已经很难满足实际需要，这时就需要结合深度学习进行分割。因此，本文将重点介绍5种前沿的点云分割网络，包括PointNet/PointNet++、PCT、Cylinder以及JSNet网络，最后介绍5中常用的点云分割数据集。
作者介绍：Zach，移动机器人从业者，热爱移动机器人行业，立志于科技助力美好生活。他也是我们课程学员：基于LiDAR的多传感器融合SLAM：LOAM、LeGO-LOAM、LIO-SAM
公开课地址：https://www.shenlanxueyuan.com/open/course/53
作者：龚靖渝， 楼雨京， 柳奉奇， 张志伟， 陈豪明， 张志忠， 谭鑫， 谢源， 马利庄
3D点云学习（ Point Clouds）作为近年来的研究热点之一，受到了广泛关注，每年在各大会议上都有大量的相关文章发表。当前，点云上的深度学习变得越来越流行，人们提出了许多方法来解决这一领域的不同问题。国防科技大学郭裕兰老师课题组新出的这篇论文对近几年点云深度学习方法进行了全面综述，是第一篇全面涵盖多个重要点云相关任务的深度学习方法的综述论文，包括三维形状分类、三维目标检测与跟踪、三维点云分割等，并对点云深度学习的机制和策略进行全面的归纳和解读，帮助读者更好地了解当前的研究现状和思路。也提供了现有方法在几个可公开获得的数据集上的全面比较，最后也介绍了未来的研究方向。
近年来，自动驾驶领域的各项下游任务基本上都要求了对场景的语义理解，比如自动驾驶车辆要能够理解哪个是路面、哪个是交通灯、哪个是行人、哪个是树木，因此点云分割的作用就不言而喻。
导读/ 3D点云学习（ Point Clouds）作为近年来的研究热点之一，受到了广泛关注，每年在各大会议上都有大量的相关文章发表。当前，点云上的深度学习变得越来越流行，人们提出了许多方法来解决这一领域的不同问题。国防科技大学郭裕兰老师课题组新出的这篇论文对近几年点云深度学习方法进行了全面综述，是第一篇全面涵盖多个重要点云相关任务的深度学习方法的综述论文，包括三维形状分类、三维目标检测与跟踪、三维点云分割等，并对点云深度学习的机制和策略进行全面的归纳和解读，帮助读者更好地了解当前的研究现状和思路。也提供了现有方法在几个可公开获得的数据集上的全面比较，最后也介绍了未来的研究方向。
本文提出了一种基于大规模无序点云的三维线段检测算法。与传统的方法先提取三维边缘点后在拟合三维线段的算法相比，本文提出了一种基于点云分割和二维线段检测的基础上，能够快速的实现三维线段检测算法。在输入无序点云的情况下，对三维线段进行三步检测。首先，通过区域生长和区域合并将点云分割成三维平面。其次，对每个三维平面，将其所属的所有点投影到平面上形成二维图像，然后进行二维轮廓提取和最小二乘拟合得到二维线段。然后将这些二维线段重新投影到三维平面上，以获得相应的三维线段。最后，提出了一种剔除异常点和合并相邻三维线段的后处理方法。在多个公共数据集上的实验证明了该方法的有效性和鲁棒性。
一个是当下最热门的模型（NLP、图像领域表现都不错），另一个是自动驾驶领域、机器人抓取等领域的关键技术。
三维点云分割既需要了解全局几何结构，又需要了解每个点的细粒度细节。根据分割粒度的不同，三维点云分割方法可以分为三类:语义分割(场景级)、实例分割(对象级)和部分分割(部分级)。
在之前的两个章节里介绍了基于采样一致的点云分割和基于临近搜索的点云分割算法。基于采样一致的点云分割算法显然是意识流的，它只能割出大概的点云（可能是杯子的一部分，但杯把儿肯定没分割出来）。基于欧式算法的点云分割面对有牵连的点云就无力了（比如风筝和人，在不用三维形态学去掉中间的线之前，是无法分割风筝和人的）。基于法线等信息的区域生长算法则对平面更有效，没法靠它来分割桌上的碗和杯子。也就是说，上述算法更关注能不能分割，除此之外，我们还需要一个方法来解决分割的“好不好”这个问题。也就是说，有没有哪种方法，可以在一个点不多，一个点不少的情况下，把目标和“其他”分开。
作者：Jingyi Wang, Yu Liu, Hanlin Tan, Maojun Zhang
Semantic Segmentation for Real Point Cloud Scenes via Bilateral Augmentation and Adaptive Fusion
想象一下你正在打造一辆可探测周围环境的自动驾驶车。你要如何让你的车感知行人、骑自行车的人以及其他车辆，以安全行驶呢？你可以给它装上相机，但效果并不是特别好：你面对的是整个 3D 环境，相机拍摄到的只是把它拍扁之后的 2D 图像，然后再尝试从这个 2D 图像中复原你真正需要用到的 3D 信息（比如与车前面的行人、汽车间的距离）。然而，一旦将 3D 环境挤压成 2D 图像，很多对你来说最重要的信息就会丢失，并且将这些信息重新拼凑起来十分困难——即使使用最先进的算法，也容易出错。
这个工作来自于浙江大学和DAMO academy。在点云配准领域，尽管已经有很多方法被提出来，但是无论是传统方法，还是近年来蓬勃发展的基于深度学习的三维点云配置方法，其实在真正应用到真实的LiDAR扫描点云帧时都会出现一些问题。造成这种困窘的一个主要的原因在于LiDAR扫描到的点云分布极不均匀。具体而言，相较于RGBD相机，LiDAR的有效扫描深度要大很多。随着深度的增大，其激光发射出去的扇面将会变得稀疏。因此，即使是扫描同一目标或场景的点云帧之间，其尺度并不一致。导致想要研究的关键点周围的邻域点分布也存在较大不同，难以通过这些3D点的特征描述关联起点云帧。这个问题一直以来都十分棘手。这个工作独辟蹊径，提出对于这种点云数据，不再通过3D点来构建关联以实现点云配准，而是研究点云数据中的高层次的几何原语。这种做法直观来说是有道理的，因为这些高层次的几何原语通常会有较大的支撑点集，换句话说，其对于点云扫描和采样具有较大的鲁棒性，通常不会因为某个点没有被记录而影响相应几何原语的提取。同时，几何原语通常具有更具体的特征和几何结构，例如一条直线、一个平面等，其更容易构建不同帧间的关联，避免误匹配。但是，这种研究思路通常难度较大，原因在于缺乏足够的有标签的数据集。在这种情况下，这个工作显得极其重要，它不仅仅提供了一个数据集自动标注模型，同样也是少数真正开始探索几何原语用于点云配准任务的先河性的工作。
ICP点云配准就是我们非常熟悉的点云处理算法之一。实际上点云数据在形状检测和分类、立体视觉、运动恢复结构、多视图重建中都有广泛的使用。点云的存储、压缩、渲染等问题也是研究的热点。随着点云采集设备的普及、双目立体视觉技术、VR和AR的发展，点云数据处理技术正成为最有前景的技术之一。PCL是三维点云数据处理领域必备的工具和基本技能，这篇文章也将粗略介绍。
在本文中，提出了一种新颖的联合实例和语义分割方法，称为JSNet，以同时解决3D点云的实例和语义分割问题。首先，建立有效的骨干网络，以从原始点云数据中提取鲁棒的特征。其次，为了获得更多的判别特征，提出了一种点云特征融合模块来融合骨干网的不同层特征。此外，开发了联合实例语义分割模块以将语义特征转换为实例嵌入空间，然后将转换后的特征进一步与实例特征融合以促进实例分割。同时，该模块还将实例特征聚合到语义特征空间中，以促进语义分割。最后，通过对实例嵌入应用简单的均值漂移聚类来生成实例预测。最后在大型3D室内点云数据集S3DIS和零件数据集ShapeNet上评估了该JSNet网络，并将其与现有方法进行了比较。实验结果表明，该方法在3D实例分割中的性能优于最新方法，在3D语义预测方面的有重大改进同时有利于零件分割。
只需“100K大小的外挂”，就能让自动驾驶AI识别“物体运动状态”的能力大幅上升！
Contrastive Boundary Learning for Point Cloud Segmentation (CVPR 2022)
摘要：近年来，机器人自动化领域越来越多地应用3D视觉技术对目标物体进行定位。本文主要研究3D视觉技术在机器人抓取作业中的应用，总结了3D视觉技术在识别、定位物体时面临的挑战，给出了抓取作业机器人3D视觉系统的设计方法，归纳了现有的3D表面成像方法和视觉处理算法，最后给出一个结合3D视觉技术对白色抽屉纸盒进行抓取分拣的实际应用案例。
三维数据通常可以用不同的格式表示，包括深度图像、点云、网格和体积网格。点云表示作为一种常用的表示格式，在三维空间中保留了原始的几何信息，不需要任何离散化。因此，它是许多场景理解相关应用（如自动驾驶和机器人）的首选表示。近年来，深度学习技术已成为计算机视觉、语音识别、自然语言处理、生物信息学等领域的研究热点，然而，三维点云的深度学习仍然面临着数据集规模小、维数高、非结构化等诸多挑战三维点云。在此基础上，本文对基于点云数据下的深度学习方法最新进展做了详解，内容包括三维形状分类、三维目标检测与跟踪、三维点云分割三大任务。
萧箫 发自 凹非寺 量子位 报道 | 公众号 QbitAI 当Transformer遇上3D点云，效果会怎么样？ 一个是当下最热门的模型（NLP、图像领域表现都不错），另一个是自动驾驶领域、机器人抓取等领域的关键技术。 来自清华计算机系的团队，开发出了一个全新的PCT网络，相比于目前主流的点云分割模型PointNet，不仅参数量减少，准确度还从89.2%提升到了93.2%。 而且，相比于主流的点云分割网络PointNet，分割的边缘明显更清晰： 但将Transformer推广到3D点云，相关研究还非
文章：SemSegMap - 3D Segment-Based Semantic Localization
输入原始点云（x，y，z，intensity），得到每个三维点的语义类别。如图所示，不同颜色代表不同类别。
在图像算法中，无监督的过分割是一种广泛的预处理步骤，将图像分割成具有相似属性的像素区域，称之为超像素分割，该方法减少了之后后期算法计算的的成本，并且信息损失最小，本文提出的是一种新的过分割算法，该算利用点云体素关系生成具有空间一致性的过分割，而不是在三维点云映射或者投影到了二维空间中进行处理。论文是在已经校准的RGB_D相机的数据集上进行试验，并且与2D的处理速度相仿的条件下，保证了分割的高效。
不同于图像数据在计算机中的表示通常编码了像素点之间的空间关系，点云数据由无序的数据点构成一个集合来表示。因此，在使用图像识别任务的深度学习模型处理点云数据之前，需要对点云数据进行一些处理。目前采用的方式主要有两种：
近年来，随着自动驾驶和机器人等领域的飞速发展，3D 点云处理得到了学术界和工业界的广泛关注，基于点云的物体识别、检测、分割等任务中涌现出了一大批优越的算法。
文章：Annotation Tool and Urban Dataset for 3D Point Cloud Semantic Segmentation
文章：Extrinsic Camera Calibration with Semantic Segmentation
利用奥比中光科技集团股份有限公司提供的Zora P1开发板、 RGBD相机，以及深圳大学物理与光电工程学院智能光测研究院提供的川崎机器人（6轴）开发出了一款RGB-D相机结合机械臂对任意摆放的复杂加工零件的三维重建及无序抓取系统。
文章：SuperLine3D: Self-supervised Line Segmentation and Description for LiDAR Point Cloud
各位小伙伴们，有没有发现PCL库中已经集成了太多我们想实现的算法或者功能呢？所以这里我们的学习小组已经开始针对PCL库中实现的算法进行剖析与论文解读，所以希望更多的小伙伴们参与进来，我们一起吃透PCL，希望有朝一日，我们可以自己更新PCL的库。欢迎私信或者联系邮箱：dianyunpcl@163.com
三维图像是一种特殊的信息表达形式，其特征是表达的空间中三个维度的数据。和二维图像相比，三维图像借助第三个维度的信息，可以实现天然的物体-背景解耦。除此之外，对于视觉测量来说，物体的二维信息往往随射影方式而变化，但其三维特征对不同测量方式具有更好的统一性。与相片不同，三维图像时对一类信息的统称，信息还需要有具体的表现形式。其表现形式包括：深度图（以灰度表达物体与相机的距离），几何模型（由CAD软件建立），点云模型（所有逆向工程设备都将物体采样成点云）。可见，点云数据是最为常见也是最基础的三维模型。点云模型往往由测量直接得到，每个点对应一个测量点，未经过其他处理手段，故包含了最大的信息量。然而，这些信息隐藏在点云中需要以其他提取手段将其萃取出来，提取点云中信息的过程则为三维图像处理。
3D语义分割区分场景中各类对象，3D实例分割区分场景中各类别中的各种个体。近两年来，3D实例分割的关注度越来越高，相应的方法也被接连提出。众多方法的思想主要分为两类：基于候选区域的实例分割（proposal-based）和免候选区域的实例分割（proposal-free）。其中，proposal-based先获取场景中的感兴趣的候选区域，如：3D bounding boxes等，并在候选区域内对3D数据进一步预测得到实例标签。考虑到proposal-based 实例分割通常需要2个过程（先得到候选区域，再实例分割），分割过程繁琐，则proposal-free则摒弃了基于候选区域的方式，直接通过数据特征或者结合语义分割结果，得到实例分割结果。下面根据这两个方向总结现有的实例分割方法。
用于目标检测、跟踪和分割的3D点云数据的自动处理是人工智能和数据科学领域的最新研究趋势，旨在解决自动驾驶落地的不同问题并获得实时性能。
点云语义分割在许多与点云相关的应用程序中具有重要作用，特别是对于机载激光点云，精确的注释可大大扩展其在各种应用中的用途。然而，受限于传感器噪声、复杂的对象结构、不完整的点和不均匀的点密度，准确而有效的语义分割仍是一项艰巨的任务。因此，提出了一种结合局部与全局特征的机载激光点云语义分割网络。
文章：LiLO: Lightweight and low-bias LiDAR Odometry method based on spherical range image filtering
VIW Fusion是一种基于优化的视觉+惯导+轮速的里程计方案，感谢由港科大空中机器人小组在VINS Fusion方面所做的杰出工作，VIW融合是在VINS融合的基础上发展起来的。主要特征有：
激光雷达是利用激光束来感知三维世界，通过测量激光返回所需的时间输出为点云。它集成在自动驾驶、无人机、机器人、卫星、火箭等许多领域。
Xinlong Wang 1 Shu Liu 2 Xiaoyong Shen 2 Chunhua Shen 1 Jiaya Jia 2,3
技术解析是由美团点评无人配送部技术团队主笔，每期发布一篇无人配送领域相关技术解析或应用实例，本期为您带来的是论文PointNet系列论文解读。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
