上周点云公众号开启了学习模式，由博主分配任务，半个月甚至一个月参与学习小伙伴的反馈给群主，并在微信交流群中进行学术交流，加强大家的阅读文献能力，并提高公众号的分享效果。在此期待更多的同学能参与进来！（目前已经有成员反馈，下周开始会将分享整理出来，定期分享，并将文档上传至github组群，供大家下载查看，并且有问题可以在github的issues中提问，大家可以相互提问并解答）
由于全卷积网络（Fully Convolutional Network, FCN）架构的快速发展，深度学习在语义分割方面取得了里程碑式的进展。大多数方法采用全监督学习方案，需要大量带注释的数据进行训练。尽管它们可以实现良好的性能，但它们数据饥渴的性质需要大量的像素级图像标注。 为了缓解这一问题，特斯联首席科学家邵岭博士及团队，提出了一个用于小样本语义分割的框架，在给定少量像素级标注的支持集（Support）图像的情况下，分割查询集（Query）图像中的目标物体。相关研究成果已于2022年CVPR发表，题为《
包含了用于点云数据估计三维特征的数据结构和功能函数，三维特征是空间中某个三维点或者位置的表示，它是基于点周围的可用信息来描述几何的图形的一种表示。在三维空间中，查询点周围的方法一般是K领域查找。三维空间的特征点物理意义上与图像类似，都是使用一些具有显著特征的点来表示整个点云
点云配准的目标是根据原始点云和目标点云，通过配准求出变换矩阵，即旋转矩阵R和平移矩阵T，并计算误差，来比较匹配结果。主要有以下几种比较
点云公众号开启了第二期的学习模式，由博主统筹任务，群成员自由选择选择的研究任务。半个月甚至一个月参与学习小伙伴的反馈给群主，并在微信交流群中进行学术交流，加强大家的阅读文献能力，并提高公众号的分享效果。在此期待更多的同学能参与进来！
文本简单的介绍了CPM 1.0/华为盘古/CPM 2.0/EVA/达摩院PLUG这几个模型，并做了一些简单的对比和应用的介绍
文章：M2DP: A Novel 3D Point Cloud Descriptor and Its Application in Loop Closure Detection
文章“Objectrecognition in 3D scenes with occlusions and clutter by Hough voting”发表在2010年，提出了一个经典的将霍夫投票思想用于三维场景目标识别的方法，在杂乱场景和有遮挡情况下取得了不错的效果。这一思想在近年的文章中被多次引用，一些深度学习的方法也有该投票思想的影子。该方法已在PCL库中有简易实现。
一般下采样是通过构造一个三维体素栅格，然后在每个体素内用体素内的所有点的重心近似显示体素中的其他点，这样体素内所有点就用一个重心点来表示，进行下采样的来达到滤波的效果，这样就大大的减少了数据量，特别是在配准，曲面重建等工作之前作为预处理，可以很好的提高程序的运行速度，
关于pcl::PCLPointCloud2::Ptr和pcl::PointCloud<pcl::PointXYZ>两中数据结构的区别
（2）使用ConditionalRemoval 或RadiusOutlinerRemoval移除离群点
应小伙伴们后台留言，想要了解ROS中如何使用PCL，本篇文章就将具体介绍一下。文章中如有错误，欢迎留言指出。也期待大家能够积极分享和讨论。
关于PCL在ros的数据的结构，具体的介绍可查 看 wiki.ros.org/pcl/Overview
1.1 点击path添加（4个bin路径即包含dll,exe文件夹）: (win10直接一行一行添加，win7；隔开)
关于点云的分割算是我想做的机械臂抓取中十分重要的俄一部分，所以首先学习如果使用点云库处理我用kinect获取的点云的数据，本例程也是我自己慢慢修改程序并结合官方API 的解说实现的，其中有很多细节如果直接更改源程序，可能会因为数据类型，或者头文件等各种原因编译不过，会导致我们比较难得找出其中的错误，首先我们看一下我自己设定的一个场景，然后我用kinect获取数据
pcl_common中主要是包含了PCL库常用的公共数据结构和方法，比如PointCloud的类和许多用于表示点，曲面，法向量，特征描述等点的类型，用于计算距离，均值以及协方差，角度转换以及几何变化的函数。
基于欧式距离的分割和基于区域生长的分割本质上都是用区分邻里关系远近来完成的。由于点云数据提供了更高维度的数据，故有很多信息可以提取获得。欧几里得算法使用邻居之间距离作为判定标准，而区域生长算法则利用了法线，曲率，颜色等信息来判断点云是否应该聚成一类。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
首先注意一点，这里是region growing segmentation，不是color-based region growing segmentation.
二进制版的vtk第三方库不支持Qt，需要重新下载vtk并用cmake编译，注意要版本对应，这里我用pcl1.8.1，对应vtk8.0，在这里下载。
在测量较小的数据时会产生一些误差，这些误差所造成的不规则数据如果直接拿来曲面重建的话，会使得重建的曲面不光滑或者有漏洞，可以采用对数据重采样来解决这样问题，通过对周围的数据点进行高阶多项式插值来重建表面缺少的部分，
首先通过pcl::VoxelGrid (filters)先对点云数据进行下采样滤波； 然后通过pcl::SACSegmentation<pcl::PointXYZ> seg; (segmentation)创建Nodelet样本细分类别； 然后通过 pcl::ExtractIndices<pcl::PointXYZ> extract;(filters)提取索引； 最后通过pcl::EuclideanClusterExtraction<pcl::PointXYZ> ec; 生成欧式聚类对象 (segmentation)。
Github库在这（这里用1.8.1）：https://github.com/PointCloudLibrary/pcl/releases/tag/pcl-1.8.1
平面的法线是垂直于它的单位向量。在点云的表面的法线被定义为垂直于与点云表面相切的平面的向量。表面法线也可以计算点云中一点的法线，被认为是一种十分重要的性质。 法线提供了关于曲面的曲率信息，这是它的优势。许多的PCL的算法需要我们提供输入点云的法线。为了估计它们，代码分析如下
上周点云公众号开启了学习模式，由博主分配任务，半个月甚至一个月参与学习小伙伴的反馈给群主，并在微信交流群中进行学术交流，加强大家的阅读文献能力，并提高公众号的分享效果。在此期待更多的同学能参与进来！（目前已经有成员反馈，还有需要小伙伴没有发过来哦，下周开始会将分享整理出来，定期分享，并将文档上传至github组群，已经有部分分享上传至github组群中，供大家下载查看，并且有问题可以在github的issues中提问，大家可以相互提问并解答）
可视化（visualization）是利用计算机图形学和图像处理技术，将数据转换图像在屏幕上显示出来，并进行交互处理的的理论，方法和技术，
点云分割是根据空间，几何和纹理等特征对点云进行划分，使得同一划分内的点云拥有相似的特征，点云的有效分割往往是许多应用的前提，例如逆向工作，CAD领域对零件的不同扫描表面进行分割，然后才能更好的进行空洞修复曲面重建，特征描述和提取，进而进行基于3D内容的检索，组合重用等。
中文译著已经出版，详情请参考：http://blog.csdn.net/ZhangRelay/article/category/6506865
PCLVisualizer可视化类是PCL中功能最全的可视化类，与CloudViewer可视化类相比，PCLVisualizer使用起来更为复杂，但该类具有更全面的功能，如显示法线、绘制多种形状和多个视口。本小节将通过示例代码演示PCLVisualizer可视化类的功能，从显示单个点云开始。大多数示例代码都是用于创建点云并可视化其某些特征
http://www.pointclouds.org/documentation/tutorials/#filtering-tutorial 每个模块点击进去后，有demo可以查看
由于项目涉及点云目标识别和定位等相关内容，因此开始接触基于PCL的三维点云处理。对于PCL，官方解释是：PCL（Point Cloud Library，点云库）是吸收了前人点云相关研究的基础上建立起来的大型跨平台开源C++编程库，它实现了大量点云相关的通用算法和高效数据结构，涉及点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。本系列文章主要记录关于PCL点云库的学习过程。
已知点云P中有n个点，那么它的点特征直方图（PFH）的理论计算复杂度是，其中k是点云P中每个点p计算特征向量时考虑的邻域数量。对于实时应用或接近实时应用中，密集点云的点特征直方图（PFH）的计算，是一个主要的性能瓶颈。此处为PFH计算方式的简化形式，称为快速点特征直方图FPFH（Fast Point Feature Histograms）
来源丨https://blog.csdn.net/AdamShan/article/details/82901295
上两篇介绍了关于欧几里德分割，条件分割，最小分割法等等还有之前就有用RANSAC法的分割方法，这一篇是关于区域生成的分割法，
在获取点云数据时 ，由于设备精度，操作者经验环境因素带来的影响，以及电磁波的衍射特性，被测物体表面性质变化和数据拼接配准操作过程的影响，点云数据中讲不可避免的出现一些噪声。在点云处理流程中滤波处理作为预处理的第一步，对后续的影响比较大，只有在滤波预处理中将噪声点 ，离群点，孔洞，数据压缩等按照后续处理定制，才能够更好的进行配准，特征提取，曲面重建，可视化等后续应用处理，PCL中点云滤波模块提供了很多灵活实用的滤波处理算法，例如：双边滤波，高斯滤波，条件滤波，直通滤波，基于随机采样一致性滤波， PCL中点云滤波的方案 PCL中总结了几种需要进行点云滤波处理情况，这几种情况分别如下： （1） 点云数据密度不规则需要平滑 （2） 因为遮挡等问题造成离群点需要去除 （3） 大量数据需要下采样 （4） 噪声数据需要去除 对应的方案如下： （1）按照给定的规则限制过滤去除点 （2） 通过常用滤波算法修改点的部分属性 （3）对数据进行下采样 双边滤波算法是通过取临近采样点和加权平均来修正当前采样点的位置，从而达到滤波效果，同时也会有选择剔除与当前采样点“差异”太大的相邻采样点，从而保持原特征的目的
刚接触PCL两个月，在群主和群友的帮助下完成了PCL1.6.0 和1.8.0的配置，这里记录了我配置过程中的问题，可能很小白，不足之处希望各位见谅指正。
从深度图像中提取边界（从前景跨越到背景的位置定义为边界），对于物体边界：这是物体的最外层和阴影边界的可见点集，阴影边界：毗邻与遮挡的背景上的点集，Veil点集，在被遮挡物边界和阴影边界之间的内插点，它们是有激光雷达获取的3D距离数据中的典型数据类型，这三类数据及深度图像的边界如图：
PCL中进行点云去噪的方法比较多，其中一种基于统计学的方法比较新颖，其函数为StatisticalOutlierRemoval。其原理是将输入数据中每个点到临近点的距离分布情况进行计算，得到各点到它所有临近点的平均距离。假设得到的结果是一个高斯分布，其形状由均值和标准差决定，平均距离在标准范围之外，就被定义为离群点而将其从数据集中删除。 其实现的关键代码进行说明：
书中，大部分出现hydro的地方，直接替换为indigo或jade或kinetic，即可在对应版本中使用。
点云滤波不同于图像滤波，它指的是将原始激光雷达点云数据分为地面点和地物点的二分类过程。由于PCL点云库具备易用、且实现了大多数点云处理算法，我们使用PCL中的渐进形态学滤波算法对点云进行滤波：
pcl_ros是一个用于将PCL（点云库）与ROS（机器人操作系统）集成的软件包。它提供了用于在ROS环境中处理和可视化点云数据的工具和功能。
关于上一篇博文中提到的欧几里德分割法称之为标准的距离分离，当然接下来介绍其他的与之相关的延伸出来的聚类的方法，我称之为条件欧几里德聚类法，（是我的个人理解），这个条件的设置是可以由我们自定义的，因为除了距离检查，聚类的点还需要满足一个特殊的自定义的要求，就是以第一个点为标准作为种子点，候选其周边的点作为它的对比或者比较的对象，如果满足条件就加入到聚类的对象中，至于到底怎么翻译我也蒙了，只能这样理解了
下载路径：http://unanancyowen.com/en/pcl181 （这个并不是官网，官网是这个:http://pointclouds.org/）
记录关于我们运行roslaunch openni_launch openni.launch 命令时生成的话题以及这些话题的数据类型便于后期的处理，只有知道它们的数据结构，才能很好的对数据进行处理，我们观察到使用rostopic list的所有话题的列表,当然其中也有一些不经常使用的话题类型，比如下面这些话题是我们经常使用的 /camera/depth/image /camera/depth/image_raw /camera/depth/points /camera/ir/image_raw /camera/rgb/image_color /camera/rgb/image_raw
关键点也称为兴趣点，它是2D图像或是3D点云或者曲面模型上，可以通过定义检测标准来获取的具有稳定性，区别性的点集，从技术上来说，关键点的数量相比于原始点云或图像的数据量减小很多，与局部特征描述子结合在一起，组成关键点描述子常用来形成原始数据的表示，而且不失代表性和描述性，从而加快了后续的识别，追踪等对数据的处理了速度，故而，关键点技术成为在2D和3D 信息处理中非常关键的技术
对点云的操作可以直接应用变换矩阵，即旋转，平移，尺度，3D的变换就是要使用4*4 的矩阵,例如：
在3D视窗中以点云形式进行可视化（深度图像来自于点云），另一种是将深度值映射为颜色，从而以彩色图像方式可视化深度图像，
使用统计分析技术，从一个点云数据中集中移除测量噪声点（也就是离群点）比如：激光扫描通常会产生密度不均匀的点云数据集，另外测量中的误差也会产生稀疏的离群点，使效果不好，估计局部点云特征（例如采样点处法向量或曲率变化率）的运算复杂，这会导致错误的数值，反过来就会导致点云配准等后期的处理失败。
PCL提供节约一点云的值为一个PNG图像文件的可能方案。显然，这只能用有序的点云来完成，因为生成的图像的行和列将与点云的对应完全一致。例如，如果你从一个传感器Kinect或Xtion的点云，你可以用这个来检索640x480 RGB图像匹配的点云。
由于LiDAR一次扫描只能得到局部点云信息，为了能获得全局点云信息（如一个房间、一个三维物体），就需要进行多次连续扫描，并进行点云配准。由于每次扫描得到的点云都有独立的坐标系，因此点云配准时要进行坐标变换（旋转、平移），将多帧不同坐标系下的点云整合到一个坐标系下。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
