KinectFusion是微软在2011年发表的一篇论文里提到的点云重建的方法，论文题目是：KinectFusion: Real-Time Dense Surface Mapping and Tracking。点云是用Kinect采集的，然后算法把这些点云注册对齐，融合成一个整体点云。
将多个数据集合并成一个全局一致的模型通常使用一种称为"配准"的技术来完成。其关键思想是识别数据集之间的对应点，并找到一个最小化对应点之间距离的变换关系。由于对应点的查找受到数据集的相对位置和方向的影响，因此需要重复这个过程。一旦最小化误差降到给定的阈值以下，就可以说完成了配准。pcl_registration库实现了众多点云配准算法，适用于有序和无序点云的数据集。
PCL提供节约一点云的值为一个PNG图像文件的可能方案。显然，这只能用有序的点云来完成，因为生成的图像的行和列将与点云的对应完全一致。例如，如果你从一个传感器Kinect或Xtion的点云，你可以用这个来检索640x480 RGB图像匹配的点云。
首先创建一个Kd树对象作为提取点云时所用的搜索方法，再创建一个点云索引向量cluster_indices，用于存储实际的点云索引信息，每个检测到的点云聚类被保存在这里。请注意： cluster_indices是一个向量，对每个检测到的聚类，它都包含一个索引点的实例，如cluster_indices[0]包含点云中第一个聚类包含的点集的所有索引。
前面总结了几种基于激光雷达点云数据的3D目标检测算法，还有一些算法不再单独列出，这里做个简单总结来分享下！
Apollo 系统传感器是以 Lidar 为主的，本文整理在 Apollo 6.0 中 Lidar 的基本代码流程。
标题：3D Point Cloud Processing and Learning for Autonomous Driving
本文提出了一种基于大规模无序点云的三维线段检测算法。与传统的方法先提取三维边缘点后在拟合三维线段的算法相比，本文提出了一种基于点云分割和二维线段检测的基础上，能够快速的实现三维线段检测算法。在输入无序点云的情况下，对三维线段进行三步检测。首先，通过区域生长和区域合并将点云分割成三维平面。其次，对每个三维平面，将其所属的所有点投影到平面上形成二维图像，然后进行二维轮廓提取和最小二乘拟合得到二维线段。然后将这些二维线段重新投影到三维平面上，以获得相应的三维线段。最后，提出了一种剔除异常点和合并相邻三维线段的后处理方法。在多个公共数据集上的实验证明了该方法的有效性和鲁棒性。
CrossPoint: Self-Supervised Cross-Modal Contrastive Learning for 3D Point Cloud Understanding
上周点云公众号开启了学习模式，由博主分配任务，半个月甚至一个月参与学习小伙伴的反馈给群主，并在微信交流群中进行学术交流，加强大家的阅读文献能力，并提高公众号的分享效果。在此期待更多的同学能参与进来！（目前已经有成员反馈，还有需要小伙伴没有发过来哦，下周开始会将分享整理出来，定期分享，并将文档上传至github组群，已经有部分分享上传至github组群中，供大家下载查看，并且有问题可以在github的issues中提问，大家可以相互提问并解答）
由于 3D 本身数据的复杂性和 MMDetection3D 支持任务（点云 3D 检测、单目 3D 检测、多模态 3D 检测和点云 3D 语义分割等）和场景（室内和室外）的多样性，整个框架结构相对复杂，新人用户的上手门槛相对较高。所以我们推出新的系列文章，让各个细分方向的用户都能轻松上手 MMDetection3D，基于框架进行自己的研究和开发。在系列文章的初期，我们会先带大家了解整个框架的设计流程，分析框架中的各种核心组件，介绍数据集的处理方法，然后再对各个细分任务及经典模型进行具体细节的代码层级介绍。同时也欢迎大家在评论区提出自己的需求，我们会收集各位的反馈补充更多的文章教程 ~
这是一个称为FVNet的框架，从点云生成3D前视图提议和目标检测。它包括两步：生成前视图提议和估计3D边框参数。
文章：M2DP: A Novel 3D Point Cloud Descriptor and Its Application in Loop Closure Detection
3D视觉技术相较于2D视觉能获取更丰富更全面的环境信息,已经成为机器人导航、无人驾驶、增强/虚拟现实、工业检测等领域的关键技术.当前基于2D的的计算机视觉技术日趋成熟,在很多领域取得了很不错的进展,但我们真实的世界是三维空间,利用2D的技术对真实世界进行建模存在先天的缺陷——深度信息缺失,我们不能从2D图片中获得物体的绝对尺度和位置,而这一点在点云中不会存在问题.“从单幅图像到双目视觉的3D目标检测算法”介绍了基于单目(monocular)视觉以及双目(binocular)视觉的3D目标检测算法,单目做3D检测完全是数据驱动,通过机器学习模型结合摄影几何的约束去拟合3D空间的数据分布;双目视觉会有额外的视差信息,可以重建出景深信息,所以可以得到比单目视觉更强的空间约束关系,在3D目标检测任务重的精度相比单目会更好.
本次推送给大家带来的是一种激光雷达和相机的外参标定方法，主要利用了ROS中 dynamic_reconfigure 功能包提供的动态配置参数功能（代码在最后）。
来源：https://github.com/Tian-Yifei/LSOOD-LiDAR-Scanning-Outdoor-Object-Dataset
本文仅做学术分享，如有侵权，请联系删除。欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈。内容如有错误欢迎评论留言，未经允许请勿转载！
标题：3D Object Detection Method Based on YOLO and K-Means for Image and Point Clouds
文章：Direct LiDAR Odometry:Fast Localization with Dense Point Clouds
三维数据通常可以用不同的格式表示，包括深度图像、点云、网格和体积网格。点云表示作为一种常用的表示格式，在三维空间中保留了原始的几何信息，不需要任何离散化。因此，它是许多场景理解相关应用（如自动驾驶和机器人）的首选表示。近年来，深度学习技术已成为计算机视觉、语音识别、自然语言处理、生物信息学等领域的研究热点，然而，三维点云的深度学习仍然面临着数据集规模小、维数高、非结构化等诸多挑战三维点云。在此基础上，本文对基于点云数据下的深度学习方法最新进展做了详解，内容包括三维形状分类、三维目标检测与跟踪、三维点云分割三大任务。
3D目标检测在ECCV20的文章中呈现依旧火热的研究趋势，本文对目前笔者看到过的ECCV20和ACM MM20的3D目标检测文章做一个汇总，分类方法按照该方法是否在对应数据集上实验作为分类方法。
在点云比较大的时候，通常使用点云分幅来进行分开处理，点云分幅用到的模块是TPhoto
激光雷达原始数据的topic为/points_raw，观察发现它仅被imageProjection节点订阅，因此我们分析这个节点。
论文题目：An LSTM Approach to Temporal 3D Object Detection in LiDAR Point Clouds
（1）学习如何连接两个不同点云为一个点云，进行操作前要确保两个数据集中字段的类型相同和维度相等，同时了解如何连接两个不同点云的字段（例如颜色 法线）这种操作的强制约束条件是两个数据集中点的数目必须一样，例如：点云A是N个点XYZ点，点云B是N个点的RGB点，则连接两个字段形成点云C是N个点xyzrgb类型
环境感知了确保无人车对环境的理解和把握，无人驾驶系统的环境感知部分通常需要获取周围环境的大量信息，具体来说包括：障碍物的位置，速度以及可能的行为，可行驶的区域，交通规则等等。无人车通常是通过融合激光雷达（Lidar），相机（Camera），毫米波雷达（Millimeter Wave Radar）等多种传感器的数据来获取这些信息，本节我们简要地了解一下激光雷达和相机在无人车感知中的应用。
输入原始点云（x，y，z，intensity），得到每个三维点的语义类别。如图所示，不同颜色代表不同类别。
PointNet: Deep Learning on PointSets for 3D Classification and Segmentation
http://www.pointclouds.org/documentation/tutorials/#filtering-tutorial 每个模块点击进去后，有demo可以查看
在这里和大家分享一下我们被CVPR 2022录用的工作“Point-BERT: Pre-training 3D Point Cloud Transformers with Masked Point Modeling”
公众号致力于分享点云处理，SLAM，三维视觉，高精地图相关的文章与技术，欢迎各位加入我们，一起交流一起进步。本文来自点云PCL博主的分享，未经作者允许请勿转载，欢迎各位同学积极分享和交流。
机器之心专栏 机器之心编辑部 随着深度学习技术的快速发展，数据驱动的方法已成为计算机视觉领域的核心。在过去的十年里，随着 ImageNet 诞生之后，计算机视觉领域见证了 “从数据中学习” 的范式的兴盛。在 ImageNet 上进行预训练，然后迁移到下游的视觉任务，都能显著提升模型性能，并且已经成为 2D 图像领域的标准化方式。 然而，由于真实世界 3D 数据（通常以点云或者 mesh 的形式）的扫描和标注非常繁琐，现有的 3D 数据集要么是合成的，要么与 ImageNet 的规模相去甚远。因此，与 2D
【导读】上周，我们在《激光雷达，马斯克看不上，却又无可替代？》一文中对自动驾驶中广泛使用的激光雷达进行了简单的科普，今天，这篇文章将各大公司和机构基于激光雷达的目标检测工作进行了列举和整合。由于文章列举方法太多，故作者将其分成上下两部分，本文为第一部分。
在测量较小的数据时会产生一些误差，这些误差所造成的不规则数据如果直接拿来曲面重建的话，会使得重建的曲面不光滑或者有漏洞，可以采用对数据重采样来解决这样问题，通过对周围的数据点进行高阶多项式插值来重建表面缺少的部分，
之前在微信公众号中更新了以下几个章节 1，如何学习PCL以及一些基础的知识 2，PCL中IO口以及common模块的介绍 3, PCL中常用的两种数据结构KDtree以及Octree树的介绍
URL https://openreview.net/pdf?id=T1Qx6EC08o TL;DR 利用知识蒸馏来增强camera-based方法的特征学习。具体做法如下： 预训练一个高性能专家模
环境感知确保了无人车对环境的理解和把握，无人驾驶系统的环境感知部分通常需要获取周围环境的大量信息，具体来说包括：障碍物的位置，速度以及可能的行为，可行驶的区域，交通规则等等。无人车通常是通过融合激光雷达（Lidar），相机（Camera），毫米波雷达（Millimeter Wave Radar）等多种传感器的数据来获取这些信息，本节我们主要介绍一下激光雷达和摄像机在无人驾驶感知中的应用。
标题：Revealing Occlusions with 4D Neural Fields
技术解析是由美团点评无人配送部技术团队主笔，每期发布一篇无人配送领域相关技术解析或应用实例，上期我们讲了激光雷达相关原理和非深度学习的目标检测算法，这一期我们来讲讲基于深度学习相关算法
SGPN [CVPR 2018]：点云的实例分割与物体检测。（SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
Open3D是一个开源库，支持快速开发和处理3D数据。Open3D在c++和Python中公开了一组精心选择的数据结构和算法。后端是高度优化的，并且是为并行化而设置的。
包含了用于点云数据估计三维特征的数据结构和功能函数，三维特征是空间中某个三维点或者位置的表示，它是基于点周围的可用信息来描述几何的图形的一种表示。在三维空间中，查询点周围的方法一般是K领域查找。三维空间的特征点物理意义上与图像类似，都是使用一些具有显著特征的点来表示整个点云
分享一篇今天新出的论文Point-GNN: Graph Neural Network for 3D Object Detection in a Point Cloud，来自卡内基梅隆大学（CMU）的研究人员提出使用图神经网络（GNN）进行点云数据的3D目标检测，取得了最先进的效果，甚至超越了一些基于点云和RGB数据融合的检测方法，为这一领域开辟了新的技术方向。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
