上周点云公众号开启了学习模式，由博主分配任务，半个月甚至一个月参与学习小伙伴的反馈给群主，并在微信交流群中进行学术交流，加强大家的阅读文献能力，并提高公众号的分享效果。在此期待更多的同学能参与进来！
我们知道，照相机的原理是将一个三维场景投影到二维平面。所谓视觉三维重建，顾名思义就是从已有的二维图像中复原原始三维场景。
Windows下使用VisualSFM + CMVS/PMVS +MeshLab进行三维重建
PCL（PointCloudLibrary）是在吸收了前人点云相关研究基础上建立起来的大型跨平台开源C++编程库，它实现了大量点云相关的通用算法和高效数据结构，涉及到点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。支持多种操作系统平台，可在Windows、Linux、Android、MacOSX、部分嵌入式实时系统上运行。如果说OpenCV是2D信息获取与处理的结晶，那么PCL就在3D信息获取与处理上具有同等地位，PCL是BSD授权方式，可以免费进行商业和学术应用 。
ReCap Pro 2021是由Autodesk开发的一款专业的点云数据处理软件，旨在通过简化扫描点云数据的处理流程，提高用户的工作效率以及准确性。
PCL（Point Cloud Library，点云库）是在吸收了前人点云相关研究基础上建立起来的大型跨平台开源 C++ 编程库，它实现了大量点云相关的通用算法和高效数据结构，涉及点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等；支持多种操作系统平台，可在 Windows、Linux、Android、Mac OS X、部分嵌入式实时系统上运行。如果说 OpenCV 是 2D 信息获取与处理的结晶，那么 PCL 就在 3D 信息获取与处理上具有相同的地位。PCL 是 BSD 授权方式，可以免费进行商业和学术应用。
PCL（Point Cloud Library）是在吸收了前人点云相关研究基础上建立起来的大型跨平台开源C++编程库，它实现了大量点云相关的通用算法和高效数据结构，涉及到点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。支持多种操作系统平台，可在Windows、Linux、Android、Mac OS X、部分嵌入式实时系统上运行。如果说OpenCV是2D信息获取与处理的结晶，那么PCL就在3D信息获取与处理上具有同等地位，PCL是BSD授权方式，可以免费进行商业和学术应用。
CloudCompare是一个三维点云（网格）编辑和处理软件。最初，它被设计用来对稠密的三维点云进行直接比较。它依赖于一种特定的八叉树结构，在进行点云对比这类任务时具有出色的性能【1】。此外，由于大多数点云都是由地面激光扫描仪采集的，CloudCompare的目的是在一台标准笔记本电脑上处理大规模的点云——通常超过1000万个点云。在2005年后，cloudcompare就实现了点云和三角形网格之间的比较。随后，许多其他点云处理算法（配准、重采样、颜色/法线向量/尺度、统计计算、传感器管理、交互式或自动分割等）以及显示增强工具（自定义颜色渐变、颜色和法向量处理，校准图像处理、OpenGL着色器、插件等）
近年来我国很多企事业单位（如北京北科天绘、武汉海达数云、成都奥伦达、禾赛科技、深圳大疆及中科院上海光机所等）的激光雷达设备研制成果显著，自主产品不断地推陈出新，设备功能与性能愈发强大，并进一步向消费级产品迈进，行业应用也从早期的军事应用拓展到社会和国民经济发展的方方面面，如地形测绘、林业资源调查、电力巡检、数字城市、无人驾驶及遗产保护等。激光雷达硬件的快速发展与行业应用需求的急剧增加，对海量密集点云数据的处理时效、定量化应用水平、性能与功能强大的数据处理软件研制提出了新的挑战。
11年过去了，出走半生，我们依旧少年，「阿凡达2」依旧没有如约上映，但3D应用却在此期间得到了蓬勃的发展。这一方面得益于3D传感器技术的飞速发展，用户可以更加便捷地获取到三维图像数据；另一方面随着机器人、无人驾驶、AR&VR等业务的日趋成熟，需要快速处理和理解海量的3D数据，以便精确感知周边物体的空间信息，3D数据的深度学习需求应运而生。随着2020年中国新基建政策的发布，相信未来3D视觉技术将会有更广阔的应用空间。
文章：Open3DGen: Open-Source Software for Reconstructing Textured 3D Models from RGB-D Images
论文阅读模块将分享点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享，欢迎各位加入我，我们一起每天一篇文章阅读，开启分享之旅,有兴趣的可联系微信dianyunpcl@163.com。
为了方便大家了解基于多视图立体的三维重建技术，更重要的是能亲手利用开源数据集或者自己采集的影像跑一遍流程，进而对整个流程更为熟悉，本文整理了近年来几种经典的基于传统方法和基于深度学习方法的三维重建技术Pipeline，并详细介绍从多视图影像到深度图估计，再到恢复三维点云的整个过程。
Semantic-Segmentation-Editor是由日立汽车工业实验室（Hitachi Automotive And Industry Lab）开源的基于Web的语义对象标注编辑器（Semantic Segmentation Editor），该工具专门用于创建机器学习语义分割的训练数据，为自动驾驶研究开发的，但也可以用于标注其他类型的语义目标数据库。它不仅支持普通相机拍摄的2D图像（.jpg和.png文件）还支持LIDAR生成的3D点云（.pcd文件）中目标的标注。它是使用React， Paper.js和three.js开发的Meteor应用程序。
作为三维世界更为真实有效的表达，点云在近年来受到了学界和业界的广泛关注。激光雷达和深度相机的大规模应用也为点云的发展创造了丰富的数据条件。
虽然最近关于根据文本提示生成 3D点云的工作已经显示出可喜的结果，但最先进的方法通常需要多个 GPU 小时来生成单个样本。这与最先进的生成图像模型形成鲜明对比，后者在几秒或几分钟内生成样本。在本文中，我们探索了一种用于生成 3D 对象的替代方法，该方法仅需 1-2 分钟即可在单个 GPU 上生成 3D 模型。我们的方法首先使用文本到图像的扩散模型生成单个合成视图，然后使用以生成的图像为条件的第二个扩散模型生成 3D 点云。虽然我们的方法在样本质量方面仍未达到最先进的水平，但它的采样速度要快一到两个数量级，为某些用例提供了实际的权衡。我们在 https://github.com/openai/point-e 上发布了我们预训练的点云扩散模型，以及评估代码和模型。
点云补全（Point Cloud Completion）用于修补有所缺失的点云（Point Cloud），从缺失点云出发估计完整点云，从而获得更高质量的点云。点云有助于用较小的数据量描述三维物体，在三维物体的检测识别领域应用广泛。在 PointNet[1] 和 PointNet++[2] 使用深度学习网络实现了点云分割和点云分类之后，点云深度学习逐渐成为热门研究领域。但是，从激光雷达等设备中获取的点云往往有所缺失，这给点云的后续处理带来了一定的困难，也凸显出点云补全作为点云预处理方法的重要性。
是否可以通过将激光雷达与摄影测量技术相结合来提高点云的精度和密度？激光雷达数据可以穿透树木并测量阴影区域，以生成非常精确的点云。被动成像相机可导出更详细的 3D 模型，并使用多光谱信息对点云进行编码，从而实现有用的彩色点云分类。如果有可能合并这些技术呢？中性密度滤镜会对点云颜色产生什么影响？本文更详细地探讨了定量和定性点云增强。
随着新型，低成本的3D传感器硬件的出现（例如Kinect），以及科研人员在高级点云处理研究上的不断努力，3D感知在机器人技术以及其他领域显得愈发重要。
摘要：以多视图点云配准为研究对象，对近二十余年的多视图点云配准相关研究工作进行了全面的分类归纳及总结。首先，阐述点云数据及多视图点云配准的概念。根据配准的任务不同，将多视图点云配准分为多视图点云粗配准和多视图点云精配准两大类，并对其各自算法的核心思想及算法改进进行介绍，其中，多视图点云粗配准算法进一步分为基于生成树和基于形状生成两类；多视图点云精配准算法进一步分为基于点云的点空间、基于点云的帧空间变换平均、基于深度学习和基于优化四类。然后，介绍了四种多视图点云配准数据集及主流多视图配准评价指标。最后，对该研究领域研究现状进行总结，指出存在的挑战，并给出了未来研究展望。
萧箫 发自 凹非寺 量子位 | 公众号 QbitAI 这边AI画画的热度还没下去，OpenAI已经连“3D版”AI画画都搞出来了。 没错，用文字生成3D点云模型，还是超——快的那种！ 只需要一张英伟达V100卡，两分钟就能生成一个3D小物件，比谷歌的文生3D模型DreamFusion快了接近600倍 （但它们生成的不是同一种3D模型）。 项目代码开源后在网上爆火，英伟达AI科学家Jim Fan甚至大胆预测： 2023年会是3D模型爆发年，可以期待一波3D版Stable Diffusion和MidJourn
三维点云的语义分割3D Point Cloud Semantic Segmentation (PCSS)在计算机视觉以及机器人领域广泛的应用，随着深度学习技术的发展在点云的语义分割领域提供了新的可能性，并受到越来越多的关注，本文将着重的介绍这一主题的相关研究，首先从遥感领域和计算机视觉的角度概述三维点云的分割，并且结合已经发表的PCSS相关的文章作为研究基础，进行总结和比较，并且对传统的以及最新的点云分割技术进行回顾和比较，最后讨论了PCSS研究中重要的问题和有待解决的问题。
作者：龚靖渝， 楼雨京， 柳奉奇， 张志伟， 陈豪明， 张志忠， 谭鑫， 谢源， 马利庄
本文发表在 ICML 2020 中，题目是Hypernetwork approach to generating point clouds。利用超网络（hypernetworks）提出了一种新颖的生成 3D 点云的方法。与现有仅学习3D对象的表示形式方法相反，我们的方法可以同时找到对象及其 3D 表面的表示。我们 HyperCloud 方法主要的的想法是建立一个超网络，返回特定（目标）网络的权重，目标网络将均匀的单位球上的点映射到 3D 形状上。因此，特定的 3D 形状可以从假定的先验分布中通过逐点采样来生成，并用目标网络转换。因为超网络基于自动编码器，被训练来重建3D 形状，目标网络的权重可以视为 3D 表面的参数化形状，而不像其他的方法返回点云的标准表示。所提出的架构允许以生成的方式找到基于网格的 3D 对象表示。
翻译&整理 | 杨阳 出品 | AI科技大本营 OpenAI的Point-E是3D模型的DALL-E，这个速度极快的系统可以从文本中生成3D点云。 在推出针对文本和图像的生成人工智能模型之后，OpenAI现在展示了下一步可能出现的东西：一个从文本到三维模型的生成器。通过文本描述，Point-E生成了3D点云，可以作为虚拟环境中的模型。除OpenAI之外，已经有其他用于3D生成的工智能模型，如谷歌的Dreamfusion或Nvidia的Magic3D。 Point-E生成展示 然而，据说OpenAI的开源
上周在一篇共享的开源的方案中我们介绍了理论的研究部分，处于好奇，本人决定亲自测试一下该开源的方案，虽然了解PCL的同学应该都知道，该开源库中也有关于点云的压缩和解压的研究，效果也很好。在之前的博客中，我们有过介绍，将来如果有机会更加可以继续深入解析其中的理论以及代码部分，这里我们首先来学习一下这一优秀的开源代码。首先介绍一下这篇文章《Real-Time Spatio-Temporal LiDAR Point Cloud Compression》
标题：The algorithm to generate color point-cloud with the registration between panoramic imageand laser point-cloud
MVS是一种从具有一定重叠度的多视图视角中恢复场景的稠密结构的技术，传统方法利用几何、光学一致性构造匹配代价，进行匹配代价累积，再估计深度值。虽然传统方法有较高的深度估计精度，但由于存在在缺少纹理或者光照条件剧烈变化的场景中的错误匹配，传统方法的深度估计完整度还有很大的提升空间。
随着三维探测技术的发展，点云逐渐成为最常用的三维物体/场景表征的数据类型之一，广泛应用于自动驾驶、虚拟/增强现实、文物修复以及虚拟导览等诸多场景。
来源：AI科技大本营本文约800字，建议阅读5分钟OpenAI的Point-E是3D模型的DALL-E，这个速度极快的系统可以从文本中生成3D点云。 在推出针对文本和图像的生成人工智能模型之后，OpenAI现在展示了下一步可能出现的东西：一个从文本到三维模型的生成器。通过文本描述，Point-E生成了3D点云，可以作为虚拟环境中的模型。除OpenAI之外，已经有其他用于3D生成的工智能模型，如谷歌的Dreamfusion或Nvidia的Magic3D。 Point-E生成展示 然而，据说OpenAI的开源
大多数自动驾驶汽车使用 3D 激光扫描仪（即所谓的 LiDAR）来感知周围的 3D 世界。LiDAR 生成汽车周围场景的局部 3D 点云。这些 3D 点云广泛用于众多机器人和自动驾驶任务，如定位、物体检测、避障、映射、场景解释和轨迹预测。一个典型的 LiDAR 传感器每秒生成大约 10 个这样的点云。
多视角三维重建（MVS）是计算机领域的一项基础任务，目标是通过相机拍摄的图像和相机参数推导出现实环境中物体的三维信息。不同角度拍摄的图像会存在一些公共部分，合理分析并利用不同图像的关联是三维重建的基础。
继年初推出的DALL-E 2用天才画笔惊艳所有人之后，周二OpenAI发布了最新的图像生成模型「POINT-E」，它可通过文本直接生成3D模型。
这是一个称为FVNet的框架，从点云生成3D前视图提议和目标检测。它包括两步：生成前视图提议和估计3D边框参数。
本论文的第一作者朱钦峰是西交利物浦大学和利物浦大学联合培养的一年级在读博士，其导师为范磊副教授。他的主要研究方向为语义分割、多模态信息融合、3D视觉、高光谱图像和数据增强。该课题组正在招收24/25级博士生，欢迎邮件咨询。
文章：Automatic Building and Labeling of HD Maps with Deep Learning
我们提出了一种几何敏感的点云补全Transformer，通过将点云表示成为一组无序的点代理，并采用Transformer的Encoder-Decoder结构进行缺失点云生成。除此以外，我们提出了两个更具有挑战性的点云补全Benchmark——ShapeNet-55/34。我们的论文已被ICCV接收为Oral Presentation，代码、数据集与模型均以开源。
大型语言模型 (LLM) 的进步对自然语言处理产生了深远的影响，但尚未完全拥抱3D理解领域。为此本文提出了PointLLM，让LLMs学会理解点云信息并提供超越2D视觉数据的新途径。具体来说，PointLLM能够根据Prompt处理彩色点云信息，利用LLM的点云编码器来有效融合几何、外观和语言信息，生成符合任务目标的响应。实验结果表明：PointLLM 表现出优于现有2D基线的性能，在对象标注任务中，PointLLM在超过50%的样本中优于人工注释者。
作者：Jingyi Wang, Yu Liu, Hanlin Tan, Maojun Zhang
腾讯多媒体实验室专栏 基于全景图的空间场景重建技术在各类沉浸式媒体解决方案中有着广泛的应用，比如 VR 看房，虚拟展厅等，也是近年来学术界和工业界在积极研究的一个难题。本文主要介绍了腾讯多媒体实验室在该领域的研究进展。通过自研深度学习网络和 3D 计算机视觉技术的结合，解决了在复杂场景下全景图点云重建的难题，成功实现了通过全景图即可算法重建空间点云的效果。目前，该技术已经应用于腾讯多媒体·点云产品中。 随着三维视觉技术的发展，三维视觉已经逐步渗透到各个领域，在 AR / VR、自动驾驶、三维重建等领域
文章：LiLO: Lightweight and low-bias LiDAR Odometry method based on spherical range image filtering
论文：Benchmarking Robustness of 3D Point Cloud Recognition Against Common Corruptions
机器之心专栏机器之心编辑部 来自密歇根大学等机构的研究者提出了一个新颖且全面的数据集 ModelNet40-C ，以系统地测试以及进一步提高点云识别模型对于失真的稳健性。 3D 点云广泛应用于 3D 识别技术中。一些特别的应用领域往往对 3D 点云识别的安全性有更高的要求，如自动驾驶、医疗图像处理等。学界目前对点云安全性的研究集中在对抗攻击的稳健性。与对抗性攻击相比, 自然的失真和扰动在现实世界中更为常见。然而目前还没有关于 3D 点云针对失真的稳健性的系统性研究。 论文地址: https://arxiv
最近在微信群内，很多群友在群友的推荐下，购买了Astra pro的深度相机，价格地道，物超所值！群友反馈积极，所以这里出一波简单的教程。以下内容抛砖引玉，主要讲解windows下和Ubuntu上的测试用例。希望有其他相关分享的小伙伴可以联系dianyunpcl@163.com
本文介绍一篇基于RGB图像的单目三维目标检测的文章AM3D，该文发布于ICCV 2019《Accurate Monocular 3D Object Detection via Color-Embedded 3D Reconstruction for Autonomous Driving》。输入单幅RGB图像，输出三维Bounding Box信息。
当前的3D目标检测方法受2D检测器的影响很大。为了利用2D检测器的架构，它们通常将3D点云转换为规则的网格，或依赖于在2D图像中检测来提取3D框。很少有人尝试直接检测点云中的物体。
这个工作来自于浙江大学和DAMO academy。在点云配准领域，尽管已经有很多方法被提出来，但是无论是传统方法，还是近年来蓬勃发展的基于深度学习的三维点云配置方法，其实在真正应用到真实的LiDAR扫描点云帧时都会出现一些问题。造成这种困窘的一个主要的原因在于LiDAR扫描到的点云分布极不均匀。具体而言，相较于RGBD相机，LiDAR的有效扫描深度要大很多。随着深度的增大，其激光发射出去的扇面将会变得稀疏。因此，即使是扫描同一目标或场景的点云帧之间，其尺度并不一致。导致想要研究的关键点周围的邻域点分布也存在较大不同，难以通过这些3D点的特征描述关联起点云帧。这个问题一直以来都十分棘手。这个工作独辟蹊径，提出对于这种点云数据，不再通过3D点来构建关联以实现点云配准，而是研究点云数据中的高层次的几何原语。这种做法直观来说是有道理的，因为这些高层次的几何原语通常会有较大的支撑点集，换句话说，其对于点云扫描和采样具有较大的鲁棒性，通常不会因为某个点没有被记录而影响相应几何原语的提取。同时，几何原语通常具有更具体的特征和几何结构，例如一条直线、一个平面等，其更容易构建不同帧间的关联，避免误匹配。但是，这种研究思路通常难度较大，原因在于缺乏足够的有标签的数据集。在这种情况下，这个工作显得极其重要，它不仅仅提供了一个数据集自动标注模型，同样也是少数真正开始探索几何原语用于点云配准任务的先河性的工作。
文章：LiDAR-Generated Images Derived Keypoints Assisted Point Cloud Registration Scheme in Odometry Estimation
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
