第一期内容中我们了解到，PCL官网上将PCL分为十四个功能模块（滤波器、特征、关键点、配准、Kd树、八叉树、分割、采样一致性、表面、范围图像、输入输出、可视化、常用、搜索），本期我们将粗略介绍部分模块的功能，帮助开发者定位可供自己应用的功能。
之前在微信公众号中更新了以下几个章节 1，如何学习PCL以及一些基础的知识 2，PCL中IO口以及common模块的介绍 3, PCL中常用的两种数据结构KDtree以及Octree树的介绍
机器之心发布 机器之心编辑部 在正在进行的 CVPR 2021 上，快手有多篇论文被接收，涵盖三维视觉、目标检测、视频目标分割、人脸伪造技术检测等热门研究领域。 计算机视觉和模式识别领域的顶级会议 CVPR 正在进行中，本次大会接收率为 23.7%，其中快手有 14 篇论文被接收，这也是快手在国际视觉技术相关领域顶级会议上中稿最多的一次，研究成果数量的阶段性爆发标志着快手产学研合作从探索期逐步进入成熟期。 此次快手的中稿论文，涵盖了三维视觉、目标检测、视频目标分割、人脸伪造技术检测等热门研究领域，部分研究成
Open3D是一个开源库，支持处理3D数据的软件的快速开发。Open3D前端在c++和Python中公开了一组精心选择的数据结构和算法。后端经过高度优化，并设置为并行化。我们欢迎来自开源社区的贡献。
计算机视觉和模式识别领域的顶级会议 CVPR 正在进行中，本次大会接收率为 23.7%，其中快手有 14 篇论文被接收，这也是快手在国际视觉技术相关领域顶级会议上中稿最多的一次，研究成果数量的阶段性爆发标志着快手产学研合作从探索期逐步进入成熟期。
Computational Geometry Algorithms Library，CGAL，计算几何算法库。使用C++语言编写的，提供高效、可控的算法库。广泛应用于计算几何相关领域，如地理信息系统、计算机图形学、计算机辅助设计、信息可视化系统、生物医学等。
目标检测任务的目标是找到图像中的所有感兴趣区域，并确定这些区域的位置和类别。由于目标具有许多不同的外观、形状和姿态，再加上光线、遮挡和成像过程中其它因素的干扰，目标检测一直以来都是计算机视觉领域中一大挑战性难题。
论文标题：An Accurate and Robust Range Image Registration Algorithm for 3D Object Modeling
点击上方蓝字关注我们 微信公众号：OpenCV学堂 关注获取更多计算机视觉与深度学习知识 将3D对象检测方法分为三类：单目图像，点云以及基于融合的方法。基于单目图像的方法。 尽管2D对象的检测已解决，并已在多个数据集中得到成功应用。但KITTI数据集对对象检测，提出了挑战的特定设置。而这些设置，对于大多数驾驶环境都是常见的，包括小的、被遮挡的或被截断的物体，以及高度饱和的区域或阴影。此外，图像平面上的2D检测，还不足以提供可靠的驱动系统。此类应用需要更精确的3D空间定位和尺寸估算。本节将重点介
论文链接：https://crgjournals.com/robotics-and-mechanical-engineering/articles/pallet-localization-techniques-of-forklift-robot-a-review-of-recent-progress
在当今世界，开发能够理解世界 3D 数据的系统至关重要。例如自动驾驶汽车需要 3D 理解才能移动并避免与物体碰撞。相比之下AR/VR 应用程序可以帮助人们进行日常活动，例如想象沙发是否适合客厅。
点云是视觉分析和场景理解的典型3D表示。但各种3D场景理解任务仍然缺乏实用和可推广的预训练模型，同时尽管3D点云数据在3D表示中无所不在，但与2D图像数据相比，对3D点云进行标注要困难得多。因此，动机是：正确利用大量未标记的3D点云数据是大规模3D视觉分析和场景理解成功的必要条件。
将多个数据集合并成一个全局一致的模型通常使用一种称为"配准"的技术来完成。其关键思想是识别数据集之间的对应点，并找到一个最小化对应点之间距离的变换关系。由于对应点的查找受到数据集的相对位置和方向的影响，因此需要重复这个过程。一旦最小化误差降到给定的阈值以下，就可以说完成了配准。pcl_registration库实现了众多点云配准算法，适用于有序和无序点云的数据集。
本文为《Deep Learning for LiDAR Point Clouds in Autonomous Driving: A Review》译文，在原文的基础上译者会稍作修改提炼，方便大家学习理解。
本文发表在 ICML 2020 中，题目是Hypernetwork approach to generating point clouds。利用超网络（hypernetworks）提出了一种新颖的生成 3D 点云的方法。与现有仅学习3D对象的表示形式方法相反，我们的方法可以同时找到对象及其 3D 表面的表示。我们 HyperCloud 方法主要的的想法是建立一个超网络，返回特定（目标）网络的权重，目标网络将均匀的单位球上的点映射到 3D 形状上。因此，特定的 3D 形状可以从假定的先验分布中通过逐点采样来生成，并用目标网络转换。因为超网络基于自动编码器，被训练来重建3D 形状，目标网络的权重可以视为 3D 表面的参数化形状，而不像其他的方法返回点云的标准表示。所提出的架构允许以生成的方式找到基于网格的 3D 对象表示。
文章：3D Object Detection for Autonomous Driving: A Survey
虽然最近关于根据文本提示生成 3D点云的工作已经显示出可喜的结果，但最先进的方法通常需要多个 GPU 小时来生成单个样本。这与最先进的生成图像模型形成鲜明对比，后者在几秒或几分钟内生成样本。在本文中，我们探索了一种用于生成 3D 对象的替代方法，该方法仅需 1-2 分钟即可在单个 GPU 上生成 3D 模型。我们的方法首先使用文本到图像的扩散模型生成单个合成视图，然后使用以生成的图像为条件的第二个扩散模型生成 3D 点云。虽然我们的方法在样本质量方面仍未达到最先进的水平，但它的采样速度要快一到两个数量级，为某些用例提供了实际的权衡。我们在 https://github.com/openai/point-e 上发布了我们预训练的点云扩散模型，以及评估代码和模型。
最近因为有些重要工作需要处理，系列文章因此搁置，月底时间稍微充裕，我们继续上一次的主题，聊一聊3D几何语义中的边界属性，感兴趣的同学可以回顾一下上一篇分享。
两者之间的区别在于，在两个阶段的检测器中，第一阶段使用区域提议网络来生成关注区域，第二阶段使用这些关注区域进行对象分类和边界框回归。另一方面，单级检测器使用输入图像直接学习分类概率和边界框坐标。因此，这些架构将对象检测视为简单的回归问题，因此速度更快但准确性较低。
基于NeRF的方法在处理大型场景时，渲染时间长且渲染效果差。而现有基于3D高斯的方法由于训练内存大、优化时间长和外观变化剧烈，难以扩展到大型场景。
包含了用于点云数据估计三维特征的数据结构和功能函数，三维特征是空间中某个三维点或者位置的表示，它是基于点周围的可用信息来描述几何的图形的一种表示。在三维空间中，查询点周围的方法一般是K领域查找。三维空间的特征点物理意义上与图像类似，都是使用一些具有显著特征的点来表示整个点云
苹果进军自动驾驶汽车的传闻由来已久，最新的传闻是苹果已经搁置了整车研发的计划，转而开发自动驾驶汽车的软件平台。最近，也有不少路人在苹果总部附近看到过苹果的雷克萨斯路测车。 近日，向来以保密闻名的苹果发表在arXiv上的一篇论文又泄露了其无人车项目的最新进展。这篇论文的主题是“VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection”，作者为Yin Zhou（领英资料显示，Yin Zhou本科毕业于北京交通大学，2015
准备好探索3D分割的世界吧！让我们一起完成PointNet的旅程，探索一种理解3D形状的超酷方式。PointNet就像是计算机观察3D物体的智能工具，特别是对于那些在空间中漂浮的点云。与其他方法不同，PointNet直接处理这些点，不需要将它们强行转换成网格或图片。
这就是谷歌AI今天发布的MediaPipe Objectron，一个可以实时3D目标检测的pipeline。
项目代码：https://github.com/ZrrSkywalker/Point-NN
从大规模的数据中进行预训练，在计算机视觉中得到了广泛应用，也是在特定任务上得到高性能模型的基础。
激光雷达是利用激光束来感知三维世界，通过测量激光返回所需的时间输出为点云。它集成在自动驾驶、无人机、机器人、卫星、火箭等许多领域。
物体检测作为计算机视觉领域最广泛的研究主题之一，虽然2D 物体检测已在工业界得到了比较成熟的应用，然而实现 3D 物体检测目前还困难重重。
论文阅读模块将分享点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享，欢迎各位加入我，我们一起每天一篇文章阅读，开启分享之旅,有兴趣的可联系微信dianyunpcl@163.com。
Open3D是一个开源库，支持快速开发和处理3D数据。Open3D在c++和Python中公开了一组精心选择的数据结构和算法。后端是高度优化的，并且是为并行化而设置的。
在所有的项目中，其中有一个最突出的，来自一位工程实习生，他撰写了一篇基于相机的3D目标跟踪的论文。
随着深度神经网络的到来，基于学习的三维重建方法逐渐变得流行。但是和图像不同的是，在3D中没有规范的表示，既能高效地进行计算，又能有效地存储，同时还能表示任意拓扑的高分辨率几何图形。
近十年来，目标检测已经成为计算机视觉领域的核心话题。这种日益增长的兴趣源于自动驾驶、人群计数、异常检测和智能视频监控等新挑战。因此，多年来已经开发出了许多创新型的神经网络，如Faster R-CNN [4]，YOLO [5]，SSD [6]和DETR [7]。大多数这些架构的性能都是通过像Pascal VOC [8]，Open Images [9]和MS-COCO [1]这样的广泛使用的数据集进行评估和比较的。
近年来，利用点云数据进行三维目标检测的研究兴趣日益增长。为了在自动驾驶等领域广泛应用，这些模型必须在多种环境下展现出稳健的性能。尽管在基准数据集上的三维目标检测已经取得进展，但在恶劣天气条件（例如，雨天）下实现一致且可靠性能仍是一个开放的挑战。
继年初推出的DALL-E 2用天才画笔惊艳所有人之后，周二OpenAI发布了最新的图像生成模型「POINT-E」，它可通过文本直接生成3D模型。
3D传感器（如激光雷达和深度相机）的普及引起了人们对3D视觉的广泛关注，这些传感器采集的3D数据可以提供丰富的几何结构和尺度细节，这也在许多领域得到了实际应用，包括自动驾驶技术[1]、机器人控制技术[2]等。
动态视图合成旨在从捕捉到的视频中重建动态3D场景，并创建沉浸式虚拟回放，这是计算机视觉和计算机图形学领域长期存在的研究问题。对这项技术的实用性至关重要的是它能够以高保真度实时渲染，使其能够应用于VR/AR、体育广播和艺术表演。最近，隐式神经表示在通过可微分渲染从 RGB 视频重建动态 3D 场景方面取得了巨大成功。尽管动态视图的合成结果令人印象深刻，但现有的方法通常由于昂贵的网络评估过程需要几秒钟甚至几分钟才能以 1080p 的分辨率渲染图像。
三维物体通常表示为点云中的三维框。 这种表示模拟了经过充分研究的基于图像的2D边界框检测，但也带来了额外的挑战。 3D世界中的目标不遵循任何特定的方向，基于框的检测器很难枚举所有方向或将轴对齐的边界框匹配到旋转的目标。 在本文中，我们提出用点来表示、检测和跟踪三维物体。 我们的框架CenterPoint，首先使用关键点检测器检测目标的中心，然后回归到其他属性，包括3D尺寸、3D方向和速度。 在第二阶段，它使用目标上的额外点特征来改进这些估计。 在CenterPoint中，三维目标跟踪简化为贪婪最近点匹配。 由此产生的检测和跟踪算法简单、高效、有效。 CenterPoint在nuScenes基准测试中实现了最先进的3D检测和跟踪性能，单个模型的NDS和AMOTA分别为65.5和63.8。 在Waymo开放数据集上，Center-Point的表现远远超过了之前所有的单一模型方法，在所有仅使用激光雷达的提交中排名第一。
文章：STD: Stable Triangle Descriptor for 3D place recognition
用于目标检测、跟踪和分割的3D点云数据的自动处理是人工智能和数据科学领域的最新研究趋势，旨在解决自动驾驶落地的不同问题并获得实时性能。
经典的计算机视觉问题是通过数学模型或者统计学习识别图像中的物体、场景，继而实现视频时序序列上的运动识别、物体轨迹追踪、行为识别等等。然而，由于图像是三维空间在光学系统的投影，仅仅实现图像层次的识别是不够的，这在无人驾驶系统、增强现实技术等领域表现的尤为突出，计算机视觉的更高层次必然是准确的获得物体在三维空间中的形状、位置、姿态，通过三维重建技术实现物体在三维空间的检测、识别、追踪以及交互。近年来，借助于二维图像层面的目标检测和识别的性能提升，针对如何恢复三维空间中物体的形态和空间位置，研究者们提出了很多有效的方法和策略。
http://www-scf.usc.edu/~choyingw/works/GAIS-Net/WSAD/CVPRW_CameraReady.pdf
标题:RetinaTrack: Online Single Stage Joint Detection and Tracking
人类具有一种与生俱来的能力，可以轻松地想象3D几何和虚构出从不同角度看物体的外观，这基于他们对世界的先验知识。
回顾 CVPR 2018 ，旷视科技有 8 篇论文被收录，如高效的移动端卷积神经网络 ShuffleNet、语义分割的判别特征网络 DFN、优化解决人群密集遮挡问题的 RepLose、通过角点定位和区域分割优化场景文本检测的一种新型场景文本检测器、率先提出的可复原扭曲的文档图像等等。
摘要：三维重建是计算机视觉计算机图形学和机器学习等领域几十年来一个不适定问题。从2015年开始使用CNN解决基于图像的三维重建（image-based 3D reconstruction）有了极大的关注并且展示出强大的性能。在新时代的快速发展下，我们提供了这一领域详细的调研。本文章专注于从RGB图像估计三维物体形状的深度学习方法。除此之外我们还回顾了关于特定物体（如人脸）的近期研究。我们一些重要论文性能的分析和比较，总结这一领域的现有问题并讨论未来研究的方向。
随着新型，低成本的3D传感器硬件的出现（例如Kinect），以及科研人员在高级点云处理研究上的不断努力，3D感知在机器人技术以及其他领域显得愈发重要。
采用基于检索的 NLP 的一系列新方法正在成为提高语言模型能力的有效替代方法。 沿着这些思路，Borgeaud 等人. (2021) 最近提出了 RETRO，这是一种利用 2 万亿token数据库的检索增强型 Transformer。 自回归模型以基于与先前标记的相似性从大型语料库中检索的文档块为条件。 与之前的增强方法（如 REALM）类似，所提出的模型在知识密集型任务（如问答）上表现得特别好。 有关 RETRO 架构的概述，请参见上图。
当前的3D目标检测方法受2D检测器的影响很大。为了利用2D检测器的架构，它们通常将3D点云转换为规则的网格，或依赖于在2D图像中检测来提取3D框。很少有人尝试直接检测点云中的物体。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
