Emgu CV 是.NET平台下对OpenCV图像处理库的封装。也就是OpenCV的.NET版。它运行在.NET兼容的编程语言下调用OpenCV的函数，如C#、VB、VC++等。同时这个封装库可以在Mono下编译和在Linux / Mac OS X上运行。Emgu Cv的优势在于.net非常完美的界面，给用户操作带来非常直观的感觉。Emgu Cv每个版本都有修改一部分函数，在兼容旧版本下做的不是很好。本书主要采用VS2013+EmguCv3.0版本，希望读者也采用相同的版本进行学习，从而避免一些版本兼容上的问题。在国内并不流行Emgu Cv，因此关于Emgu Cv的资料比较少，从而导致了新手学习起来比较费劲，同时使更多想去学习Emgu Cv的人放弃学习，这样的一个恶性循环。
但是，当需要做一些图像处理方面的学习和研究的时候，首要任务就是选择一套合适的图像处理类库，这期我们主要简单介绍下各家图像库的一些优缺点。OpenCV，Intel IPP，Halcon，MATLAB ，OpenGL，EmguCv，AForge.net，CxImage，FreeImage，paintlib，AGG，IPL，visDSK。不足之处，还请大家多多提建议，多谢！
当需要做一些图像处理方面的学习和研究的时候，首要任务就是选择一套合适的图像处理类库，本文主要简单介绍下各家图像库的一些优缺点。OpenCV，Intel IPP，Halcon，MATLAB ，OpenGL，EmguCv，AForge.net，CxImage，FreeImage，paintlib，AGG，IPL，visDSK。不足之处，还请大家多多提建议，多谢！欢迎微信关注公众号“智能算法”，带您体验不一样的人生。 1. OpenCV 简介：OpenCV全称是:Open Source Computer
滤波作用 图像滤波，即在尽量保留图像细节特征的条件下对目标图像的噪 声(包括高斯噪声、椒盐、噪声、随机噪声等）进行抑制，是图像预 处理中不可缺少的操作，其处理效果的好坏将直接影响到到后续图 像处理和分析的有效性和可靠性。 对不同的噪声的抑制，需要使用不同的滤波进行处理，这边主要 介绍几种滤波方法。
在深度学习项目中，寻找数据花费了相当多的时间。但在很多实际的项目中，我们难以找到充足的数据来完成任务。
EmguCV和OpenCvSharp都是OpenCV在.Net下的封装，常常会听到有人说EmguCV或OpenCvSharp同样的函数比OpenCV函数运行速度慢，到底是不是真的？博主暂时也没有去一一验证，本文主要对比下三者用指针方法读取像素的速度、耗时情况。
论文题目：HybridPose: 6D Object Pose Estimation under Hybrid Representations
这段时间垃圾分类相关小程序、APP的上线，让图像识别又一次进入人们的视线，我国图像识别技术在全世界都排在前列。
1、延迟低，参数可控，相关函数方便查询，是选择FFmpeg作为编解码器最主要原因，如果是处理实时流，要求低延迟，最好选择是FFmpeg。
做SLAM的同学经常用打印的标定板进行相机标定，打印出的标定板定位精度真的很低，其实配合结构光中的相移法，利用ipad屏幕即可进行高精度的相机标定。
Emgu CV是OpenCV图像处理库在跨平台.Net下的封装。允许用.Net兼容语言来调用 OpenCV函数，如C#、VB、VC++、IronPython等。同时该封装可以在Mono平台编译并且允许在Windows，Linux，Mac OS X，iPhone，iPad和Android设备上运行。
论文和代码可以在这个网址找到：https://cs.adelaide.edu.au/~tjchin/apap/
本文方法是一种自监督的单目深度估计框架，名为GasMono，专门设计用于室内场景。本方法通过应用多视图几何的方式解决了室内场景中帧间大旋转和低纹理导致自监督深度估计困难的挑战。GasMono首先利用多视图几何方法获取粗糙的相机姿态，然后通过旋转和平移/尺度优化来进一步优化这些姿态。为了减轻低纹理的影响，该框架将视觉Transformer与迭代式自蒸馏机制相结合。通过在多个数据集上进行实验，展示了GasMono框架在室内自监督单目深度估计方面的最先进性能。
全局视觉定位是指利用单张图像，根据已有的地图，估计相机的绝对姿态（位置和方向）。这种技术可以应用于机器人和增强/虚拟现实等领域。这篇文章的主要贡献是提出了一种利用姿态标签来学习场景的三维几何信息，并利用几何信息来估计相机姿态的方法。具体来说，作者设计了一个学习模型，它可以从图像中预测两种三维几何表示（X, Y, Z坐标），一种是相机坐标系下的，另一种是全局坐标系下的。然后，通过将这两种表示进行刚性对齐，就可以得到与姿态标签匹配的姿态估计。这种方法还可以引入额外的学习约束，比如最小化两种三维表示之间的对齐误差，以及全局三维表示和图像像素之间的重投影误差，从而提高定位精度。在推理阶段，模型可以实时地从单张图像中估计出场景的三维几何信息，并通过对齐得到姿态。作者在三个常用的视觉定位数据集上进行了实验，进行了消融分析，并证明了他们的方法在所有数据集上都超过了现有的回归方法的姿态精度，并且可以实时地从单张图像中估计出场景的三维几何信息，并通过对齐得到姿态。
论文地址：https://arxiv.org/pdf/2007.11806.pdf
提出了一种基于特征的全景图像序列同时定位和建图系统,该系统是在宽基线移动建图系统中从多鱼眼相机平台获得的.首先,所开发的鱼眼镜头校准方法结合了等距投影模型和三角多项式,以实现从鱼眼镜头到等效理想帧相机的高精度校准,这保证了从鱼眼镜头图像到相应全景图像的精确转换.其次我们开发了全景相机模型、具有特定反向传播误差函数的相应束调整以及线性姿态初始化算法.第三,实现的基于特征的SLAM由初始化、特征匹配、帧跟踪和闭环等几个特定的策略和算法组成,以克服跟踪宽基线全景图像序列的困难.我们在超过15公里轨迹的大规模彩信数据集和14000幅全景图像以及小规模公共视频数据集上进行了实验.
文章：CamMap: Extrinsic Calibration of Non-Overlapping Cameras Based on SLAM Map Alignment
智能视觉测量是指用计算机视觉技术实现对物体的尺寸测量，它在工业、林业、物流等领域有重要的应用。一般做法是用相机或激光雷达对物体拍照/扫描，然后识别图像中的待测量物体，得到其边界或形状信息，最后在坐标系中计算物体的尺寸。本文将以原木智能检尺（直径测量）为例，介绍智能视觉测量系统的技术原理，以及需要解决的难点问题。
单目深度估计模型Monodepth2对应的论文为Digging Into Self-Supervised Monocular Depth Estimation，由伦敦大学学院提出，这篇论文的研究目标是从单目RGB图像中恢复出对应的深度，由图1所示：该网络可以从单目图像中恢复对应的深度，图中不同颜色代表不同的深度。
在SIGAI之前的公众号文章“反向传播算法推导-全连接神经网络”中，我们推导了全连接神经网络的反向传播算法。其核心是定义误差项，以及确定误差项的递推公式，再根据误差项得到对权重矩阵、偏置向量的梯度。最后用梯度下降法更新。卷积神经网络由于引入了卷积层和池化层，因此情况有所不同。在今天这篇文章中，我们将详细为大家推导卷积神经网络的反向传播算法。对于卷积层，我们将按两条路线进行推导，分别是标准的卷积运算实现，以及将卷积转化成矩阵乘法的实现。在文章的最后一节，我们将介绍具体的工程实现，即卷积神经网络的卷积层，池化层，激活函数层，损失层怎样完成反向传播功能。
在图像几何变换的过程中，常用的插值方法有最邻近插值（近邻取样法）、双线性内插值和三次卷积法。
百叶窗动画是制作PPT时常用的动画之一，本文将通过实现百叶窗动画效果的例子介绍在WPF中如何使用ShaderEffect。ShaderEffect使用高级着色器语言（High Level Shading Language，HLSL）事先制作好并且已经编译过的效果。先看下百叶窗动画实现效果：
原文链接：https://arxiv.org/pdf/2002.03923v1.pdf
确定空间某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型（各个坐标系），这些坐标系之间的转换参数就是相机参数，求解参数的过程叫做相机标定（摄像机标定）。建立立体视觉系统所需要的各个坐标系，包括世界坐标系、相机坐标系、以及图像坐标系（物理和像素坐标系）。
1. 需求分析 使用 OpenCV 图像像素读写操作原理，也就是 image[row][col] 获取和设值； 给图片添加水印：对应添加水印的位置，设置为水印图片的像素； 水印下能看到原图，也就是说水印必须是透明图片； 同时将水印透明位置像素(0,0,0)改变为同位置的图片的像素。 2. 直接将水印添加到图片 2.1 代码逻辑分析 读取水印logo图片； 读取需要添加水印的图片； 获取水印的宽高； 注意：此处水印使用的三通道读取，因此获取水印属性时需要加通道值。 利用图像像素读取设值原理，直接修改对应像素
1：pica 一个在浏览器中调整图像大小，而不会出现像素失真，处理速度非常快的图片处理库
预备知识分为两块，分别是：软件+硬件。相应的知识体系在下面的思维导图中有所体现。
标准模式下，从摄像头获取到图像数据，将该图像数据缓存到DDR中，再通过显示驱动模块将图像读取出来，在显示屏上进行显示。
今天给大家分享一篇多传感融合定位的工作：R3live++。这是继R3live后的第二个版本。这项工作提出的激光雷达视觉惯性融合框架实现了鲁棒和准确的状态估计，同时实时重建光度地图。
继续接着上篇文章。我们现在为止已经获得处理好的二值化图像了，接着就是提取线的特征了。
目前采用的主流相机畸变矫正模型基本都是Brown-Conrady模型，原论文：Decentering Distortion of Lenses
文章：Extrinsic Camera Calibration with Semantic Segmentation
逐像素的真实尺度深度数据的大量获取，是具有挑战性的任务。为了克服这个限制，自监督学习已经成为一个有希望的替代训练模型，用来执行单目深度估计。本文中，我们提出了一系列的改进手段，用来提升自监督深度学习深度估计方法的精度。
HLSL，High Level Shader Language，高级着色器语言，是 Direct3D 着色器模型所必须的语言。WPF 支持 Direct3D 9，也支持使用 HLSL 来编写着色器。你可以使用任何一款编辑器来编写 HLSL，但 Shazzam Shader Editor 则是专门为 WPF 实现像素着色器而设计的一款编辑器，使用它来编写像素着色器，可以省去像素着色器接入到 WPF 所需的各种手工操作。
在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立摄像机成像的几何模型,这些几何模型参数就是摄像机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定。简单来说是从世界坐标系换到图像坐标系的过程，也就是求最终的投影矩阵 P P P的过程。 无论是在图像测量或者机器视觉应用中，摄像机参数的标定都是非常关键的环节，其标定结果的精度及算法的稳定性直接影响摄像机工作产生结果的准确性。因此，做好摄像机标定是做好后续工作的前提，是提高标定精度是科研工作的重点所在。其标定的目的就是为了相机内参、外参、畸变参数。
文章：Robust Place Recognition using an Imaging Lidar
FAST-LIVO: Fast and Tightly-coupled Sparse-Direct LiDAR-Inertial-Visual Odometry
在上一篇文章中，成功将三维重建扩展到了任意数量的图像，但是，随着图像的增多，累计误差会越来越大，从而影响最终的重建效果。要解决这个问题，需要用到Bundle Adjustment（下文简称BA）。 BA本质上是一个非线性优化算法，先来看看它的原型 min x ∑ i ρ i ( ∣ ∣ f i ( x i 1 , x i 2 , . . . , x i k ) ∣ ∣ 2 ) \min_x \sum_i{\rho_i(||f_i(x_{i1}, x_{i2}, …, x_{ik})||^2)} xmini∑ρi(∣∣fi(xi1,xi2,...,xik)∣∣2) 其中 x x x是我们需要优化的参数， f f f一般称为代价函数（Cost Function）, ρ \rho ρ为损失函数（Loss Function）。其中 f f f的返回值可能是一个向量，因此总的代价取该向量的2-范数。 对于三维重建中的BA，代价函数往往是反向投影误差，比如我们需要优化的参数有相机的内参（焦距、光心、畸变等）、外参（旋转和平移）以及点云，设图像 i i i的内参为 K i K_i Ki，外参为 R i R_i Ri和 T i T_i Ti，点云中某一点的坐标为 P j P_j Pj，该点在 i i i图像中的像素坐标为 p j i p_j^i pji，则可以写出反向投影误差 f ( K i , R i , T i , P j ) = π ( K i [ R i T i ] P j ) − p j i f(K_i, R_i, T_i, P_j)=\pi(K_i[R_i\ \ T_i]P_j) – p_j^i f(Ki,Ri,Ti,Pj)=π(Ki[Ri Ti]Pj)−pji 上式中的 P j P_j Pj和 p j i p_j^i pji均为齐次坐标，其中 π \pi π为投影函数，有 π ( p ) = ( p x / p z , p y / p z , 1 ) \pi(p)=(p_x/p_z,\ p_y/p_z,\ 1) π(p)=(px/pz, py/pz, 1). 而损失函数 ρ \rho ρ的目的是为了增强算法的鲁棒性，使得算法不易受离群点（Outliers）的影响，常见的有Huber函数、Tukey函数等，这些函数的图像如下
把维数为n维的向量用一个n+1维向量来表示（如x，y，z转换为x，y，z，w），齐次坐标有以下性质：
因为之前写的系列文章反应不是特别好，所以还是决定把一些复杂的东西简单化（尽量不写系列文章了），所以本篇文章将会完成所有的内容。
由于是基于像素级的训练，所以需要每个像素都需要标签，这个标签包括每个像素所属的类别以及对应的三维空间坐标。
上周的组会上，我给研一的萌新们讲解什么是SLAM，为了能让他们在没有任何基础的情况下大致听懂，PPT只能多图少字没公式，这里我就把上周的组会汇报总结一下。
文章：Towards Accurate Ground Plane Normal Estimation from Ego-Motion
白白最近的时间投了一些SLAM相关的实习，通过各种公司的面试了解了流程以及侧重点，有答的不好被拒绝的，也有拿到offer的，也有简历石沉大海的。发现很多基础的问题自己都明白但是在面试紧张的情况下描述的逻辑不是很清晰，所以导致面试效果不是很好，通过自己这一段时间的学习和面试遇到的一些SLAM相关的基础问题做一个总结。
人们普遍认为，深度网络的成功训练需要数千个带注释的训练样本。在本文中，我们提出了一种网络和训练策略，它依赖于数据扩充的强大使用，以更有效地使用可用的带注释的样本。该体系结构由捕获上下文的收缩路径和支持精确定位的对称扩展路径组成。我们证明这样的网络可以从非常少的图像端到端的训练，并且在ISBI挑战中在电子显微镜栈中神经结构的分割上胜过先前的最佳方法(滑动窗口卷积网络)。我们使用相同的网络训练透射光学显微镜图像(相位对比和DIC)，在2015年ISBI细胞跟踪挑战赛中，我们在这些类别中获得了巨大的优势。此外，网络速度很快。在最近的GPU上，512x512图像的分割需要不到一秒的时间。
原作：Marty Jacobs 安妮 编译自 Zore Equals False 量子位 出品 | 公众号 QbitAI 📷 无人车到底是怎样一步一步学会开车的？ 与人类用双眼去观察路面、用手去操控方向盘类似，无人车用一排摄像机去感知环境，用深度学习模型指导驾驶。大体来说，这个过程分为五步: 记录环境数据 分析并处理数据 构建理解环境的模型 训练模型 精炼出可以随时间改进的模型 如果你想了解无人车的原理，那这篇文章不容错过。 记录环境数据 一辆无人车首先需要具备记录环境数据的能力。 具体来说，我们的目标是得
原作：Marty Jacobs 安妮 编译自 Zore Equals False 量子位 出品 | 公众号 QbitAI 无人车到底是怎样一步一步学会开车的？ 与人类用双眼去观察路面、用手去操控方向盘
相机对于机器人来说就相当于人的眼睛，景物在相机中呈现的样子就是机器看到的世界的样子。当我们理解了相机的成像原理，才能理解图像中的景物与实际世界中景物的对应关系。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
