转自：https://www.cnblogs.com/bnuvincent/p/6691189.html
随着深度学习的不断发展,卷积神经网络(CNN)作为计算机视觉领域的杀手锏,在几乎所有视觉相关任务中都展现出了超越传统机器学习算法甚至超越人类的能力。一系列CNN-based网络在classification、localization、semantic segmentation、action recognization等任务中都实现了state-of-art的结果。
这篇文章不包含透视变换（projective/perspective transformation），而将重点放在仿射变换（affine transformation），将介绍仿射变换所包含的各种变换，以及变换矩阵该如何理解记忆。
单词 affine，读音：[ə'faɪn]。来自于英语affinity。英语词根fin来自于拉丁语finis，表示“边界，末端”，例如finish、final等单词。词头ad表示“去，往”，拼出名词affinity，本意为“接壤，结合”，用来指“姻亲，由于婚姻而产生的亲戚关系”，引申为“亲密关系，相似性”等 。
上面的图像使它不言而喻什么是几何变换。它是一种应用广泛的图像处理技术。例如，在计算机图形学中有一个简单的用例，用于在较小或较大的屏幕上显示图形内容时简单地重新缩放图形内容。
在前面讨论线性变换的时候，我们没有提到平移。什么是平移？以二维的平面为例，如图2-2-10所示，向量 就是向量 平移的结果，即连接两个图形的对应点的直线平行，则两个图形是平移变换。很显然，这种平移不是线性变换——向量 所在直线并不是平面空间的子空间。尽管如此，我们可以用矩阵加法表示图2-2-10所示的平移变换：
仿射变换保证物体形状的“平直性”和“平行性”。透视变换不能保证物体形状的“平行性”。仿射变换是透视变换的特殊形式。 将透视变换写成3*3矩阵形式，即为M; 以下面这张图为例，实现仿射变换，包括旋转，平
void QPainter::scale(qreal sx, qreal sy) { ... d->state->worldMatrix.scale(sx,sy); ... }
图像的仿射变换涉及到图像的形状位置角度的变化，是深度学习预处理中常到的功能,仿射变换主要是对图像的缩放，旋转，翻转和平移等操作的组合。
上周我开发了一个基于深度学习的2D可变形图像配准的基本框架，并演示了如何从MNIST数据集中配准手写数字图像。除了损失函数和架构上的细微差别外，该框架本质上与VoxelMorph框架相同。
变换是一种采用点、向量或颜色等实体并以某种方式转换它们的操作。对于计算机图形从业者来说，掌握变换是极其重要的。使用它们，您可以定位、重塑对象、灯光和相机并为其设置动画。您还可以确保所有计算都在同一坐标系中执行，并以不同方式将对象投影到平面上。这些只是可以使用变换执行的少数操作，但它们足以证明变换在实时图形（某种程度上是在任何类型的计算机图形)中的作用的重要性。
2015 NIPS（NeurIPS，神经信息处理系统大会，人工智能领域的 A 类会议）论文
通过使用优化的数据增强方法，在CIFAR-10、CIFAR-100、SVHN和ImageNet上得到了目前最好的结果。您可以从这里找到和使用它们。
论文地址：https://arxiv.org/pdf/2004.04581.pdf
原文地址：https://www.pyimagesearch.com/2015/01/26/multi-scale-template-matching-using-python-opencv/
一般情况下，不同的图像任务和模型有不同的数据增强方法。然而比较通用的有图像的仿射变换，颜色抖动，水平/垂直翻转， 随机crop。
Sift是David Lowe于1999年提出的局部特征描述子，并于2004年进行了更深入的发展和完善。Sift特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力。在Mikolajczyk对包括Sift算子在内的十种局部描述子所做的不变性对比实验中，Sift及其扩展算法已被证实在同类描述子中具有最强的健壮性。
常见的2D图像变换从原理上讲主要包括基于2×3矩阵的仿射变换和基于3×3矩阵透视变换。
图像拼接技术是计算机视觉和数字图像处理领域中一个研究的重点。图像拼接是指将描述同一场景的两张或者多张有重叠区域的图像,通过图像配准和图像融合技术拼接成一幅大场景全新图像的过程。
SeFa — Closed-Form Factorization of Latent Semantics in GANs
这是Google旗下 DeepMind 大作，最近学习人脸识别，这篇paper提出的STN网络可以代替align的操作，端到端的训练实现图片的align。
这一周主要在研究图像的放射变换与透视变换，目前出现的主要问题是需要正确识别如下图中的编码标志点圆心。 1.当倾斜角较小时：
语义分割是一项基本的计算机视觉任务，其目的是预测图像的像素级分类结果。由于近年来深度学习研究的蓬勃发展，语义分割模型的性能有了长足的进步。然而，与其他任务(如分类和检测)相比，语义分割需要收集像素级的类标签，这既耗时又昂贵。近年来，许多研究者致力于弱监督语义分割(WSSS)的研究，如图像级分类标签、涂抹和边界盒等，试图达到可与全监督方法相媲美的分割性能。[1]侧重于通过图像级分类标签进行语义分割。
和Python一样，当前的OpenCV也有两个大版本，OpenCV2和OpenCV3。相比OpenCV2，OpenCV3提供了更强的功能和更多方便的特性。不过考虑到和深度学习框架的兼容性，以及上手安装的难度，这部分先以2为主进行介绍。
本文研究了大型语言模型（LLMs）在移动和边缘设备上的推理加速问题，这一问题在现实应用中具有重要意义。随着大型语言模型在多种任务中展现出卓越的性能，它们吸引了越来越多的关注。然而，这些模型通常需要庞大的计算资源，尤其是在训练和推理阶段。特别是在资源受限的移动和边缘设备上，模型的高效推理显得尤为重要。为此，研究者们寻求通过压缩技术，如量化，来减少模型的存储需求和计算负担。量化是一种有效的方法，通过将权重和激活映射到低比特表示来实现。
机器之心专栏 机器之心编辑部 本文中，来自美图影像研究院（MT Lab）与大连理工大学卢湖川团队的研究者们共同探究了如何仅使用文本描述作为参考的视频目标分割任务，突破性地提出了首个单阶段方法 ——YOFO，能够有效地进行端到端训练并达到 SOTA 效果。该论文已被 AAAI 2022 接收。 引言 参考视频目标分割（Referring VOS, RVOS）是一个新兴起的任务，它旨在根据参考文本，从一段视频序列中分割出文本所指述的对象。与半监督视频目标分割相比，RVOS 只依赖抽象的语言描述而不是像素级的参考
所谓Attention机制，便是聚焦于局部信息的机制，比如图像中的某一个图像区域。随着任务的变化，注意力区域往往会发生变化。
这系列的笔记来自著名的图形学虎书《Fundamentals of Computer Graphics》，这里我为了保证与最新的技术接轨看的是英文第五版，而没有选择第二版的中文翻译版本。不过在记笔记时多少也会参考一下中文版本
在视觉信息(图像信息) 处理模型中引入一个被视为尺度的参数，通过连续变化尺度参数获得不同尺度下视觉处理信息，然后综合这些信息以深入地挖掘图像的本质特征。尺度空间方法将传统的单尺度视觉信息处理技术纳入尺度不断变化的动态构架中，因此更容易获得图像的本质特征。尺度空间生成的目的是模拟图像数据的多尺度特征。
代码：https://github.com/kayoyin/tiny-inst-segmentation
单应性原理被广泛应用于图像配准，全景拼接，机器人定位SLAM，AR增强现实等领域。这篇文章从基础图像坐标知识系为起点，讲解图像变换与坐标系的关系，介绍单应性矩阵计算方法，并分析深度学习在单应性方向的进展。
OpenCV是一个功能强大的开源计算机视觉和机器学习软件库，它在图像处理和视频分析领域得到了广泛应用。OpenCV最初由英特尔公司于1999年发起并支持，后来由Willow Garage和Itseez（现在是Intel的一部分）维护。它是为了推动机器视觉领域的实时应用而开发的。OpenCV提供了丰富的算法，包括但不限于图像处理、物体和特征检测、物体识别、3D重建等。这些算法经过优化，可以在多种硬件平台上高效运行。OpenCV被广泛应用于面部识别、物体识别、运动跟踪、机器人视觉以及许多其他的计算机视觉应用中。
图像识别、人脸识别可行的算法有很多。但是作为学习，如果能理清这个问题研究的历程及其主线，会对你深入理解当前研究最新的发展有很多帮助。本文是自己在学习过程中的笔记，大多内容来自于网络，出处请参考最后的引文部分。 Sift算法 Sift算法是David Lowe于1999年提出的局部特征描述子，并于2004年进行了更深入的发展和完善。Sift特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力。总体来说，Sift算子具有以下特性： Sift特征是图像的局部特征，对平移
普通的CNN能够显示的学习平移不变性，以及隐式的学习旋转不变性，但attention model 告诉我们，与其让网络隐式的学习到某种能力，不如为网络设计一个显式的处理模块，专门处理以上的各种变换。因此，DeepMind就设计了Spatial Transformer Layer，简称STL来完成这样的功能。
寄语：本文将对传统图像算法的数据增广方式进行学习，以最常用的平移和旋转为例，帮助大家梳理几何变换的概念和应用，并对其在OpenCV的框架下进行了实现。
图像拼接(Image Stitching)是一种利用实景图像组成全景空间的技术，它将多幅图像拼接成一幅大尺度图像或360度全景图，图像拼接技术涉及到计算机视觉、计算机图形学、数字图像处理以及一些数学工具等技术。图像拼接其基本步骤主要包括以下几个方面：摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接（融合），以及亮度与颜色的均衡处理等，以下对各个步骤进行分析。
在 Transformation Object 列中，ax是一个 Axes 实例，fig是一个 Figure 实例。
论文来源：https://arxiv.org/pdf/1506.02025.pdf
有一段时间没有看tracking了，前面一个月老师没有找，我也没有看文章，主要去看c++和cs231n去了。上周一老师找了我一次，于是赶紧把tracking又拾起来，把老师给的视频在前面的代码上跑了下，这周又看了篇新论文。 最开始的应该是MOOSE，作者没有给源码，所以论文理解得并不是很透彻，CSK以及KCF/DCF都是仔细研究了源码的，自认为还算比较了解了，接下来的CN,其实了解了KCF/DCF就很简单了，无非是另一种多特征的融合，融合方式都差不多。 昨天开始看DSST，只看了前面的部分，后边的实验没有怎么看，又去看了下matlab的源码，代码结构很清晰，因为框架还是CSK得大框架，结合作者的注释很快就看完了，做个整理。 MOOSE paper 是跟踪领域相关滤波的第一篇文章，开创性意义。 CSK paper 利用循环矩阵解决了训练量的问题，不用在进行随机仿射来得到样本。这个是单通道的， 作者只使用了灰度信息。 KCF/DCF paper 和CSK是同一个作者，和CSK的改进很小，主要贡献和CSK相比在于提供了一种把多通道特征融合进相关滤波框架的方法。 CN paper 和KCF/DCF是同一时期的，不同的是用了颜色通道，论文里作者比较了各种颜色空间的表现。 DSST paper DSST解决了另外一个关键问题，那就是尺度更新。 这5篇文章是相关滤波的基础，今天这里主要写一下DSST的论文思路。
featurewise_center：布尔值，使输入数据集去中心化（均值为0）, 按feature执行。
本篇开始，将进入图像配准领域的研究。 图像拼接主要有SIFT, BRISK, ORB, AKAZE等传统机器学习算法以及SuperPoint等深度学习算法，在后续将一一进行研究和实验。本篇主要来研究SIFT算法的原理和应用。
Normalizing Flows for Probabilistic Modeling and Inference 调查
大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说petct脑代谢显像_pet图像分析方法有哪几种,希望能够帮助大家进步!!!
计算机视觉的底层，图像处理，根本上讲是基于一定假设条件下的信号重建。这个重建不是3-D结构重建，是指恢复信号的原始信息，比如去噪声。这本身是一个逆问题，所以没有约束或者假设条件是无解的，比如去噪最常见的假设就是高斯噪声。
AI 科技评论按：本文首发于知乎行人重识别专栏，AI 科技评论获其作者郑哲东授权转载。 1.Motivation 近年来，对行人重识别（person re-ID）问题的研究也越来越多了。类比于自然语言处理（nlp）的话，大家或者集中于语义层面的设计（比如设计 loss，triplet loss，identi+verif loss），或者集中于语法层面上（利用人体的内在结构，比如水平切割，pose预测）。 这篇文章集中于语法层面上，也就是利用人体结构来增强识别能力。现阶段行人重识别的发展一部分是归因于大数
本文解读一篇由港中大(深圳)与哈工大合作发表在CVPR2019的超分辨方向的论文，该工作与几篇近年的文章密切相关，相关部分我已在文中做了必要的说明和解释，更多细节可点击文章末尾的论文链接深入了解。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
