opencv的features2d包中提供了surf,sift和orb等特征点算法,根据测试结果发现在opencv3.0的java版本中存在一些bug,导致surf算法无法使用,会抛出如下异常:
SIFT是Sortig Intolerant From Tolerant的缩写, 是一款软件,基于氨基酸序列的同源性和物理性质来预测氨基酸的替换对蛋白质功能是否造成影响,用来评估基因变异的有害程度。
导语 在客户端自动化中,如果需要对UI进行操作,控件识别和操作是最基础的能力。在windows标准控件中,我们可以通过FindWindow来找到窗口,FindWindowEx来找到子窗口和按钮,在selenium测试web页面,我们通过find_element_by_xpath、find_element_by_css_selector、find_element_by_id等等来找到页面元素。但是,在大多数应用程序中使用的都是非标准的控件,无法通过FindWindowEx来找到某个按钮,也无法通过某个ID来找
我们都知道队列是一种先进先出、后进后出的数据结构,就如同日常生活中的排队一样,先到先得。而优先队列则是一种特殊的队列,优先队列与普通队列最大的不同点就在于出队顺序不一样。
本文实例为大家分享了利用opencv实现SIFT特征提取与匹配的具体代码,供大家参考,具体内容如下
对于多线程的程序来说,排错是一件特别麻烦的事情,特别是针对日志,多线程有可能发生日志写阻塞,那我们有没有可能每一个线程一个日志文件呢?答案是可以的,基于slf4j的MDC,具体MDC原理各位看官自行百度
SIFT (尺度不变特征变换)和 SURF (加速稳健特征)是图像处理中常用的特征描述算法,用于提取图像中的关键点和生成对应的特征描述子。这些算法具有尺度不变性、旋转不变性和光照不变性等特点,适用于图像匹配、目标识别和三维重建等应用。本文将以 SIFT 和 SURF 特征描述为中心,为你介绍使用 OpenCV 进行特征提取的基本原理、步骤和实例。
在2004年,不列颠哥伦比亚大学的D.Lowe的论文《尺度不变关键点中的独特图像特征》中提出了一种新的尺度不变特征变换(SIFT)算法,该算法提取关键点并计算其描述符。回顾一下SIFT算法的计算步骤,主要包括四个步骤。
SIFT特征不只具有尺度不变性,即使改变图像的旋转角度,亮度或拍摄视角,仍然能够得到好的检测效果。
SIFT特征是非常稳定的图像特征,在图像搜索、特征匹配、图像分类检测等方面应用十分广泛,但是它的缺点也是非常明显,就是计算量比较大,很难实时,所以对一些实时要求比较高的常见SIFT算法还是无法适用。如今SIFT算法在深度学习特征提取与分类检测网络大行其道的背景下,已经越来越有鸡肋的感觉,但是它本身的算法知识还是很值得我们学习,对我们也有很多有益的启示,本质上SIFT算法是很多常见算法的组合与巧妙衔接,这个思路对我们自己处理问题可以带来很多有益的帮助。特别是SIFT特征涉及到尺度空间不变性与旋转不变性特征,是我们传统图像特征工程的两大利器,可以扩展与应用到很多图像特征提取的算法当中,比如SURF、HOG、HAAR、LBP等。夸张一点的说SIFT算法涵盖了图像特征提取必备的精髓思想,从特征点的检测到描述子生成,完成了对图像的准确描述,早期的ImageNet比赛中,很多图像分类算法都是以SIFT与HOG特征为基础,所有SIFT算法还是值得认真详细解读一番的。SIFT特征提取归纳起来SIFT特征提取主要有如下几步:
上述SIFT算子用于二维图像关键点检测,医学影像一般都是三维图像,所以要用SIFT3D算子来进行关键点检测。论文中《Volumetric Image Registration From Invariant Keypoints》设计了SIFT3D算子,主要步骤与上述步骤是一样的。
//utils.h #ifndef _UTILS_H #define _UTILS_H #include <opencv2/opencv.hpp> #include <opencv2/features2d/features2d.hpp> #include <opencv2/core/core.hpp> #include <opencv2/imgproc/imgproc.hpp> #include <opencv2\nonfree\nonfree.hpp> using nam
知乎上看到一个话题—— 目前火热的 Deep Learning 会灭绝传统的 SIFT / SURF 特征提取方法吗? ---- 由于之前研究过SIFT和HOG这两种传统的特征提取方法,故本篇文章先对SIFT和HOG作一综述,并比较二者优缺点。之后,将SIFT和HOG同神经网络特征提取做一对比,浅谈对上述问题的看法。如果能写得快一些,再简单介绍其他几种传统的特征提取的方法——SURF、ORB、LBP、HAAR等等。 ---- 目录 [1] SIFT(尺度不变特征变换) [2] HOG(方向梯度直方图)
Sift是David Lowe于1999年提出的局部特征描述子,并于2004年进行了更深入的发展和完善。Sift特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题,具有很强的匹配能力。在Mikolajczyk对包括Sift算子在内的十种局部描述子所做的不变性对比实验中,Sift及其扩展算法已被证实在同类描述子中具有最强的健壮性。
从 pypi 的 opencv 清华镜像源可以看到 OpenCV 与 Python 版本的支持关系,此处做整理总结:
项目中须要根据不同的模块,产生出不同的日志文件名,使用的是同一logback.xml配置文件,这里简单调研,说明两种实现方式,以及两种实现方式的区别。 测试准备 建立一个maven项目,并添加slf4j-api, logback-core, logback-classic 依赖。 <dependencies> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-api<
图像的全景拼接,即“缝合”两张具有重叠区域的图来创建一张全景图。其中用到了计算机视觉和图像处理技术有:关键点特征检测、局部不变特征、关键特征点匹配、RANSAC(Random Sample Consensus,随机采样一致性)和透视变形。
本篇开始,将进入图像配准领域的研究。 图像拼接主要有SIFT, BRISK, ORB, AKAZE等传统机器学习算法以及SuperPoint等深度学习算法,在后续将一一进行研究和实验。本篇主要来研究SIFT算法的原理和应用。
计算机视觉中的特征点提取算法比较多,但SIFT除了计算比较耗时以外,其他方面的优点让其成为特征点提取算法中的一颗璀璨的明珠。SIFT算法的介绍网上有很多比较好的博客和文章,我在学习这个算法的过程中也参看网上好些资料,即使评价比较高的文章,作者在文章中对有些比较重要的细节、公式来历没有提及,可能写博客的人自己明白,也觉得简单,因此就忽略了这些问题,但是对刚入门的人来说,看这些东西,想搞清楚这些是怎么来的还是比较费时费力的。比如SIFT算法中一个重要的操作:求取描述子的主方向。好多文章只是一提而过或忽略,然后直接给出一个公式,SIFT算法的原作者也提使用抛物线插值,但是具体怎么插的就不太详尽了,对于初学者来说更是不知所云。因此本文打算在参看的文章上对有关这些细节给出一些比较详细的说明,还有本文尽量对操作过程配备对应图片或示意图说明,同时附上robwhesss开源SIFT C代码对应程序块并给予注解,方便理解。
功能连接(Functional connectivity, FC)可以说是EEG研究中的一个非常重要的方法。对于正常的大脑高级认知功能来说,往往并不仅仅是单独的某个脑区在起作用,而是更加依赖于不同脑区之间的相互协同工作,因此研究不同脑区的功能连接对我们理解大脑的大脑高级认知功能机制来说非常重要。 其实,有效连接(Effective connectivity, EC)属于功能连接中的一个重要的分支,所谓有效连接是指用某种方法来测量两种信号之间的因果依赖程度和关系,即不仅能够指出两个脑区的相关程度,而且还能够计算出两个脑区信息流向。因此,与无向的功能连接相比,可以提供更加丰富的信息。在EEG领域中,研究者提出了非常丰富的算法来测定两种信号之间的有效连接,如部分有向相干(Partial directed coherence, PDC)、有向传递函数(Direct transfer function, DTF)等,但是这些算法非常复杂,计算起来非常麻烦。这里,笔者就给各位介绍一款基于EEGlab的计算EEG有效连接的工具包,即The Source Information Flow Toolbox(即SIFT)。 注:该工具包我们会在线下的培训班中详细讲解其使用方法和注意事项,感兴趣的可以咨询联系。
传统图像分类算法的两种方法:SIFT特征+KNN分类器和HOG特征+SVM分类器。
下面简单的对比一下sift和cnn的检索结果:(基于此改进的版本好多:各种sift;cnn(vgg-fc3;vgg(resnet、inception等)-conv;)+PCA等,各种特征融合等等)
关于SIFT的特征点检测在《C++ OpenCV特征提取之SIFT特征检测》有介绍过,在OpenCV4.5版本中SIFT做是算法优化,也移到主仓库中了,并且有朋友也留言问了4.5版本下的DEMO。
前面我们介绍了《C++ OpenCV特征提取之SURF特征检测》,这一篇我们在介绍一下SIFT的特征提取。
图像识别、人脸识别可行的算法有很多。但是作为学习,如果能理清这个问题研究的历程及其主线,会对你深入理解当前研究最新的发展有很多帮助。本文是自己在学习过程中的笔记,大多内容来自于网络,出处请参考最后的引文部分。 Sift算法 Sift算法是David Lowe于1999年提出的局部特征描述子,并于2004年进行了更深入的发展和完善。Sift特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题,具有很强的匹配能力。总体来说,Sift算子具有以下特性: Sift特征是图像的局部特征,对平移
Airtest是一款网易出品的基于图像识别面向手游UI测试的工具,也支持原生Android App基于元素识别的UI自动化测试。主要包含了三部分:Airtest IDE、Airtest(用截图写脚本)和 Poco(用界面UI元素来写脚本)。来自Google的评价:Airtest 是安卓游戏开发最强大、最全面的自动测试方案之一。 图示为AirtestIDE中脚本运行范例 本文重点是针对Airtest中的图像识别进行代码走读,加深对图像识别原理的理解(公众号贴出的代码显示不全仅供参考,详细代码可以在git
视觉和声音是人类固有的感觉输入。我们的大脑是可以迅速进化我们的能力来处理视觉和听觉信号的,一些系统甚至在出生前就对刺激做出反应。另一方面,语言技能是学习得来的。他们需要几个月或几年的时间来掌握。许多人天生就具有视力和听力的天赋,但是我们所有人都必须有意训练我们的大脑去理解和使用语言。
图像特征就是指有意义的图像区域,具有独特性或易于识别性,比如角点、斑点以及高密度区。
本文是《SIFT Meets CNN: A Decade Survey of Instance Retrieval》的下篇。在上 篇中概述了图像检索任务极其发展历程,介绍了图像检索系统的基本架构和设计难点,详细展示了基于图像局部特征(以SIFT为代表)的检索流程以及关键环节的核心算法。
图像拼接是计算机视觉中最成功的应用之一。如今,很难找到不包含此功能的手机或图像处理API。在本文中,我们将讨论如何使用Python和OpenCV进行图像拼接。也就是,给定两张共享某些公共区域的图像,目标是“缝合”它们并创建一个全景图像场景。当然也可以是给定多张图像,但是总会转换成两张共享某些公共区域图像拼接的问题,因此本文以最简单的形式进行介绍。
sift是目前常用的local feature的描述子。sift特征匹配算法可以处理两幅图像之间发生一些平移、旋转、仿射等匹配问题。因为早前自己要做一个图像拼接的问题,所以用到了sift。写这篇blog,是因为自己准备向CV进军,开始着手写blog来积累知识,这也是我第一篇blog,虽然这篇blog很简陋,纯属向sift致敬,但也方便一些初学者使用吧。以后也会不定期对自己的一些在CV的见解进行发表,希望能通过这个和大家相互讨论。如果您想对其原理有个透彻的理解,可以参考下面这篇blog,博主写的非常详尽 —— [ sift算法详解 ]
OpenCV(Open Source Computer Vision Library)是一个开源的计算机视觉和机器学习软件库。它由英特尔公司发起并参与开发,以BSD许可证授权发行,可以在商业和研究领域中免费使用。OpenCV提供了大量的计算机视觉、图像处理和模式识别的算法,包括实时图像处理、视频分析、特征检测、目标跟踪、人脸识别、物体识别、图像分割、光流法、立体视觉、运动估计、机器学习和深度学习等。
OpenCV 4.4.0 于2020年7月18日正式发布,不得不说OpenCV 作为最大开源的图像处理工具,提供的内容太全面了,对小白友好度很高。不仅算法众多,而且文档、源码、各平台下的SDK都极易获取/访问。
最近手上有一批图片需要去水印,同时也要对于大图中某个小部分做替换。之前网站的很多图片水印的处理方式都比较简单粗暴,确定水印加在图片上的大致位置,然后做一个不透明度100%的图片覆盖上去,完美解决问题,但是不理想的地方也显而易见,用户观感特别不好。所以,借着这次处理的机会,想把问题根除掉。本文会分四部分,零部分(你没有看错!)主要是自己尝试的路径,如果想简单直接,不失为一种有效方式。第一部分把可以应用的计算机视觉领域可能会用到的算法或者对思路有拓展的算法进行总结,同时对于有些算法的使用过程中遇到的问题,结合我自己的实战经验给出一些实践避坑指南。第二部分,对应第一部分的总结,会给出通用的实现demo,第三部分,会对本文进行总结,相信你在图片匹配替换或者去水印领域遇到相关问题,我的文章都能给你些许思路。
import cv2 import numpy as np def sift_keypoints_detect(image): gray_image=cv2.cvtColor(image,cv2.COLOR_BGR2GRAY) sift=cv2.xfeatures2d.SIFT_create() keypoints,features=sift.detectAndCompute(image,None) keypoints_image=cv2.
(1109,) (1109, 128) [ 29. 10. 0. 0. 0. 0. 0. 3. 144. 70. 0. 0. 0. 0. 0. 1. 94. 21. 0. 0. 0. 1. 0. 2. 2. 0. 0. 0. 6. 7. 0. 1. 79. 18. 0. 0. 0. 0. 0. 14. 166. 56. 0. 0. 0. 0. 0. 56. 166. 22. 0. 0. 1. 1. 0. 19. 7. 2. 0. 1. 15. 4. 0. 1. 112. 11. 1. 2. 2. 0. 0. 33. 166. 37. 0. 0. 0. 0. 0. 59. 166. 49. 0. 0. 0. 0. 0. 4. 11. 4. 0. 4. 12. 1. 0. 0. 142. 0. 0. 0. 2. 0. 0. 28. 166. 23. 0. 0. 0. 0. 0. 41. 166. 46. 0. 0. 0. 0. 0. 0. 16. 3. 0. 2. 10. 1. 0. 0.]
cv2.SIFT() cv2.SURF() cv2.HOGDescriptor() 使用cv2.SIFT的一个样例:(cv2.SURF使用与之类似) #coding=utf-8 import cv2 import scipy as sp img1 = cv2.imread('x1.jpg',0) # queryImage img2 = cv2.imread('x2.jpg',0) # trainImage # Initiate SIFT detector sift = c
我们探索了许多特征提取算子,如SIFT,SURF,BRISK和ORB。你可以使用这款Colab笔记本,甚至可以用你的照片试试。[这里我已经调试好源码并上传到github上面]
算法:SIFT暴力匹配是通过识别两个图像之间的SIFT关键点最近的邻居来进行匹配。但在某些情况下,由于噪声等因素,第二个最接近的匹配似乎更接近第一个匹配。在这种情况下,计算最近距离与第二最近距离的比率,并检验它是否大于0.8。如果比率大于0.8,则表示拒绝。这有效地消除了约90%的错误匹配,且只有约5%的正确匹配。
如果你学习SIFI得目的是为了做检索,也许 OpenSSE 更适合你,欢迎使用。
其他算法如SURF、AKAZE等可类似修改,但注意SIFT这些是浮点数特征描述符,而ORB这些是二进制特征描述符,因此在特征匹配时注意区分是L2还是Hamming。
自动化测试使用过程中,发现很多App无法获取到控件、资源ID等内部资源,而目前主要的移动端自动化测试工具基本都是基于获取内部控件元素来进行操作。因此,传统的测试框架和工具无法满足项目组游戏自动化测试的需求。
Surf算法的原理
基于内容的图像检索任务(CBIR)长期以来一直是计算机视觉领域重要的研究课题,自20世纪90年代早期以来,研究人员先后设计了图像的全局特征,局部特征,卷积特征的方法对CBIR任务进行探索和研究,并取得了卓越的成果。
有趣的是,机器学习的情况是相反的。我们已经在文本分析应用方面取得了比图像或音频更多的进展。以搜索问题为例。人们在信息检索和文本检索方面已经取得了相当多年的成功,而图像和音频搜索仍在不断完善。在过去五年中,深度学习模式的突破最终预示着期待已久的图像和语音分析的革命。
ORB>ORB(1000)>BRISK>BRISK(1000)>SURF(64D) >SURF(128D)>AKAZE>SIFT>KAZE
1.RANSAC算法介绍 RANSAC算法的基本假设是样本中包含正确数据(inliers,可以被模型描述的数据),也包含异常数据(outliers,偏离正常范围很远、无法适应数学模型的数据),即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的。同时RANSAC也假设,给定一组正确的数据,存在可以计算出符合这些数据的模型参数的方法。
基于内容的图像检索任务(CBIR)长期以来一直是计算机视觉领域重要的研究课题,自20世纪90年代早期,研究人员先后采用了图像的全局特征,局部特征,卷积特征的方法对CBIR任务进行研究和探索,并取得了卓越的成果。
领取专属 10元无门槛券
手把手带您无忧上云