Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >图形商标近似检索-知擎者的 Milvus 实践

图形商标近似检索-知擎者的 Milvus 实践

作者头像
Zilliz RDS
发布于 2021-02-03 04:08:04
发布于 2021-02-03 04:08:04
9950
举报

✏️ 作者介绍:

王杰,知擎者数据挖掘算法工程师

应用背景

知擎者是一个商标大数据智能应用平台,以商标数据为核心,结合企业大数据、法律大数据、营销大数据等,提供基础业务处理、商标预警监测、案件智能挖掘、数据情报分析等服务,为知产服务者提效赋能。知擎者不断协助知产服务者改变传统业务处理模式,创建智慧服务新体系,拓展更多业务机会,以达到知产服务者快速盈利和品牌建设的目标。

近年来,品牌文化大力发展,文字商标的注册随之越发饱和,申请难度越来越大。因此,越来越多国人开始转向图形商标申请。

图形商标的申请及监测在代理人(知产服务者)确权业务中占比越来越大。代理人(知识产权服务者)对图形商标查询和监测的需求越发强烈。为此,知擎者提供以图搜图功能,协助代理人快速检索近似图形商标。

知擎者已有近两千万的图形商标图片数据。根据这些数据和卷积神经网络 VGG16 模型,我们训练出图片特征提取模型,用于提取图片的特征向量。为了快速将全量图片数据转化成特征向量数据,我们将特征提取模型及代码分别布置在多台服务器上,通过请求 flask 获取任务以实现图片数据同步处理,快速获取特征向量。最后,由于 Milvus 只能单点上传数据且在数据上传时会同步建立向量索引,所以我们将特征向量归纳起来统一插入到 Milvus。

尼斯分类(International (Nice) Classification of Goods and Services),由世界知识产权组织(WIPO)提供,将商品和服务分为 45 个类别,用于区分商标适用范围[1]。为帮助用户提取不同类别的图形商标图片,我们以类别为分区标签将特征向量数据分区存储在 Milvus 中。用户只需在客户端上传图片,程序内部会自动通过同一个模型提取特征向量,从 Milvus 中查找近似向量的 id, 获取对应的近似图片。最后,程序会进一步筛选官方给定的图片内容形容词、图形商标类别以及 Milvus 返回的近似得分等,将结果返回给客户端。

图片特征向量提取:卷积神经网络 VGG 16 模型

卷积神经网络 VGG16 模型是一种图片分类模型,具有简洁易懂、快速精确等优点,能够适应各种图片尺寸。图片传入模型变化分类如下图所示:

VGG16 模型顾名思义是共有 16 个层的卷积神经网络。VGG 各种级别的结构都采用了 5 段卷积,每一段具有一个或多个卷积层。同时,每一段卷积的尾部都连接着一个最大池化层以缩小图片尺寸。每一段卷积内的卷积核数量一致,越靠后的卷积核数量越多 64-128-256-512-512[2]。VGG16 的所有卷积核都是 3*3 格式,池化层均选用 2*2 的池化核,因此能够保留更多图片信息。确定向量模型后,我们通过 Python、Tensorflow 、Keras 等 Python 模块完成了图片特征向量模型训练。

图片特征向量检索:Milvus 向量相似度搜索引擎

我们在获取特征向量后需要从海量数据中快速检索近似的特征向量。通过百度、知乎等信息渠道,我们了解到 Milvus 和 Faiss 两种工具。对比后我们发现 Milvus 比起 Faiss 整体更加便捷。安装 Milvus 时,我们只需要通过 Docker 拉取镜像,更改几个相应的参数便能快速完成安装。Milvus 官网提供包含 Python、Java、Golang、RESTful、C++ 等多个平台详细而直观的 API 供学习使用,因此十分便于上手。此外,Milvus 还支持通过多种索引检索近似向量,官网上还附有详细的索引介绍。总体而言,Milvus 操作便捷,对用户十分友好,适用于需要控制开发成本的项目。

Milvus v0.10.3 架构如下图所示 [3]:

效果展示

结合了 Milvus 的知擎者以图搜图功能已经正式上线。目前该功能运行稳定,检索效率可以满足正常使用。效果如下图所示:

我们团队仍会持续进行功能优化,解决例如图形商标颜色区分、文字商标干扰等问题。

总结

随着商标注册量逐年增长,图形商标作为企业品牌核心,其近似检索也会变得越发重要。知擎者团队将不断优化以图搜图功能。当前,文本、图像、音频等非结构化数据呈爆炸式增长。将非结构化数据通过 Embedding 技术映射成多维向量后再进行检索已成为趋势。Milvus 是一款开源的分布式向量相似度搜索引擎,具有高性能、易部署等特性。Milvus 能极大节省项目开发成本,显著提升系统检索性能,从而满足各种技术和业务需求。知擎者将会时刻关注 Milvus 的优化,在未来更丰富的业务场景中与 Milvus 再度合作。

参考资料

1. 尼斯分类:

https://web.archive.org/web/20170831234900/http://web2.wipo.int/classifications/nice/nicepub/en/fr/edition-20170101/taxonomy/class-7/?pagination=no&lang=en&mode=flat&explanatory_notes=show&basic_numbers=show

2. 卷积神经网络 Vgg16 :

https://blog.csdn.net/qq_34823656/article/details/92410152

3. Milvus官方文档:

https://milvus.io/cn/docs/v0.10.3/overview.md

4. 知擎者官网:

https://zqz510.com/

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-01-22,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 ZILLIZ 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Milvus开源向量搜索引擎,轻松搭建以图搜图系统
当您听到“以图搜图”时,是否首先想到了百度、Google 等搜索引擎的以图搜图功能呢?事实上,您完全可以搭建一个属于自己的以图搜图系统:自己建立图片库;自己选择一张图片到库中进行搜索,并得到与其相似的若干图片。 Milvus 作为一款针对海量特征向量的相似性检索引擎,旨在助力分析日益庞大的非结构化数据,挖掘其背后蕴含的巨大价值。为了让 Milvus 能够应用于相似图片检索的场景,我们基于 Milvus 和图片特征提取模型 VGG 设计了一个以图搜图系统。 正文分为数据准备、系统概览、 VGG 模型、API 介绍、镜像构建、系统部署、界面展示七个部分。数据准备章节介绍以图搜图系统的数据支持情况。系统概览章节展示系统的整体架构。 VGG 模型章节介绍了 VGG 的结构、特点、块结构以及权重参数。 API 介绍章节介绍系统的五个基础功能 API 的工作原理。镜像构建章节介绍如何通过源代码构建客户端和服务器端的 docker 镜像。系统部署章节展示如何三步搭建系统。界面展示章节会展示系统的搜索界面。
Zilliz RDS
2020/03/26
5.1K0
Milvus开源向量搜索引擎,轻松搭建以图搜图系统
深度学习笔记
TensorFlow TensorFlow 不仅是一个实现机器学习算法的接口,也是一种框架,也可用于线性回归、逻辑回归、随机森林等算法; TensorFlow 使用数据流图来规划计算流程,每个运算操作作为一个节点 node,节点之间的连接称为边,边中流动的数据称为张量,故而得名 TensorFlow,预算操作可以有自己的属性,但必须被预先设置,或者能在创建计算图时被推断出来; TensorFlow 有一套为节点分配设备的策略,这是一个简单的贪婪策略,不能确保找到全局最优解,但可以快速找到一个不错的节点运算分
村雨遥
2022/06/15
4480
基于 Milvus 的钓鱼网站检测
在海量信息中,不乏非法分子利用网络骗取用户信任并从中获利,钓鱼网站就是其中之一。“钓鱼”网站的网址、网页内容、布局等与真实网站极其相似,没有安全意识的网民容易因此上当受骗,造成严重后果。
Zilliz RDS
2020/11/04
1.5K0
基于 Milvus 的钓鱼网站检测
Milvus 到底有多少种玩法?这份攻略合集请收好!
Milvus 是一款开源的向量相似度搜索引擎,支持使用多种 AI 模型将非结构化数据向量化,并为向量数据提供搜索服务。Milvus 集成了 Faiss、Annoy 等广泛应用的向量索引库,开发者可以针对不同场景选择不同的索引类型。使用 Milvus 就可以以相当低的成本研发出最简可行产品。
Zilliz RDS
2021/03/22
3.3K0
Milvus 到底有多少种玩法?这份攻略合集请收好!
【深度学习实验】卷积神经网络(五):深度卷积神经网络经典模型——VGG网络(卷积层、池化层、全连接层)
卷积神经网络在图像处理方面具有很强的优势,它能够自动学习到具有层次结构的特征表示,并且对平移、缩放和旋转等图像变换具有一定的不变性。这些特点使得卷积神经网络成为图像分类、目标检测、语义分割等任务的首选模型。除了图像处理,卷积神经网络也可以应用于其他领域,如自然语言处理和时间序列分析。通过将文本或时间序列数据转换成二维形式,可以利用卷积神经网络进行相关任务的处理。
Qomolangma
2024/07/30
4090
【深度学习实验】卷积神经网络(五):深度卷积神经网络经典模型——VGG网络(卷积层、池化层、全连接层)
利用深度学习手把手教你实现一个「以图搜图」
在上一篇文章《图像检索系列——利用 Python 检测图像相似度》中,我们介绍了一个在图像检索领域非常常用的算法——感知哈希算法。这是一个很简单且快速的算法,其原理在于针对每一张图片都生成一个特定的“指纹”,然后采取一种相似度的度量方式得出两张图片的近似程度。
出其东门
2019/09/03
2.9K0
利用深度学习手把手教你实现一个「以图搜图」
阿猫还是阿狗?AI视觉识别中目标检测的关键技术
内容来源:2018 年 04 月 21 日,AI教育求职平台景略集智创始人王文凯在“百度深度学习公开课·北京站:AI工程师的快速进阶之路”进行《目标检测面面观》演讲分享。IT 大咖说(微信id:itdakashuo)作为独家视频合作方,经主办方和讲者审阅授权发布。
IT大咖说
2018/10/08
1K0
阿猫还是阿狗?AI视觉识别中目标检测的关键技术
秘闻 | 卷积神经网络的那些秘密
卷积神经网络CNN Convolutional Neural Networks是包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一。
潘永斌
2019/10/08
8540
秘闻 | 卷积神经网络的那些秘密
基于 Milvus 的 VOVA 拍照购实践
VOVA 是一个面向全球市场的新兴跨境电商平台,专注于外贸出口,客户遍布六大洲一百多个国家和地区。VOVA 支持 20 种主流语言和 35 种主流货币,拥有数百万件高品质、高性价比的产品,为用户提供最新的全球平价商品和轻松有趣的购物体验。
Zilliz RDS
2021/04/12
5740
Milvus 助力又拍图片管家亿级图像搜图系统
又拍图片管家当前服务了千万级用户,管理了百亿级图片。当用户的图库变得越来越庞大时,业务上急切的需要一种方案能够快速定位图像,即直接输入图像,然后根据输入的图像内容来找到图库中的原图及相似图,而以图搜图服务就是为了解决这个问题。
Zilliz RDS
2020/06/12
9260
从LeNet到GoogLeNet:逐层详解,看卷积神经网络的进化
深度学习的兴起使卷积神经网络在计算机视觉方面大放异彩,本文将按时间和创新点顺序介绍一系列网络结构:LeNet、AlexNet、VGGNet、InceptionNet 与 ResNet。
AI科技大本营
2020/02/12
5020
从LeNet到GoogLeNet:逐层详解,看卷积神经网络的进化
零基础快速搭建一个图像检索系统
随着计算机视觉领域的发展,图像识别已经被广泛应用在各个领域,比如在疫情期间各个住宅、办公场所出入口位置广泛使用的人脸识别系统等等。
用户3147702
2022/06/27
1.6K0
零基础快速搭建一个图像检索系统
使用Keras进行深度学习(二): CNN讲解及实践
前言:现今最主流的处理图像数据的技术当属深度神经网络了,尤其是卷积神经网络CNN尤为出名。本文将通过讲解CNN的介绍以及使用keras搭建CNN常用模型LeNet-5实现对MNist数据集分类,从而使得读者更好的理解CNN。 1.CNN的介绍 CNN是一种自动化提取特征的机器学习模型。首先我们介绍CNN所用到一些基本结构单元: 1.1卷积层:在卷积层中,有一个重要的概念:权值共享。我们通过卷积核与输入进行卷积运算。通过下图可以理解如何进行卷积运算。卷积核从左到右对输入进行扫描,每次滑动1格(步长为1),
磐创AI
2018/04/24
1.2K0
使用Keras进行深度学习(二): CNN讲解及实践
深度学习经典网络解析:5.VGG
  VGGNet是在ImageNet Challenge 2014在定位和分类过程中分别获得了第一名和第二名的神经网络架构。VGGNet是牛津大学计算机视觉组和DeepMind公司的研究员一起研发的深度卷积神经网络。VGG主要探究了卷积神经网络的深度和其性能之间的关系,通过反复堆叠3×3的小卷积核和2×2的最大池化层,VGGNet成功的搭建了16-19层的深度卷积神经网络。与之前的网络结构相比,错误率大幅度下降;同时,VGG的泛化能力非常好,在不同的图片数据集上都有良好的表现。到目前为止,VGG依然经常被用来提取特征图像。自从2012年AlexNet在ImageNet Challenge大获成功之后,深度学习在人工智能领域再次火热起来,很多模型在此基础上做了大量尝试和改进。主要有两个方向:
AiCharm
2023/05/15
1.3K0
深度学习经典网络解析:5.VGG
独家 | 一文带你上手卷积神经网络实战(附数据集、学习资料)
原文标题:Understanding deep Convolutional Neural Networks with a practical use-case in Tensorflow and Keras 作者:Ahmed Besbes 翻译:苏金六 校对:韩海畴 本文长度为10451字,建议阅读10分钟 本文通过数据集和应用案例,详细分析卷积神经网络,手把手教你用Keras和Tensorflow进行实战。 深度学习是目前最热门的人工智能话题之一。它是部分基于生物学解释的算法合集,在计算机视觉、自
数据派THU
2018/01/29
5.7K0
独家 | 一文带你上手卷积神经网络实战(附数据集、学习资料)
语义检索系统:基于Milvus 搭建召回系统抽取向量进行检索,加速索引
目标:使用 Milvus 搭建召回系统,然后使用训练好的语义索引模型,抽取向量,插入到 Milvus 中,然后进行检索。
汀丶人工智能
2023/08/02
2.8K0
语义检索系统:基于Milvus 搭建召回系统抽取向量进行检索,加速索引
Milvus 实战 | 基于 Milvus 的图像查重系统
由于巨大的利益,论文造假屡见不鲜,在部分国家或地区甚至形成了论文造假的产业链。目前大部分论文查重系统只能检查论文文字,不能检查图片。因此,论文图片查重已然成为了学术论文原创性检测的重要部分。
Zilliz RDS
2020/12/16
2.2K0
干货 | 梯度上升可视化卷积神经网络
AI科技评论按:本文作者陈仲铭,AI科技评论获其授权发布。 为什么我的CNN网络模型训练出来的东西总是过度拟合?已经改了很多次参数都不行,到底是样本有问题还是网络模型定义有问题?问题在哪来? CNN网络模型中的每一层学习的是些什么特征?为什么有的人说第一层卷积核提取的是边缘信息特征,有的人却说第一层卷积核提取的是颜色特征?到底是两者都有还是什么回事? CNN网络可不可以减掉几层然后保持相同的精度和损失率呢?减掉几层可以减少网络参数,本来我的GPU显存不是很大,太大的网络塞不下,不想重新买GPU只能减层,有没
AI科技评论
2018/03/14
1.2K0
干货 | 梯度上升可视化卷积神经网络
卷积神经网络学习路线(五)| 卷积神经网络参数设置,提高泛化能力?
这是卷积神经网络学习路线的第五篇文章,主要为大家介绍一下卷积神经网络的参数设置,调参技巧以及被广泛应用在了哪些领域,希望可以帮助到大家。
BBuf
2019/12/24
1.7K0
Milvus 实战 | 基于 Milvus 的食谱检索系统
现在,社交媒体、电商网站以及短视频应用源源不断地产生大量多模态数据。这些数据包含了自然语言、视觉信号、声音信号等多种类型。由于单一模式的数据分析已经不能满足日益复杂的查询需求,如何高效利用这些多模态数据变得至关重要。
Zilliz RDS
2020/12/02
1.2K0
推荐阅读
相关推荐
Milvus开源向量搜索引擎,轻松搭建以图搜图系统
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档