Loading [MathJax]/jax/input/TeX/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >最火向量数据库Milvus安装使用一条龙!

最火向量数据库Milvus安装使用一条龙!

作者头像
磊哥
发布于 2025-04-26 12:03:01
发布于 2025-04-26 12:03:01
64901
代码可运行
举报
文章被收录于专栏:王磊的博客王磊的博客
运行总次数:1
代码可运行

向量数据库是大模型应用开发必备组件之一,因为它在知识库、语义搜索、检索增强生成(RAG)等人工智能应用中发挥着举足轻重的作用。但向量数据有很多,为什么要使用 Milvus 呢?

常见向量数据

常见的向量数据库有以下这些:

  • Chroma
  • Elasticsearch
  • Milvus
  • Neo4j
  • OpenSearch
  • Redis
  • PGVector

然而目前市面上使用最多的向量数据库还是 Milvus,为什么呢?

这点从企业的招聘要求中也能发现:

为什么是 Milvus?

Milvus 设计之初就是为 AI 而生的一个高效的向量数据库系统,在大多数情况下,Milvus 的性能是其他向量数据库的 2-5 倍,它能实现万亿级向量的毫秒级相似性搜索,而且 Milvus 还是开源的向量数据库

PS:也就说 Milvus 既开源(可以免费使用+支持二次开发)又具备高性能,这样的数据库谁不爱呢?

为什么 Milvus 这么快?

Milvus 运行比较快的原因有以下几个:

  • 硬件感知优化:为了让 Milvus 适应各种硬件环境,我们专门针对多种硬件架构和平台优化了其性能,包括 AVX512、SIMD、GPU 和 NVMe SSD。
  • 高级搜索算法:Milvus 支持多种内存和磁盘索引/搜索算法,包括 IVF、HNSW、DiskANN 等,所有这些算法都经过了深度优化。与 FAISS 和 HNSWLib 等流行实现相比,Milvus 的性能提高了 30%-70%。
  • C++ 搜索引擎:向量数据库性能的 80% 以上取决于其搜索引擎。由于 C++ 语言的高性能、底层优化和高效资源管理,Milvus 将 C++ 用于这一关键组件。最重要的是,Milvus 集成了大量硬件感知代码优化,从汇编级向量到多线程并行化和调度,以充分利用硬件能力。
  • 面向列:Milvus 是面向列的向量数据库系统。其主要优势来自数据访问模式。在执行查询时,面向列的数据库只读取查询中涉及的特定字段,而不是整行,这大大减少了访问的数据量。此外,对基于列的数据的操作可以很容易地进行向量化,从而可以一次性在整个列中应用操作,进一步提高性能。

Milvus 支持的搜索类型

Milvus 支持各种类型的搜索功能,以满足不同用例的需求:

  • ANN 搜索:查找最接近查询向量的前 K 个向量。
  • 过滤搜索:在指定的过滤条件下执行 ANN 搜索。
  • 范围搜索:查找查询向量指定半径范围内的向量。
  • 混合搜索:基于多个向量场进行 ANN 搜索。
  • 全文搜索:基于 BM25 的全文搜索。
  • Rerankers:根据附加标准或辅助算法调整搜索结果顺序,完善初始 ANN 搜索结果。
  • 根据主键检索数据
  • 查询使用特定表达式检索数据

Milvus 安装

Milvus 有三种部署方式:

  • Milvus Lite:Milvus Lite 是一个 Python 库,可导入到您的应用程序中。作为 Milvus 的轻量级版本,它非常适合在 Jupyter 笔记本或资源有限的智能设备上运行快速原型。Milvus Lite 支持与 Milvus 其他部署相同的 API。与 Milvus Lite 交互的客户端代码也能与其他部署模式下的 Milvus 实例协同工作。
  • Milvus Standalone:Milvus Standalone 是单机服务器部署。Milvus Standalone 的所有组件都打包到一个 Docker 镜像中,部署起来非常方便。
  • Milvus Distributed:Milvus Distributed 可部署在 Kubernetes 集群上。这种部署采用云原生架构,摄取负载和搜索查询分别由独立节点处理,允许关键组件冗余。它具有最高的可扩展性和可用性,并能灵活定制每个组件中分配的资源。Milvus Distributed 是在生产中运行大规模向量搜索系统的企业用户的首选。

PS:当然中小型公司生产环境也可以直接购买 XXX 云的 Milvus 实例直接使用。

我们这里使用 Milvus Standalone 单机版部署方式。

硬件要求

前提条件

安装之后,需要重启电脑,并且电脑会进行 Linux 子系统更新才能正常启动,此过程可能会比较慢。

  • 安装 Windows Subsystem for Linux 2 (WSL 2):通常不需要单独安装,安装 Docker Desktop 时会自动安装。

正式安装

1.打开 PowerShell。

2.下载安装脚本,命令如下:

代码语言:javascript
代码运行次数:1
运行
AI代码解释
复制
Invoke-WebRequest https://raw.githubusercontent.com/milvus-io/milvus/refs/heads/master/scripts/standalone_embed.bat -OutFile standalone.bat

3.运行下载的脚本

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
standalone.bat start

最终执行效果如下:

运行安装脚本后,包含以下内容:

  • 名为 Milvus-standalone 的 docker 容器已在19530 端口启动。
  • 嵌入式 etcd 与 Milvus 安装在同一个容器中,服务端口为 2379。其配置文件被映射到当前文件夹中的 embedEtcd.yaml。
  • Milvus 数据卷映射到当前文件夹中的 volumes/milvus。

在 Docker Desktop 也可以看到安装的 Milvus 相关组件:

参考官方文档:https://milvus.io/docs/zh/install_standalone-windows.md

安装 UI 客户端

Milvus 服务安装成功之后,可以按照一个 UI 客户端连接 Milvus 服务,使用官方提供的客户端 attu:https://github.com/zilliztech/attu

具体安装步骤如下:

1.访问下载安装包(attu-Setup-2.4.12.exe)地址:https://github.com/zilliztech/attu/releases/tag/v2.4.12

2.解压并安装 attu。

安装成功之后连接本地 Milvus 服务,如下图所示:

小结

Milvus 作为开源高性能向量数据库的代表,它的安装也不难,如果顺利的情况下,可能 5 分钟左右就搞定了。安装完成之后就用它加上 Spring AI 或 LangChain4j 来实现一下 RAG 功能吧。

本文已收录到我的技术小站 www.javacn.site,其中包含的内容有:Spring AI、LangChain4j、MCP、Function Call、RAG、向量数据库、Prompt、多模态、向量数据库、嵌入模型等内容。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2025-04-25,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Milvus 向量数据库进阶系列丨部署形态选型
在和社区小伙伴们交流的过程中,我们发现大家最关心的问题从来不是某个具体的功能如何使用,而是面对一个具体的实战场景时,如何选择合适的向量数据库解决方案或最优的功能组合。在 “Milvus 向量数据库进阶” 这个系列文章中,我们会聚焦回答这一类问题,如 “在 AI 应用开发的不同阶段,向量数据库应该如何选型”,“如何正确的构建 RAG 多租系统” 等。虽然这个系列名为进阶,但内容同时适用于初级和进阶用户。我们希望通过这些内容的介绍,帮助大家在向量数据库应用的过程中少走弯路。
Zilliz RDS
2024/07/31
4220
Milvus 向量数据库进阶系列丨部署形态选型
一文带你入门向量数据库milvus:含docker安装、milvus安装使用、attu 可视化,完整指南启动 Milvus 进行了向量相似度搜索
前言:网络上有很多milvus讲解,但看完感觉还是不是很细节,特意写下这边博客记录一下详细步骤,作为milvus入门博文
汀丶人工智能
2023/10/11
23.7K0
一文带你入门向量数据库milvus:含docker安装、milvus安装使用、attu 可视化,完整指南启动 Milvus 进行了向量相似度搜索
AI与.NET技术实操系列(五):向量存储与相似性搜索在 .NET 中的实现
在当今这个数据爆炸的时代,信息的快速存储与高效检索已经成为技术领域的核心挑战。随着人工智能(AI)和机器学习(ML)的迅猛发展,向量存储和相似性搜索技术逐渐崭露头角,成为处理海量数据的利器。对于使用 .NET 的开发者来说,掌握这些技术不仅意味着能够开发出更智能、更高效的应用,更是在信息洪流中保持竞争力的关键。借助向量存储,我们可以将复杂的数据(如文本、图像或音频)转化为高维向量,通过相似性搜索快速找到与查询最相关的内容,从而大幅提升信息检索的精度和效率。
AI.NET 极客圈
2025/03/20
2070
AI与.NET技术实操系列(五):向量存储与相似性搜索在 .NET 中的实现
“加速AI搜索和分析:Milvus数据库解析与实践指南“
在当今数字化时代,人工智能 AI 正迅速改变着我们的生活和工作方式。从智能助手到自动驾驶汽车,AI 正在成为各行各业的创新引擎。然而,这种 AI 的崛起也带来了一个关键的挑战:如何有效地处理和分析越来越丰富和复杂的数据。在这个背景下,向量数据库技术应运而生,为 AI 提供了强大的加速引擎。
汀丶人工智能
2023/10/18
1.5K0
“加速AI搜索和分析:Milvus数据库解析与实践指南“
2024 年,向量数据库的性能卷到什么程度了?
对于数据库(尤其是向量数据库)而言,“性能”是一个十分关键的指标,其用于衡量数据库是否能够在有限资源内,高效处理大量用户请求。对于向量数据库用户而言,尽管可能在某些情况下对延时的要求不高,但对性能指标的高要求却一如既往,从未改变。
Zilliz RDS
2024/02/23
7380
2024 年,向量数据库的性能卷到什么程度了?
【RAG落地利器】向量数据库Milvus教程:如何实现MetaData检索过滤
Milvus 在 Milvus 存储库中提供了 Docker Compose 配置文件。要使用 Docker Compose 安装 Milvus,只需运行
致Great
2025/01/21
6580
【RAG落地利器】向量数据库Milvus教程:如何实现MetaData检索过滤
KubeSphere 最佳实战:GitHub Star 28.5k!KubeSphere 部署向量数据库 Milvus实战指南
Milvus 是一个为通用人工智能(GenAI)应用而构建的开源向量数据库。它以卓越的性能和灵活性,提供了一个强大的平台,用于存储、搜索和管理大规模的向量数据。Milvus 能够执行高速搜索,并以最小的性能损失扩展到数百亿向量。其分布式架构确保了系统的高可用性和水平可扩展性,满足不断增长的数据需求。同时,Milvus 提供了丰富的 API 和集成选项,使其成为机器学习、计算机视觉和自然语言处理等 AI 应用的理想选择。
运维有术
2024/07/29
990
KubeSphere 最佳实战:GitHub Star 28.5k!KubeSphere 部署向量数据库 Milvus实战指南
KubeSphere 最佳实战:KubeSphere 部署向量数据库 Milvus(GitHub Star 28.5k)实战指南
Milvus 是一个为通用人工智能(GenAI)应用而构建的开源向量数据库。它以卓越的性能和灵活性,提供了一个强大的平台,用于存储、搜索和管理大规模的向量数据。Milvus 能够执行高速搜索,并以最小的性能损失扩展到数百亿向量。其分布式架构确保了系统的高可用性和水平可扩展性,满足不断增长的数据需求。同时,Milvus 提供了丰富的 API 和集成选项,使其成为机器学习、计算机视觉和自然语言处理等 AI 应用的理想选择。
运维有术
2024/07/25
2070
KubeSphere 最佳实战:KubeSphere 部署向量数据库 Milvus(GitHub Star 28.5k)实战指南
【RAG落地利器】Weaviate、Milvus、Qdrant 和 Chroma 向量数据库对比
向量数据库是一种将数据存储为高维向量的数据库,高维向量是特征或属性的数学表示。每个向量都有一定数量的维度,根据数据的复杂性和粒度,可以从数十到数千不等。
致Great
2025/01/23
1.6K0
【RAG落地利器】Weaviate、Milvus、Qdrant 和 Chroma 向量数据库对比
开源向量数据库比较:Chroma, Milvus, Faiss,Weaviate
语义搜索和检索增强生成(RAG)正在彻底改变我们的在线交互方式。实现这些突破性进展的支柱就是向量数据库。选择正确的向量数据库能是一项艰巨的任务。本文为你提供四个重要的开源向量数据库之间的全面比较,希望你能够选择出最符合自己特定需求的数据库。
deephub
2024/04/25
25.1K1
开源向量数据库比较:Chroma, Milvus, Faiss,Weaviate
Hello, Vector DB | AIGC 时代,你需要一个真正的向量数据库么?
答案很简单,这取决于开发者的应用场景。举个例子,晚饭选择去一家五星级餐厅用餐或是是快餐店,往往和你的胃口和期望有关。
Zilliz RDS
2023/10/28
1K0
Hello, Vector DB | AIGC 时代,你需要一个真正的向量数据库么?
解读向量数据库
不论是RAG,还是Agent,几乎每个LLM 驱动的应用程序都可能会用到向量数据库。那么,向量数据库是什么?与传统数据库有何不同? 又如何选择向量数据库呢? 本文是老码农关于向量数据库的学习笔记。
半吊子全栈工匠
2023/11/27
1.9K0
解读向量数据库
重磅推出:Milvus Lite 正式上线,几秒内即可轻松搭建 GenAI 应用
Milvus Lite(https://milvus.io/docs/milvus_lite.md)是一个轻量级向量数据库,支持本地运行,可用于搭建 Python 应用,由 Zilliz 基于全球最受欢迎的开源向量数据库 Milvus(https://milvus.io/intro)研发。从架构上,Milvus Lite 复用了 Milvus 向量索引和查询解析的核心组件,同时移除了 Milvus 中专为分布式系统高扩展性设计的组件。这种架构设计使 Milvus Lite 变为一种紧凑且高效的向量数据库解决方案,非常适用于计算资源有限的环境,如笔记本电脑、Jupyter Notebook 和移动设备等。
Zilliz RDS
2024/06/13
7570
重磅推出:Milvus Lite 正式上线,几秒内即可轻松搭建 GenAI 应用
应对数据爆炸时代,揭秘向量数据库如何成为AI开发者的新宠,各数据库差异对比
项目设计集合(人工智能方向):助力新人快速实战掌握技能、自主完成项目设计升级,提升自身的硬实力(不仅限NLP、知识图谱、计算机视觉等领域):汇总有意义的项目设计集合,助力新人快速实战掌握技能,助力用户更好利用 CSDN 平台,自主完成项目设计升级,提升自身的硬实力。
汀丶人工智能
2023/11/23
4250
应对数据爆炸时代,揭秘向量数据库如何成为AI开发者的新宠,各数据库差异对比
Milvus 2.3.功能全面升级,核心组件再升级,超低延迟、高准确度、MMap一触开启数据处理量翻倍、支持GPU使用!
Milvus 2.3.0 不仅包含大量的社区呼声很高的新功能,还带来了诸如 GPU 支持、Query 架构升级、更强的负载均衡、调度能力、新的消息队列Arm 版本镜像、可观测性、运维工具升级等能力,这标志着 Milvus 2.x 系列从 production ready,走向成熟、可靠、生态繁荣、运维更友好的发展路径。
汀丶人工智能
2023/11/21
8320
Milvus 2.3.功能全面升级,核心组件再升级,超低延迟、高准确度、MMap一触开启数据处理量翻倍、支持GPU使用!
RAG实操教程langchain+Milvus向量数据库创建你的本地知识库
RAG 是retrieval-augmented-generation的缩写,翻译为中文的意思就检索增强,以基于最新,最准确的数据建立LLM 的语料知识库。
用户1418987
2024/09/06
1.9K0
RAG实操教程langchain+Milvus向量数据库创建你的本地知识库
Elasticsearch很好,但向量数据库才是未来
专为向量数据库设计的系统,通过在一个高效的操作中统一 Sparse-BM25 算法和语义搜索,性能优于双系统设置。
云云众生s
2024/12/02
3180
Elasticsearch很好,但向量数据库才是未来
向量数据库 milvus 快速入门
在当今的数据驱动世界中,非结构化数据如文本、图像、音频和视频等占据了数据总量的绝大部分。传统的关系型数据库对于处理这类复杂且多维的数据并不高效。因此,为了更好地管理和检索这些非结构化数据,向量数据库应运而生。
zhouzhou的奇妙编程
2025/01/30
6090
Milvus 图形化管理工具 Attu 来袭!
面对高速增长的非结构化数据处理需求,Milvus 2.0 应运而生。Milvus 2.0 是一款面向 AI、专为大规模生产级场景设计的向量数据库系统。如何快速上手这款非结构化数据处理神器?除了 Milvus 专属的命令行客户端 Milvus_cli,你还可以选择 Zilliz 为 Milvus 专门开发的图形界面客户端—— Attu。
Zilliz RDS
2022/04/08
4.5K0
Milvus 图形化管理工具 Attu 来袭!
Milvus 2.0 新版本一览:重新定义向量数据库
2018 年 10 月,我们写下了向量数据库 Milvus 的第一行代码;在历经了 29 个月、19 个版本的迭代与全球 1000 家用户的实践验证后,终于在 2021 年 3月迎来了 Milvus 1.0 版本。Milvus 解决了对向量数据进行增删改查(CRUD)操作和数据持久化的问题,但随着新需求的出现,更多问题也逐渐浮现出来。本文旨在总结过去三年的经验,聊聊 Milvus 2.0 期待解决的问题,以及为什么 Milvus 2.0 是解决这些问题的良药。
Zilliz RDS
2021/07/23
3.4K0
Milvus 2.0 新版本一览:重新定义向量数据库
推荐阅读
Milvus 向量数据库进阶系列丨部署形态选型
4220
一文带你入门向量数据库milvus:含docker安装、milvus安装使用、attu 可视化,完整指南启动 Milvus 进行了向量相似度搜索
23.7K0
AI与.NET技术实操系列(五):向量存储与相似性搜索在 .NET 中的实现
2070
“加速AI搜索和分析:Milvus数据库解析与实践指南“
1.5K0
2024 年,向量数据库的性能卷到什么程度了?
7380
【RAG落地利器】向量数据库Milvus教程:如何实现MetaData检索过滤
6580
KubeSphere 最佳实战:GitHub Star 28.5k!KubeSphere 部署向量数据库 Milvus实战指南
990
KubeSphere 最佳实战:KubeSphere 部署向量数据库 Milvus(GitHub Star 28.5k)实战指南
2070
【RAG落地利器】Weaviate、Milvus、Qdrant 和 Chroma 向量数据库对比
1.6K0
开源向量数据库比较:Chroma, Milvus, Faiss,Weaviate
25.1K1
Hello, Vector DB | AIGC 时代,你需要一个真正的向量数据库么?
1K0
解读向量数据库
1.9K0
重磅推出:Milvus Lite 正式上线,几秒内即可轻松搭建 GenAI 应用
7570
应对数据爆炸时代,揭秘向量数据库如何成为AI开发者的新宠,各数据库差异对比
4250
Milvus 2.3.功能全面升级,核心组件再升级,超低延迟、高准确度、MMap一触开启数据处理量翻倍、支持GPU使用!
8320
RAG实操教程langchain+Milvus向量数据库创建你的本地知识库
1.9K0
Elasticsearch很好,但向量数据库才是未来
3180
向量数据库 milvus 快速入门
6090
Milvus 图形化管理工具 Attu 来袭!
4.5K0
Milvus 2.0 新版本一览:重新定义向量数据库
3.4K0
相关推荐
Milvus 向量数据库进阶系列丨部署形态选型
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档