Reinvent Data Science-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Reinvent Data Science

专栏成员

262

文章

240689

阅读量

39

订阅数

一文玩转 Milvus 新特性之 Hybrid Search

数据搜索 search 模型排序

OpenAI 最近官宣的多模态大模型 GPT-4o 再一次引发了热议，近年来对多模态的处理能力被认为是通往 AGI 的必经之路。虽然关于 GPT-4o 的训练方法尚未公布，但从 CLIP 双模态模型的训练上我们可以窥见端倪，将不同模态但相互关联的数据提取特征，转为固定维度的向量输入给模型，然后通过对比学习的方式调整模型参数进行模态间融合。

2024-06-28

860

如何选择合适的 Embedding 模型？

搜索音频 embedding 模型视频

RAG 通常会用到三种不的AI模型，即 Embedding 模型、Rerankear模型以及大语言模型。本文将介绍如何根据您的数据类型以及语言或特定领域（如法律）选择合适的 Embedding 模型。

2024-06-27

1260

Milvus 集成 DSPy：搭建高效 RAG Pipeline

模型数据优化 pipeline 程序

大语言模型（LLM）为行业带来变革，具备强大的生成能力，在与知识库和检索器等工具相结合时，能够高效推动聊天机器人和 Agent 等高级生成式 AI（GenAI）应用的发展。与 LLMs 互动的过程中，最核心的部分是提示（prompt）。Prompt 是指用于指导这些模型执行特定任务的命令。然而，制定有效的 Prompt 是一个细致且复杂的过程，常需借助如思维链（Chain-of-Thought）和 ReAct 等高级技术。随着这些技术的发展，Prompt 的复杂性日益增加。此外，即使是相同的 Prompt ，在不同的 LLM（如 GPT-4 和 Gemini）之间也可能因其预训练方法和数据集的不同而产生差异化的结果。这一挑战引发了业内对 Prompt 工程的研究，这是一项专注于调整和优化 Prompt 以获得更佳和更定制化结果的劳动密集型任务。

2024-06-25

1470

实用指南｜如何使用 Milvus 将 JSON 数据向量化并进行相似性搜索

模型数据搜索 json 量化

然而，JSON 数据的层次结构虽然实用，但在存储、检索及数据分析时操作起来较为复杂。将 JSON 数据向量化能够提升数据处理、存储、检索及分析的效率，进而提高系统整体性能和操作便利性。

2024-06-25

3090

Jina AI + Milvus Lite：搭建 RAG 问答机器人

数据搜索索引机器人教程

开发人员特别重视那些易于设置、启动迅速且能在生产环境中无缝扩展的基础组件。针对这一需求，我们推出了最新的轻量级向量数据库产品——Milvus Lite。对于 Python 开发者而言，Milvus Lite 是一个极具价值的工具，尤其适用于追求高质量、易用性的搜索应用。

2024-06-25

1360

Milvus跨集群数据迁移

备份集群镜像数据数据迁移

注意：此方案为非实时同步方案，但借助 MinIO 客户端的数据同步功能，应该也是可以做到实时同步迁移。

2024-06-14

1760

Ask AI 上线！构建企业级的 Chatbot

官方文档搜索存储机器人 chatbot

早些时候我们在社区微信群发出了一份关于 Milvus 自动问答机器人的调研问卷。

2024-06-13

840

重磅推出：Milvus Lite 正式上线，几秒内即可轻松搭建 GenAI 应用

数据搜索研发部署开发

Milvus Lite（https://milvus.io/docs/milvus_lite.md）是一个轻量级向量数据库，支持本地运行，可用于搭建 Python 应用，由 Zilliz 基于全球最受欢迎的开源向量数据库 Milvus（https://milvus.io/intro）研发。从架构上，Milvus Lite 复用了 Milvus 向量索引和查询解析的核心组件，同时移除了 Milvus 中专为分布式系统高扩展性设计的组件。这种架构设计使 Milvus Lite 变为一种紧凑且高效的向量数据库解决方案，非常适用于计算资源有限的环境，如笔记本电脑、Jupyter Notebook 和移动设备等。

2024-06-13

880

重磅！Zilliz 与智源研究院联合推出自动化多样性信息检索评测基准 AIR-Bench

自动化测试模型设计数据

Github：https://github.com/AIR-Bench/AIR-Bench

2024-05-31

1170

一文深度剖析 ColBERT

量化模型存储 token 编码

在之前的文章中，我们已经深入探讨了各种类型的 embedding 向量和专为高效信息检索而设计的模型，包括针对具体用例设计的稠密、稀疏和二进制 embedding 向量，它们各自的优势和劣势。此外，我们还介绍了各种 Embedding 向量模型，如用于稠密向量生成和检索的 BERT，以及用于稀疏向量生成和检索的 SPLADE 和BGE-M3。

2024-05-31

1560

基于 Milvus + LlamaIndex 实现高级 RAG

模型数据搜索索引优化

随着大语言模型（LLM）技术的发展，RAG（Retrieval Augmented Generation）技术得到了广泛探讨和研究，越来越多的高级 RAG 检索方法也随之被人发现，相对于普通的 RAG 检索，高级 RAG 通过更深化的技术细节、更复杂的搜索策略，提供出了更准确、更相关、更丰富的信息检索结果。本文首先讨论这些技术，并基于 Milvus 给出一个实现案例。

2024-05-31

1990

GPT-4o 引领人机交互新风向，向量数据库赛道沸腾了

数据人机交互向量数据库 gpt 模型

据 IDC 预测，到 2025 年，全球数据总量中将有超过 80% 的数据是非结构化数据，而向量数据库是处理非结构化数据的重要组件。回顾向量数据库的历史，2019 年，Zilliz 首次推出了 Milvus，提出了向量数据库的概念。2023 大语言模型（LLM）的爆火，将向量数据库正式从幕后被推到了台前，也因此赶上了发展的快速列车。

2024-05-20

1920

手把手系列！使用 Zilliz Cloud 和 AWS Bedrock 搭建 RAG 应用

aws cloud 连接模型数据

Zilliz Cloud（https://zilliz.com.cn/cloud）基于 Milvus（https://milvus.io/）向量数据库构建，提供存储和处理大规模向量化数据的解决方案，可用于高效管理、分析和检索数据。开发人员可以利用 Zilliz Cloud 的向量数据库功能来存储和搜索海量 Embedding 向量，进一步增强 RAG 应用中的检索模块能力。

2024-05-11

1700

RAG 修炼手册｜揭秘 RAG 时代的新向量数据库

模型数据系统向量数据库数据库

不过，有很多朋友对于向量数据库和 RAG 的关系及技术原理并不清楚，本文将带大家深入了解 RAG 时代的新向量数据库。

2024-05-11

3760

全面提升 RAG 质量！Zilliz 携手智源集成 Sparse Embedding、Reranker 等多种 BGE 开源模型

开发者模型排序开源 embedding

近期，Zilliz 与智源研究院达成合作，将多种 BGE（BAAI General Embedding）开源模型与开源向量数据库 Milvus 集成。得益于 Milvus 2.4 最新推出的 Sparse Vector（稀疏向量）和 Multi-vector（多向量）支持，开发者获得了多种选择，不仅有业界广泛采用的 Dense Embedding（稠密向量模型），还能使用 BGE 最新推出的 Sparse Embedding（稀疏检索模型）、Reranker（重排序）模型。开发者可以轻松组合这些工具构建更加强大的召回方案，覆盖语义检索、全文检索和精排的能力。

2024-04-30

4670

RAG 修炼手册｜如何评估 RAG 应用？

工具设计数据系统性能

如果你是一名用户，拥有两个不同的 RAG 应用，如何评判哪个更好？对于开发者而言，如何定量迭代提升你的 RAG 应用的性能？

2024-04-25

3290

提高 RAG 应用准确度，时下流行的 Reranker 了解一下？

深度学习架构模型搜索索引

上述的基础 RAG 架构可以有效解决 LLM 产生“幻觉”、生成内容不可靠的问题。但是，一些企业用户对上下文相关性和问答准确度提出了更高要求，需要更为复杂的架构。一个行之有效且较为流行的做法就是在 RAG 应用中集成 Reranker。

2024-04-18

9100

RAG 修炼手册｜一文讲透 RAG 背后的技术

性能自然语言处理模型数据搜索

今天我们继续剖析 RAG，将为大家详细介绍 RAG 背后的例如 Embedding、Transformer、BERT、LLM 等技术的发展历程和基本原理，以及它们是如何应用的。

2024-04-11

1.2K0

引领向量数据库技术新变革，Milvus 2.4 正式上线！

内存搜索索引性能向量数据库

作为向量数据库赛道的领军者，Zilliz 一直致力于推动向量技术的进步与创新。本次发布中，Milvus 新增支持基于 NVIDIA 的 GPU 索引—— CUDA 加速图形索引（CAGRA），突破了现有向量搜索的能力。

2024-04-10

4720

高维解码｜Redis 收紧许可证！开源软件公司如何在云时代生存？

服务开源软件开源 redis 产品

最近，Redis 从开放源代码的 BSD 许可证过渡到了更加限制性的 Server Side Public License (SSPLv1)。一石激起千层浪，Redis 的这一举动，不仅分化了前 Redis 维护者，也再次引发业界对于“开源项目可持续性以及许可证决策对其社区的影响”的讨论。

2024-04-10

1080

点击加载更多

社区活动

AI代码助手快速上手训练营

鹅厂大牛带你玩转AI智能结对编程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态