今年自己做了不少业余的 LLM demo/PoC 级的应用，前前后后使用了几种向量数据库（Vector Database），包括尚不能称之为向量数据库的 FAISS，玩票性质的 redisearch 和 pgvector，闭源的 SAAS 服务 pinecone，以及使用 Rust 构建的 qdrant 和 lancedb。这些向量数据库各有千秋，支持的索引技术不尽相同，但它们都试图解决传统数据库或者搜索引擎在搜索高维度信息时的力不从心的问题。
它把数据向量化，然后进行存储和查询，极大地提升效率、降低成本，解决了大模型预训练成本高、存在幻觉、没有“长期记忆”、知识更新不及时等问题。
视频创作者通常需要从大量的素材中找到自己需要的片段来剪辑，可真是心累。作为 Up 主的王德福抓住这一需求和他的小伙伴 Arthur，使用 Jina 搭建起一个跨模态视频搜索引擎，轻松实现输入描述文本，即可得到对应视频片段。
注：限定下讨论范围，分布式数据库，存储计算分离，share-noting 架构，仅讨论存储层。
允中 发自 凹非寺 量子位 | 公众号 QbitAI ChatGPT爆火，为何大模型却依然没有得到广泛的应用？ 原因无它，受制于性能和成本。 最近，有这样一个项目引发业内关注和讨论——GPTCache（https://github.com/zilliztech/GPTCache）。 它使用向量数据库技术为各种 LLM 应用提供一层语义缓存，能够存储 LLM 响应，从而显著减少检索数据所需的时间、降低 API 调用开销、提升应用可扩展性。 简单来说，有了 GPTCache，受制于性能优化与成本的 LLM 应用
典型的前馈神经网络将每个数据点的特征作为输入并输出预测。利用训练数据集中每个数据点的特征和标签来训练神经网络。这种框架已被证明在多种应用中非常有效，例如面部识别，手写识别，对象检测，在这些应用中数据点之间不存在明确的关系。但是，在某些使用情况下，当v（i）与v（i）之间的关系不仅仅可以由数据点v（i）的特征确定，还可以由其他数据点v（j）的特征确定。j）给出。例如，期刊论文的主题（例如计算机科学，物理学或生物学）可以根据论文中出现的单词的频率来推断。另一方面，在预测论文主题时，论文中的参考文献也可以提供参考。在此示例中，我们不仅知道每个单独数据点的特征（词频），而且还知道数据点之间的关系（引文关系）。那么，如何将它们结合起来以提高预测的准确性呢？
近年来，保司数据化转型提速，各类文本、音视频的凭证票证核保及跑批需求不断增加，许多机构便将数据库引入至业务流程中。
如何结合 Elasticsearch 的搜索相关性和 OpenAI 的 ChatGPT 的问答功能来查询您的数据？在此博客中，您将了解如何使用 Elasticsearch 将 ChatGPT 连接到专有数据存储，并为您的数据构建问答功能。
深度神经网络（DNN）模型可以解决矩阵分解的这些局限性。DNN可以轻松地合并查询特征和项目特征（由于网络输入层的灵活性），这有助于捕获用户的特定兴趣并提高建议的相关性。
原标题 | Reverse Image Search with Machine Learning
笔者在 《程序是如何在 CPU 中运行的(二)》中从 PC 指针寄存器的角度分析了一级函数调用和二级函数调用执行的过程，那么中断服务子程序又是如何被执行的呢？两者的相同点和不同点是什么呢？该篇文章笔者将详细地阐述这个概念。
向量数据库大模型知识库向量数据存储_向量数据检索- 腾讯云 (tencent.com)
黄老板的一句【AI 的 iPhone 时刻已至】震撼了半个科技圈。或许，应该把这句话再扩展一下：AI 的 iPhone 时刻早已势不可挡，它不是平静随和地跟大家 say hi，而是作为一个强悍的巨人携着一把名为 ChatGPT 的斧子，重重地砸开了那扇通向 AI 新世界的大门。
Milvus 是一款云原生向量数据库，它具备高可用、高性能、易拓展的特点，用于海量向量数据的实时召回。
在大模型爆火之前，国内向量数据库赛道略显荒芜，市场上独立开发向量数据库的厂商只有个位数。
一直以来，图数据库被大家认为是图辅助分析系统，在开源的世界里更是如此，比如安全打击，大家倾向于用(图查询-展示-剪枝-迭代)等方式来分析诈骗团伙。然而，上述的大厂们更倾向于把图数据库作为在线系统，提供实时低延时图查询服务，微信也亟待解决这样的问题。这两者场景具有一定的差异，普遍认为，后者可以涵盖前者的部分需求，但往往会牺牲易用性。WeGraphDB属于后者，致力于提供高可靠低延时在线服务，同时尽力提供图分析能力。
由于巨大的利益，论文造假屡见不鲜，在部分国家或地区甚至形成了论文造假的产业链。目前大部分论文查重系统只能检查论文文字，不能检查图片。因此，论文图片查重已然成为了学术论文原创性检测的重要部分。
向量数据库的原理和实现，包括向量数据库的基本概念、相似性搜索算法、相似性测量算法、过滤算法和向量数据库的选型等等。向量数据库是崭新的领域，目前大部分向量数据库公司的估值乘着 AI 和 GPT 的东风从而飞速的增长，但是在实际的业务场景中，目前向量数据库的应用场景还比较少，抛开浮躁的外衣，向量数据库的应用场景还需要开发者们和业务专家们去挖掘。
现在，再来了解和回顾一下Tencent Cloud VectorDB的概念，腾讯云向量数据库（Tencent Cloud VectorDB）是一款全托管的自研企业级分布式数据库服务，专用于存储、检索、分析多维向量数据，而且该数据库支持多种索引类型和相似度计算方法，单索引支持 10 亿级向量规模，可支持百万级 QPS 及毫秒级查询延迟。
Annoy 和 Milvus 都是用于向量索引和相似度搜索的开源库，它们可以高效地处理大规模的向量数据。
在第1部分中，读者将会学习到Spring容器、依赖注入（dependency injection，DI）和面向切面编程（aspect-oriented programming， AOP），也就是Spring框架的核心。这能让读者很好地理解Spring的 基础原理，而这些原理将会在本书各个章节都会用到。
这篇文章是软件架构编年史的一部分，一系列关于软件架构的文章。在这些文章中，我写了我对软件架构的了解，我如何看待它，以及我如何使用这些知识。如果您阅读了本系列以前的文章，那么本文的内容可能更有意义。
前段时间敖丙在和腾讯云工作人员接触的时候，他们发现我骨骼惊奇还在对手工作过有丰富的经验，所以希望我跟他们共事，但是前提是希望我对向量数据库足够了解。
市场调研公司MarketsandMarkets提供的数据显示，预计全球向量数据库市场的价值将从2020年的3亿2000万美元激增至2025年的10亿5000万美元，这一增长对应的年均复合增长率为26.8%。
在当今数字化时代，人工智能 AI 正迅速改变着我们的生活和工作方式。从智能助手到自动驾驶汽车，AI 正在成为各行各业的创新引擎。然而，这种 AI 的崛起也带来了一个关键的挑战：如何有效地处理和分析越来越丰富和复杂的数据。在这个背景下，向量数据库技术应运而生，为 AI 提供了强大的加速引擎。
如今的数据世界正在飞速变化，但许多企业似乎还未跟上这一趋势的脚步。有行业专家预测，到2025年，80%或以上的数据将是非结构化数据。但德勤的一项调查显示，只有18%的企业对非结构化数据分析做好了准备。这意味着绝大多数企业拥有的大部分数据都无法利用，而这也就突显了拥有正确工具的重要性。
Milvus 究竟是一个计算平台，还是一个数据库？应用在哪些场景？诸如此类的问题我们的开发者常常在群里被小伙伴问到。这次我们对 Milvus 做了一个简单的概述，让大家可以更清楚 Milvus 是怎样的数据平台，以及 Milvus 长远的目标为何。完整的会议实录请点击视频。
word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；并且，该工具得到的训练结果——词向量（word embedding），可以很好地度量词与词之间的相似性。随着深度学习（Deep Learning）在自然语言处理中应用的普及，很多人误以为word2vec是一种深度学习算法。其实word2vec算法的背后是一个浅层神经网络。
在上一篇文章中，我们已经了解过领域驱动设计中一个很核心的对象-聚合。在现实场景中，我们往往需要将聚合持久化到某个地方，或者是从某个地方创建出聚合。此时就会使得领域对象与我们的基础架构产生紧密的耦合，那么我们应该怎么隔绝这一层耦合关系，使它们自身的职责界限更加清晰呢？是的，这就要用到我们今天要讲的内容 - 存储库。在很多地方，我们喜欢叫它为仓储，特别是在现有的AspNetCore应用中，大量的应用都在引入Repository这种东西。那么究竟什么是存储库呢？我们现在的使用方式是正确的吗？它在领域驱动设计中又扮演着怎样的角色呢？本文将从不同的角度来带大家重新认识一下“存储库”这个概念，并且给出相应的代码片段（本教程的代码片段都使用的是C#,后期的实战项目也是基于 DotNet Core 平台）。
在上一篇文章《图像检索系列——利用 Python 检测图像相似度》中，我们介绍了一个在图像检索领域非常常用的算法——感知哈希算法。这是一个很简单且快速的算法，其原理在于针对每一张图片都生成一个特定的“指纹”，然后采取一种相似度的度量方式得出两张图片的近似程度。
你是否有过这样的经历：你在网上看到一张壁纸，画面中的雪山和湖泊令人心驰神往，你想知道这是哪个国家的美景，却不知道如何搜索；或者，在阅读一篇文章时，你想深入了解这个话题，寻找更多的观点和资料，却不知道该如何精确描述；又或者，当你在聆听一首歌曲时，你想寻找更多同样风格或情感的歌曲，却不知道如何分类。这时，你需要的是一个能够理解你的意图，为你提供最相关的结果，让你轻松找到你想要的信息的工具。
Semantic Kernel是一个开源SDK，可让您轻松地将OpenAI，Azure OpenAI和Hugging Face等AI服务与C#和Python等传统编程语言相结合。通过这样做，您可以创建结合两全其美的 AI 应用程序。 Semantic Kernel 团队在博客上发布了2篇文章：
1.Milvus：一个开源的向量相似性搜索引擎，专为人工智能和机器学习应用程序设计。它支持多种相似性度量标准，并且具有很高的可扩展性，使其成为大规模部署的热门选择。2.Pinecone：一个关注简单易用的托管向量数据库服务。它提供了一个完全托管的、无服务器的环境，用于实时向量相似性搜索和推荐系统，减轻了运维负担。3.Vespa：一个实时大数据处理和搜索引擎，适用于各种应用场景，包括搜索、推荐和广告。Vespa 具有灵活的数据模型和内置的机器学习功能，可以处理大规模数据集。4.Weaviate：一个开源的知识图谱向量搜索引擎，它使用神经网络将实体和关系映射到高维空间，以实现高效的相似性搜索。Weaviate 支持自然语言处理、图查询和模型训练等功能。5.Vald：一个高度可扩展的、云原生的分布式向量搜索引擎，旨在处理大规模的向量数据。Vald 支持多种搜索算法，并通过 Kubernetes 部署和管理，提供高可用性和弹性。6.GSI：Global State Index (GSI) 是一个分布式、可扩展的向量搜索引擎，用于全球状态估计。GSI 利用不同节点间的局部信息，通过一致性哈希和向量近似搜索来实现高效的全球状态查询。7.Qdrant：一个开源的、高性能的向量搜索引擎，支持大规模数据集。Qdrant 提供了强大的索引、过滤和排序功能，以及丰富的 API，使其成为构建复杂应用程序的理想选择。
知识库服务依赖该数据库，Embedding 形式个性化训练 ChatGPT，必不可少的就是向量数据库 因为 qdrant 向量数据库只支持 Docker 部署，所以需要先安装好 Docker 服务。
信息爆炸的时代，更需要我们拥有高效获得文档信息的能力。随着人工智能技术的快速发展，智能问答系统已逐渐成为提升这一能力的重要手段之一。2022 年以来，以 GPT-3 模型为代表的大规模语言模型能力的不断提升，为智能文档问答带来了新的机遇，前不久 GPT-4 模型的震撼发布更是再次颠覆人们的认知。 GPT 爆火后，人们往往聚焦于其巨大的模型和令人惊叹的自然语言生成能力，而少有人谈到如此具体的技术解析。 近日，亚马逊云科技联合 Jina AI 举办 Tech Talk 主题活动。Jina AI 联合创始人兼 C
大家应该都清楚，数据正在以巨幅的速度增长。如果能够有效地利用这些数据，可以发现非常有价值的内容，然而传统技术（许多早在40年前设计的，比如RDBMS这样的技术）对于“大数据”的大肆宣传的商业价值的创造是远远不够的。一个使用大数据技术的典型例子就是“客户的单一视图” - 旨在汇总有关客户的所有信息，以优化客户的参与度和收益，例如精准地确定通过哪种渠道和什么时间向他们发推送。
导读：今天分享一下Facebook发表在KDD 2020的一篇关于社交网络搜索中的embedding检索问题的工作，干货很多，推荐一读。
上篇文章 我们完整的描述了计算机五层模型中的『应用层』和『运输层』，阐述了较为复杂的 TCP 协议的相关原理，相信大家一定也有所收获，那么本篇将继续五层模型的学习。
上篇博客理了一下一些知识表示学习模型，那今天我们来看目前最流行的BERT模型加上外部知识这个buff后到底会有怎么样的发展。其实这个思路在之前就有出现过比较有意思且高效的工作，像百度的ERNIE和ERNIE2.0 以及清华的ERNIE，这些工作的介绍可以参考站在BERT肩膀上的NLP新秀们（PART I）。
摘要: 原创出处 https://juejin.im/post/5b152061e51d4506a269a34f 「YangAM」欢迎转载，保留摘要，谢谢！
导读：在 AIGC 的时代背景下向量数据库井喷式发展。不少人理解向量数据库就是在传统数据库之上新增一个向量索引，然而随着大模型应用逐渐拓展到核心业务领域，通过复杂代码工程来拼接大模型、向量索引和结构化数据分析结果会阻碍规模化复制。同时并发查询性能、数据一致性、高可靠和弹性伸缩等特性会变得越发重要。阿里云 AnalyticDB 锚点未来 5 年企业数据架构智能化升级需求，全自研了企业级向量数据库，它也是国内云厂商中唯一被 ChatGPT 和 LangChain 推荐的向量引擎。本文带大家一起了解阿里云 AnalyticDB 技术负责人姚奕玮在 QCon 全球软件开发大会（北京站）2023 上的精彩演讲，解密 AnalyticDB 全自研企业级向量数据库核心技术，以及新一代向量数据库在云原生存算分离和 AI 原生上的技术演进路线。 完整幻灯片下载： https://qcon.infoq.cn/202309/beijing/presentation/5454
推荐系统是一种信息过滤技术，通过从用户行为中挖掘用户兴趣偏好，为用户提供个性化的信息，减少用户的找寻时间，降低用户的决策成本，让用户更加被动地消费信息。
互联网发展的数十年来，技术在飞速前进，伴随着海量结构化表格数据的存储，结构化数据上的商业智能分析挖掘发展，也有海量的非结构化数据散布于各个互联网平台：
本系列之中我们将会介绍 NVIDIA 出品的 HugeCTR，这是一个面向行业的推荐系统训练框架，针对具有模型并行嵌入和数据并行密集网络的大规模 CTR 模型进行了优化。
推荐系统是一种信息过滤技术，通过从用户行为中挖掘用户兴趣偏好，为用户提供个性化的信息，减少用户的找寻时间，降低用户的决策成本，让用户更加被动地消费信息。推荐系统是随着互联网技术的发展及应用深入而出现的，并在当前得到广泛的关注，它是一种软件解决方案，是toC互联网产品上的一个模块。用户通过与推荐模块交互，推荐系统通过提供的web服务，将与用户兴趣匹配的标的物筛选出来，组装成合适的数据结构，最终展示给用户。推荐系统web服务是前端和后端沟通的桥梁，是推荐结果传输的最后通道，信息传输是否通畅，传输是否足够快速，对用户体验是有极大影响的。本文我们就来讲解推荐系统提供web服务的两种主要方式，这两种方式是企业级推荐系统最常采用的两种形式。
当今数字化时代，数据安全成为了企业和个人最为关注的重要议题之一。随着数据规模的不断增长和数据应用的广泛普及，如何保护数据的安全性和隐私性成为了迫切的需求。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
