使用google距离矩阵API计算距离，除了少数几个查询之外，几乎所有的查询都能很好地工作 - 腾讯云开发者社区

文章/答案/技术大牛

发布

解读LoRA

特别地，使用LoRA来更新注意力层的查询和值矩阵，这在实验中被发现可以产生最佳结果。然而，将LoRA应用于transformer中的所有权重矩阵可以获得更好的结果。...LoRA 的优点 LoRA可以较好地解决了本文开始的那些挑战，最明显的优点包括以下几个方面：一个单独的预训练模型可以由几个（小得多）LoRA模块共享，这些模块对其进行调整以解决不同的任务，从而简化了部署和托管过程...当使用生成式LLM进行实验时，LoRA能够很好地处理工作负载，即使使用更大的模型也是有效的，而且，LoRA在每个测试的数据集上都匹配或超过了端到端微调的性能。...因此，除了LoRA之外，我们还可以执行端到端的微调，并在LoRA之上应用其他微调技术。 5. LoRA的各种变体 LoRA的提出促进了整个大模型微调领域的发展，进而涌现出了很多变体。...LongLoRA可以显著降低对长上下文大小的LLM进行微调的计算成本，在各种任务上都能实现与注意力微调类似的性能，与大多数现有的LLM微调技术兼容，如FlashAttention-2。

1.5K2 2

向量数据库是如何检索的？基于 Feder 的 IVF_FLAT 可视化实现

如何高效地搜索距离最近的向量：近似最近邻搜索在了解计算机是如何计算图片之间的相似度之后，我们来简单归纳下它的具体工作流程：准备工作：训练模型，针对数据进行预处理，将图片全部编码为向量并进行储存。...这个检索过程中，除了准备工作中的数据预处理会花费比较多的时间之外，最费时的莫过于第二步操作。因为准备工作是一次性计算，所以我们可以将其忽略，重点放在如何优化高频次的向量检索过程。...除了优化计算效率，让计算加速之外，有一个流行的方案是通过算法来减少整体计算量，来提升整体检索效率。在计算机领域，对时空复杂度很高的算法，常常会用近似检索来平衡准确率和计算效率。...步骤二：粗查询（Coarse Search）当我们输入目标向量进行查询时，首先会将目标向量与上图中所有聚类（256个）的中心进行距离计算，并找到距离最近的几个聚类。...接下来，我们通过使用 Feder 来进行图片查询，看看模型是如何理解这张图片的。在粗略查询中，我们找到了距离目标最近的几个聚类区域。

2.1K3 0

您找到你想要的搜索结果了吗？

是的

没有找到

视频行为识别(二)——小样本动作识别的分层组合表示

思路在视频中虽然训练时的基本动作和测试时的新动作之间存在很大的差距，但它们可以共享基本SAS动作，比如HMDB51数据集中几乎所有的视频都包含了胳膊移动的动作。...（3）为了更好地比较细粒度的模式，采用地球移动器的距离作为距离度量的几杆动作识别处理时间无关的行动，它可以很好地匹配这些细粒度和歧视性的子动作表示。...而且，考虑到直接对齐本地表示沿着时间维度不能很好地处理时间无关的动作样本，本文采用地球移动器的距离（EMD）作为距离函数，以匹配子动作表示，以更好地比较细粒度的模式，实现视频片段内部的时序序列在聚类的子动作中得到很好的保留...，而在片段之间时序序列被优化EMD距离的过程所忽略。...本文在计算动作之间距离的时候，使用的是EMD，并不是计算机领域中常用的算法。因此，在平时的研究工作中可以扩展知识域，利用其它领域中与自己研究任务相同或相似原理的方法来解决当前任务的瓶颈问题。

1.1K2 0

毫秒级！千万人脸库快速比对，上亿商品图片检索，背后的极速检索用了什么神器？ ⛵

图片向量检索工具图片海量向量数据的存储、管理和查询并不是一项简单的任务，我们会依赖专门的工具来完成这项工作，现代 AI 领域有非常好用的向量数据库，在本文中 ShowMeAI 将给大家详细介绍，主要覆盖以下几个方面...图片你可以把每张图片想象成一个具有 D 维数的向量，我们可以使用『欧氏距离』或者其他距离度量（如『汉明距离』或『余弦距离』）来找出两个数据点（图片）之间的远近距离，可以量化地衡量2个样本的接近程度。...高度可扩展性：组件级可扩展性可以很好地支撑按需扩展和缩减。混合搜索：除了向量之外，Milvus 还支持布尔、字符串、整数、浮点数等数据类型。...（例如，属性过滤、混合搜索和多向量查询）异构计算优化：除了FAISS，很少有工具在 CPU 和 GPU 上为异构系统架构提供优化，会有明显的效率损失。...（例如，基于量化的索引和基于图的索引），以及高级查询处理Milvus 使用日志结构的合并树（LSM 树）处理动态向量数据，保持数据插入和删除的效率，对实时搜索支持也很好Milvus 针对现代 CPU 和

2K4 1

达观数据搜索引擎的Query自动纠错技术和架构详解

搜索巨头Google，甚至已经使Google这个创造出来的单词成为动词，有问题Google一下就可以。在国内，百度也同样成为一个动词。...候选词可以使用上面介绍的编辑距离从语料库中找出。统计指出，80%的错误词的编辑距离是1，并且几乎所有的错误的编辑距离在2以内。...，这个转移矩阵的概率可以通过统计大量的正确词和错误词对来得到，转移矩阵的计算公式如下： ?...公式 6：转移矩阵公式计算将转移矩阵计算公式代入公式5的噪声信道模型公式中，根据不同候选词和纠错词之间的变换关系选择转移矩阵类型，就能得到概率最大的候选词。...如果第一次纠错query查询结果较差，使用扩大召回的方式，比如二次纠错、片段纠错等扩大召回重新纠错，进行二次查询并返回质量较高的查询结果。

3.6K9 0

基于磁盘量身定制，十亿规模高效向量检索方案

并且限制了每个聚类的规模，使每个聚类大小尽可能地均匀，这是为了最小化不同的查询向量的访问开销的方差。在先前的工作中，GRIP[5] 通过实验分析验证了这一现象。...SPANN 将向量检索引擎中的向量分配到距离差不多的最近的几个聚类集合中，如下图所示，“距离差不多”这一条件能够筛选出边缘点而避免了向量检索引擎中所有向量的大量冗余所带来的高时延的磁盘访问开销。...然后，由于查询向量具有差异，有的“容易”查询向量只需要检索少数的聚类就能够获得高召回，而有的“难”查询向量需要检索更多的聚类。...SPANN 利用查询向量到与其最近的聚类中心点的距离作为尺度，使用搜索参数来控制动态剪枝的程度。...本文作者程倩雅， Zilliz 研发工程师，华中科技大学计算机系统结构硕士。目前在 Zilliz 的研究团队，主要工作是 ANNS 领域算法的研究和开发以及数据库系统方向预研。

9523 0

二次元世界的Linux—东方Project之B站掠影

（为了不给 B 站添更多麻烦此处不给出具体的 API 构造) 遍历每个视频投稿 av 号，使用获取标签信息的 API 判定是否为目标视频，如果是则利用其他 API 获取数据，即为这一阶段爬虫的基本思路...反思之后，猜测是由于部分绝对占优的标签干扰了数据的尺度，于是撤下「东方」、「东方 PROJECT」等几个霸权标签后，重新生成了共现矩阵。...它们没有全部都进入过单日榜前百，但几乎都有一个共同点是：硬币－收藏比明显偏高，普遍达到了 20% 以上，极少数接近甚至超过了收藏数。...于是我对所有硬币数多于 100 播放量多于 4000 的动画区和音乐区的投稿进行调查，并将硬币－收藏比超过 16% 的查询结果导入了一个公开的 Google 表格里（考古清单），欢迎查询。...检查分词的过程中发现含有平/片假名的词语没有被解析，追溯到 jieba 源码才发现正则筛选的时候仅保留了汉字、字母、数字和少数几个符号。

3.1K10 0

ImageNet错误率小于4%，数据量依然不够，N-Shot Learning或是终极解决之道？

新技术弥补了物理资源的不足，同样，也需要新技术来满足在获得很少数据的情况下应用系统依然能正常地运行。那么，N-shot Learning 就成为了这个异常热门领域的核心话题。...因此，我们给每个类计算几何中心，即节点的平均值。之后，我们还需要对查询图像进行分类。为此，我们首先需要将查询数据集中的每个图像编码为一个节点。之后，计算中心（centroid）到每个查询点的距离。...）和每个类的查询实例数量（即 ? ）。函数返回了 ? ，它是从每个查询节点到每个平均节点的距离矩阵， ? 是包含与 ? 对应的标签的向量。 ? 存放了 ?...在上图中，S 是支持数据集，而 X 是查询数据集。现在，我们选择几个类（C1、C2和C3），通过“Image2Vector”模型，并使用get_centroid 函数来计算每个类的中心。...这就给了我们一个矩阵，其中索引ij表示与第 i 个查询图像相对应的节点与第 j 个类的中心的距离。我们使用get_query_x函数来构造矩阵，并将矩阵保存在 ? 变量之中。

9614 0

万字长文带你入门Transformer

这类注意力将输入序列分割成几个不重叠的查询块，每个查询块都与一个局部内存块相关联。一个查询块中的所有查询只关注相应内存块中的键。 Compound Sparse Attention ?...Extended Sparse Attention除了上述模式，一些现有的研究已经探索了特定数据类型的扩展稀疏模式。...除了使用稀疏注意力或线性化注意力之外，还可以通过减少查询或键值对的数量来降低注意力的复杂性。...因此很自然地可以提供来自前一层的注意力分布作为注意力计算的先验。【类似长距离跳跃链接】 Attention with Only Prior 一些工作探索了使用独立于输入之间成对交互的注意力分布。...除了当前的关注点（例如效率和泛化）之外，Transformer的进一步改进可能在于以下几个方向。

2.8K1 0

提升精度 | 新的小样本学习算法提升物体识别精度（附论文地址）

而本文则是将图片拆分成多个图块，然后引入一种新的距离度量方式陆地移动距离（Earth Mover’s Distance，EMD），计算查询集和支持集图像的各个图块之间的最佳匹配代价来表示二者之间的相似程度...使用Earth Mover’s Distance(EMD)作为度量，计算密集图像表示之间的结构距离，以确定图像相关性。该EMD在具有最小匹配成本的结构单元之间产生最优匹配流，用于计算图像距离进行分类。...为了生成EMD公式中元素的重要权重，还设计了一种交叉引用机制，它可以有效地缓解背景杂乱和类内外观变化大所造成的不利影响。...这是这里工作的重点！确定两个复杂结构表示的相似性的一种自然方法是比较它们的构建块。困难在于，我们没有他们的通信监督训练，并不是所有的建筑要素都能在其他结构中找到他们的同行。...给定两幅图像生成的局部特征表示集，使用EMD计算它们的结构相似性。EMD是计算结构表示之间距离的度量，最初是为图像检索而提出的。

1.7K2 0

数据挖掘十大算法--K近邻算法

1、已知一系列的训练样例，很多学习方法为目标函数建立起明确的一般化描述；但与此不同，基于实例的学习方法只是简单地把训练样例存储起来。从这些实例中泛化的工作被推迟到必须分类新的实例时。...这是因为几乎所有的计算都发生在分类时，而不是在第一次遇到训练样例时。所以，如何有效地索引训练样例，以减少查询时所需计算是一个重要的实践问题。...如果使用按距离加权，那么允许所有的训练样例影响xq的分类事实上没有坏处，因为非常远的实例对(xq)的影响很小。考虑所有样例的惟一不足是会使分类运行得更慢。...1、问题一：近邻间的距离会被大量的不相关属性所支配。应用k-近邻算法的一个实践问题是，实例间的距离是根据实例的所有属性（也就是包含实例的欧氏空间的所有坐标轴）计算的。...因为这个算法推迟所有的处理，直到接收到一个新的查询，所以处理每个新查询可能需要大量的计算。

1.4K5 0

这六大方法，如何让 Transformer 轻松应对高难度长文本序列？

计算注意力矩阵的空间复杂度为，其中 hdn 是存储键和查询所需的内存的阶，而是指存储每个注意力头产生的标量注意力值所需内存的阶。...图 5：注意力跨度随层数变化的示意图除了采用巧妙的缓存策略，这种对长距离上下文的惩罚项使得跨度自适应 Transformer 可以使用使用高达 8k 个字符的注意力跨度，同时仍然保持模型的总体计算开销较低...这种段与段之间的独立性在某种程度上有益于高效地对段落进行批处理，但从长距离一致性的角度出发，这又变成了一个主要限制因素。...1、路由注意力确保每个键和查询向量都具有单位大小后，他们使用了一种公共的随机权重矩阵对键和查询的值进行投影，投影的尺寸为，其中D_K 是键和查询的隐藏维度。...为了让整个过程易于并行化计算，并且可以处理统一大小的矩阵，作者使用了最接近每个聚类中心的前 k 个项来代替真正的 k-均值聚类。

4K1 0

构建可以查找相似图像的图像搜索引擎的深度学习技术详解

如果有足够的数据，神经网络几乎总是表现得很好，所以我们将专注于它们。步骤 2. 索引图像。索引是在所有图像上运行经过训练的模型，并将获得的嵌入写入特殊索引以进行快速搜索的过程。步骤 3. 搜索。...池化在神经网络架构中池化也会经常被用到，下面介绍图像检索任务中使用的几个池化层。...例如NMSLIB, Spotify Annoy, Facebook Faiss, Google Scann。除了机器学习的库以外，传统 Elasticsearch在7.3 以后也支持向量的查询。...要计算指标：计算每个的相关矩阵，并根据有关元素相关性信息，计算指标。 6b、全库验证输入：请求的图像，以及与它们相关的图像。理想情况下应该有一个验证图像的数据库，所有相关查询都在其中被标记。...要计算指标：遍历所有请求，计算到所有元素（包括相关元素）的距离，并将它们发送到指标计算函数。完整的样例介绍这里以搜索相似商标logo为例介绍图像搜索引擎是如何工作的。

1.5K2 0

宕机噩梦，CTO也躲不过凌晨改代码！

但我们所有的推送指标看起来都比较正常，我发送的每条测试推送也都能及时完成交付。但客户支持团队的说法也没错——过去五天以来，人们确实一直在投诉推送失败。到底怎么回事？...而每当进行调查时，我们都注意到其中一个表被锁定且持续出现查询超时。我们很好奇，这是有哪位客户在不停地重新部署自己的应用程序吗？...几个礼拜之前，在参加每周“客户成功简报”时，等待时长再次出现峰值。突然之间，我意识到应用程序的后台中存在一个我们几乎从不使用的查询，它的速度也的确很慢，我们从来没有考虑过优先加以修复（毕竟很少使用）。...旧版 Syslog 客户端需要使用 AddTrust/UserTrust/Comodo。除了由云合作伙伴提供的全球基础设施环境之外，我们还运行有自己的 SaaS 环境。...我们收到的所有支持通知，都提到 v1 代理将不再将日志发送至我们的接收端点；但我们的 v2 代理及其他基于 REST API 的现代客户端实现都能够正常工作。

7981 0

「新数据」太棘手，向量数据库来帮忙！《新程序员》刊登 Zilliz 长文解读

向量化的数据层具有一系列很好的性质： Embedding 向量是一种抽象的数据类型，针对抽象的数据类型可以构建统一的代数系统，从而避免非结构化数据丰富的形态所带来的复杂性； Embedding 向量的物理表示是一种稠密的浮点数向量...然而，现有的向量搜索算法几乎都是基于数据可以完全驻留在内存中而设计的。...智能化系统配置与调优现有的几种主流向量查询算法都是在存储成本、计算性能以及查询准确度之间寻求不同的平衡点，算法的实际表现通常由算法参数和数据特性共同决定。...传统的向量查询通常使用欧式距离、内积以及余弦距离作为向量的相似度指标。...如何在现有的查询算法中有效地支持这些评价指标或相应地设计新型的检索算法成为了亟待研究的重要问题。另一方面，随着用户业务的日益复杂，应用中对数据的查询通常包含了多个向量数据和非向量数据。

9462 0

KNN 分类算法原理代码解析

这是因为几乎所有的计算都发生在分类时，而不是在第一次遇到训练样例时。所以，如何有效地索引训练样例，以减少查询时所需计算是一个重要的实践问题。...，然后挑离这个训练数据最近的K个点看看这几个点属于什么类型，然后用少数服从多数的原则，给新数据归类。...如果使用按距离加权，那么允许所有的训练样例影响xq的分类事实上没有坏处，因为非常远的实例对(xq)的影响很小。考虑所有样例的惟一不足是会使分类运行得更慢。...几个问题的解答按距离加权的k-近邻算法是一种非常有效的归纳推理方法。它对训练数据中的噪声有很好的鲁棒性，而且当给定足够大的训练集合时它也非常有效。...因为这个算法推迟所有的处理，直到接收到一个新的查询，所以处理每个新查询可能需要大量的计算。

6001 0

深度网络自我学习，最终实现更少样本的学习

一旦经过训练，RN就能够通过计算查询图像与每个新类的少数示例之间的关系分数来对新类的图像进行分类，而无需进一步更新网络。...由于传统的深度学习方法未能很好地处理每个类别的一个或几个例子，并受到人类few-shot或zero-shot学习能力的启发，最近人们对机器one/few-shot或zero-shot学习的兴趣重燃。...现有的few-shot学习方法虽然有很好的应用前景，但要么需要复杂的推理机制，要么需要复杂的递归神经网络(RNN)结构，要么需要对目标问题进行微调。...修改提出的框架以处理one-shot的情况很简单：由于支持集使用了不同的语义向量形式(例如属性向量而不是图像)，除了用于图像查询集的嵌入模块f1之外，还使用了第二个异构嵌入模块f2。...除了输出层是Sigmoid之外，所有全连接层都是ReLU，以便为网络体系结构的所有版本在一个合理的范围内生成关系分数。 Zeao-shot学习体系结构如下图所示。

8941 0

深度学习之自注意力机制剖析

然而，这些模型存在一些固有的局限性，比如难以并行化训练、捕捉长距离依赖关系的能力有限等。此外，随着序列长度增加，RNN类模型的表现往往会下降。...自注意力机制的计算过程可以被分解为几个关键步骤： 1、缩放点积计算注意力得分。...输入序列被映射到查询（Query）、键（Key）和值（Value）三个向量，自注意力机制中"自"的体现正是在计算Q、K、V向量的时候，所有的Q、K、V都来自于同一个输入序列x，并通过缩放点积注意力机制进行注意力得分计算...这会导致后续输入到Softmax函数的值过大，使得Softmax函数的输出会集中在少数几个极大的值上，其余值的梯度接近于零（即“梯度消失”问题）。...计算注意力分数 # 使用矩阵乘法 Q @ K^T 计算相似度 # 结果形状：(batch_size, seq_len, seq_len)

1501 0

下一代计算：空间计算

图一是一个著名案例，显示了在平面地图上使用球面距离所导致的距离信息计算错误，这种错误在缺乏GIS辅助球面测量的情况下很容易出现。...尽管在很大程度上，地图投影仍保有拓扑特性，不过其保留的度量属性（比如距离与面积）要取决于所使用的投影。...在空间数据库出现前，由于2D空间数据与1D数据类型，再加上传统数据库系统使用的索引之间不匹配，这样的空间查询需要耗费长时间的计算，并引入巨大的编程工作量。...其次，从给几个平台配备定位功能（比如手机）这种做法，改成几乎所有平台均配备（比如传感器、PC和云端等）定位功能。再次，需要更好地了解人类认知，以确保全社会都会从基于位置的服务中受益。...除了一次性的大型资助之外，一些研究型大学也建立了GIS中心还有校园范围内的空间项目，以进行跨学科的研究，包括气候变化与公共卫生等，更多研究型大学也应该跟上这一步伐。

2.5K9 0

PNEN：金字塔结构与Non-local非局部结构联合增强，提升low-level图像处理任务性能

通过将金字塔结构和non-local结构结合起来在图像恢复、图像降噪、图像超分辨率等low-level的计算机视觉任务中都取得了较好的性能效果，说明该模块能够有效地捕获远距离的上下文信息，并很好地平衡计算量...它采用金字塔非局部块（PNB）来挖掘远距离相关信息，整体架构如图1所示。金字塔非局部块经过精心设计，可以与多尺度纹理元素进行关联。同时，在估计非局部相关性时可以确保高计算效率。...在计算M（F）时，分别使用卷积核Wθ和Wφ生成大小为hw×m的查询和参考特征。...随着像素数量的增加，相关矩阵的计算复杂度和内存占用量成倍增加。为了减轻计算负担，以前的工作利用一个小的邻域来限制非局部运算的范围。相比之下，本文提出了一种新颖的金字塔非局部块来有效地减轻计算需求。...后一种方法不可避免地忽略了固定邻域之外像素的有价值的相关性。通过将输入特征嵌入具有全分辨率的查询特征图和具有缩减分辨率的多个参考特征图，可以巧妙地解决该问题。

1.8K2 0

点击加载更多

解读LoRA

向量数据库是如何检索的？基于 Feder 的 IVF_FLAT 可视化实现

视频行为识别(二)——小样本动作识别的分层组合表示

毫秒级！千万人脸库快速比对，上亿商品图片检索，背后的极速检索用了什么神器？ ⛵

达观数据搜索引擎的Query自动纠错技术和架构详解

基于磁盘量身定制，十亿规模高效向量检索方案

二次元世界的Linux—东方Project之B站掠影

ImageNet错误率小于4%，数据量依然不够，N-Shot Learning或是终极解决之道？

万字长文带你入门Transformer

提升精度 | 新的小样本学习算法提升物体识别精度（附论文地址）

数据挖掘十大算法--K近邻算法

这六大方法，如何让 Transformer 轻松应对高难度长文本序列？

构建可以查找相似图像的图像搜索引擎的深度学习技术详解

宕机噩梦，CTO也躲不过凌晨改代码！

「新数据」太棘手，向量数据库来帮忙！《新程序员》刊登 Zilliz 长文解读

KNN 分类算法原理代码解析

深度网络自我学习，最终实现更少样本的学习

深度学习之自注意力机制剖析

下一代计算：空间计算

PNEN：金字塔结构与Non-local非局部结构联合增强，提升low-level图像处理任务性能

相关资讯

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐