用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居），这K个实例的多数属于某个类，就把该输入实例分类到这个类中。...这就是K近邻算法的核心思想。 1.2 近邻的距离度量 我们看到，K近邻算法的核心在于找到实例点的邻居，这个时候，问题就接踵而至了，如何找到邻居，邻居的判定标准是什么，用什么来度量。...下面来举一个实际的例子(来源：中国地质大学电子课件，原课件错误已经在下文中订正)，如下图所示，原始图像及对应的kd树，现在要删除图中的A结点，请看一系列删除步骤： ?...2.4 KD树的最近邻搜索算法 k-d树查询算法的伪代码如下所示： ? 我写了一个递归版本的二维kd tree的搜索函数你对比的看看： ? 举例 星号表示要查询的点查询点（2，4.5）。...2.6 KD树的应用 SIFT+KD_BBF搜索算法，详细参考文末的参考文献。 3. 关于KNN的一些问题 在k-means或kNN，我们是用欧氏距离来计算最近的邻居之间的距离。
然而，在 HNSW 图中，主要成本是识别 k 个最近邻所需的向量比较数量。在某些过滤器设置大小下，向量比较的数量可能会显著增加，导致搜索性能变慢。这是一个未过滤的图搜索示例。...此外，为了避免卡住，我们必须对被过滤掉的节点进行向量比较。我们怎样才能减少向量操作的数量而不被卡住？这正是 Liana Patel 等人在他们的 ACORN 论文中解决的问题。...这意味着对于一个有 32 个连接的图，不仅仅看最近的 32 个邻居，还会尝试在 32*32=1024 个扩展邻居中找到匹配的邻居。在这里你可以看到 ACORN 算法在行动。...Apache Lucene 在 8M 768 文档向量上运行，随机过滤允许 5% 的向量通过。这种图表让我感到高兴。必须快速前进在元数据上进行过滤 kNN 搜索对于真实世界的用例非常重要。...在 Lucene 10.2 中，我们通过使用更少的资源并保持高召回率，使搜索速度提高了最多 5 倍。我非常兴奋地期待在未来的 Elasticsearch v9 版本中将这一功能交到用户手中。
技术篇 从“公司账单请查收”邮件到大量被盗帐号 注明：这是我多年前的一次反追查钓鱼邮件的过程了，欢迎交流，轻喷~ 公司账单请查收 最近公司有同事收到这封邮件 里面包含一个附件 “公司账单请查收” 下载并打开附件可以看到...验证我的推断 接下来，用了最简单的方式，验证我的推断： 用记事本打开 “相册.exe”，然后在内容中查找“http” [在这里插入图片描述] （为什么要查找“http”呢？...这是为了找出一个传送数据的网址，因为这是一种比较简单的数据传送方式，通过GET或者POST来提交，不容易被判断为病毒！） 结果，和预计的一样，找到了一个网址！...于是，对网站进行一系列的检测： [在这里插入图片描述] 发现是用简单的文件系统搭建的管理后台 [在这里插入图片描述] 通过后台发现，这个盗号的人，已经把这个网站平台当成了自己家一样了！！...怎样才能知道哪些号被盗了？ 怎样才能知道盗号者到底把盗来的帐号记录在哪里？ 在实在无计可施的情况下，为了能找到它真正的地址 我尝试改写他的跳板文件，然后在服务端记录他提交上来的参数！
我们从上一篇文章中的代码开始撰写一个机器学习流水线，我们做过一个简单的实验，导入一个数据集把它拆分成训练数据集及测试数据集，使用训练数据集来训练分类器，使用测试数据集测试其准确度 编写分类器是我们今天的重点...我们会编写一个随机分类器，而随机意味着我们只是猜测标签。首先我们将会添加 一些代码到fit及predict在fit那里我把训练数据储存在这个类： ? 那么让我们再次运行它看看结果怎么样？...然后我们预测这个测试点带有相同的标签，例如我们预测这个测试点是绿色的，因为这是其最近邻居的颜色： ? 另一个例子在这里，如果我们有一个测试点我们猜想它是红色的： ? ? 现在来看看中间这个？ ?...其中一种方法是我们可以随机打破平局，还有另一种方法就是利用k值，K是在我们作预测时要考虑的邻居数目，如果k为1我们就看到最近的训练点： ? 但是假设k为3我们就要看看最接近的三个邻居： ?...这个算法有更多的细节不过这也足够让我们开始要撰写代码，首先我们需要找到最近邻居的方法，要做到这一点我们要量度两点之间的直线距离，就像用尺子量度，有一条公式称为欧式距离。
最常见的应用就像是**POI(Point of Interest)**的查询了，比方说客户在路上突然想吃饭了，那么我就要根据他的位置查询最近的餐馆并根据这个做出推荐。...（当然这样也有可能存在着查找错误的问题，但是可能性就大大降低了）。...随便在网上找了下，没有找到比较方便的查找邻居的算法（当然预处理保存的除外），于是我就想了一个朴素简单的方法：我们可以在定位某点的时候，记录下该点所在区域的经纬度范围，然后只要取出这个区域外的八个点，然后对这八个点分别跑八次定位算法就可以求出他附近的所有区域了...我的策略是： 首先确定一个最高的精度，我们认为在这个精度下的所有区域中的点都是极少的； 然后确定一个期望的临近点个数k； 对于某个坐标点，计算出在最高精度下的区域时由邻居查找算法得到的临近点的个数b。...如果b小于k，那么就把精度提高一层（即将其GeoHash编码末尾的几个字符删除）继续执行邻居查找算法直到找到的临近点的个数大于等于k； 用邻居查找算法查询当前精度下的所有临近点并将其作为”Filter”
点云处理过程中可能会遇到寻找最临近点的问题，常用的解决方案就是用空间换效率。例如建立kd-tree等树状结构来代替遍历。...A.建立具有单一索引的KD树（没有随机化的KD树，没有大致的搜索）。快速，线程安全地查询KD树上最近的邻居。接口是： 1....在进行查 时，“树算法”通过选择叶节点结束，然后在叶中的所有元素内对查询的最近点执行线性搜索（一个接一个）。...选择哪个数字确实取决于应用程序，甚至取决于处理器高速缓存的大小，因此理想情况下应该执行一些基准测试以最大限度地提高效率。 但为了帮助选择一个比较合适的参数作为一个基准，我提供了以下两个基准。...3.性能 3.1 nanoflann：更快，更少的内存使用 3.2 原始flann对比nanoflann 许多点云算法（如ICP）中最耗时的部分是查询最近邻居的KD树。
我将讨论NLP和GNN社区对于模型架构背后的直觉，用方程和图形建立两者之间的联系，并讨论两者如何合作来共同进步。...因为错误的可学习权重的随机初始化会使训练过程变得不稳定。...在多头注意力之后，他们通过一个可学习的权重将 投射到一个（荒谬的）更高的维度，在那里它经历了ReLU非线性后，再被投射回其原始维度，然后再进行另一次归一化： 老实说，我不确定这个过于参数化的前馈子层背后的确切直觉是什么...堆叠几个GNN层使得模型能够在整个图中传播每个节点的特征--从它的邻居传播到邻居的邻居，依此类推。...在多头注意力中，不同的头也可以“观察”不同的句法属性。 用图的术语来说，通过在全图上使用GNN，我们能从GNN在每一层执行邻域聚合的方式恢复最重要的边以及它们可能包含的内容吗？我还不太相信这个观点。
要说“网上邻居”的工作机制，不妨联系一下生活中的例子：比如我(A)，要拜访一个远方的朋友(B)，我要去他的家里，那么应该怎么样做？首先要找到B的家，然后确定B让不让我进他的家里。...在阐述这个问题之前，先来举一个例子：新生入学时，所有学生来到教室，坐在自己的位置上，这时每个同学之间互不相识，怎样才能互相熟悉呢？...”的通知，“网上邻居”就会报告“无法找到网络路径”之类的错误信息。...实例：把我的电脑在“网上邻居”上隐藏 要完成这个目的，可以通过一个命令来实现： 在“运行”窗口输入NET CONFIG SERVER /HIDDEN：YES 回车后，别人会发现你从“网上邻居”中消失了。...解决方法：在Windows 2000中，如果不小心删除了“网上邻居”中的这个图标，可以通过修改注册表的方法找回来，其实有一个更加简单的方法：就是在“我的电脑→属性→网络标识→属性”菜单中，将当前计算机加入另外一个工作组
上次A*算法用的是红色的线标的路线，这次JPS算法改为用蓝色的线标记，后续我会再写一篇两个算法的对比。...路径表现上会感觉出寻路出的点 并不是最优路径。不过我觉得这个倒没有太大问题，因为速度快嘛。...强迫邻居 上面两个是JPS的一个行动的规则，但是在实际行动中，往往不可能是一条线走到底的情况，所以又引入了一个新的概念--强迫邻居。...直线运动的强迫邻居 当走直线运动的时候，我们需要判断一下行动方式左右两边是不是障碍点，如果是的话则这个点即为强迫邻居，并且这个强强迫邻居点的前方的点可要做为进行计算的点，而我们现在的当前点即可成为一个跳点加入到...核心代码 微卡智享 因为这个公司产品中需要，所以JPS我就不列表所有的代码了，其实从上面的流程里可以看到，JPS算法中最麻烦的就是跳点的计算了，所以我这里把计算跳点的函数列出来，别的相对来说我觉得都能写的出来
用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居），这K个实例的多数属于某个类，就把该输入实例分类到这个类中。...这就是K近邻算法的核心思想。 1.2 近邻的距离度量 我们看到，K近邻算法的核心在于找到实例点的邻居，这个时候，问题就接踵而至了，如何找到邻居，邻居的判定标准是什么，用什么来度量。...kd树构建的伪代码如下图所示： [quesbase64155344266926262911.jpg] 再举一个简单直观的实例来介绍k-d树构建算法。...2.4 KD树的最近邻搜索算法 k-d树查询算法的伪代码如下所示： [quesbase64155377943526545714.png] 我写了一个递归版本的二维kd tree的搜索函数你对比的看看：...关于KNN的一些问题 在k-means或kNN，我们是用欧氏距离来计算最近的邻居之间的距离。为什么不用曼哈顿距离？ 答：我们不用曼哈顿距离，因为它只计算水平或垂直距离，有维度的限制。
我们试图找到一些线索，以确定他们可能是哪个队的球迷（也许在后门廊上挂着队旗，可我们没看到）。我们怎样才能知道敲他们的门是安全的呢？ 这个例子恰恰描述了监督学习算法可以解决的问题。...01 理解k-NN算法 k-NN算法可以说是机器学习算法中最简单的一个。原因是我们基本上只需要存储训练数据集。然后，要预测一个新的数据点，我们只需要找到训练数据集中最近的数据点：它的最近邻居。...因此，单个数据点的特征在城镇地图上可以用x和y坐标的一个二元向量来表示。类似地，如果是一个蓝色方块，那么标签是0；如果是一个红色三角形，那么标签是1。...上述代码将生成图3-6（–环）。 ▲图3-6 生成的结果图 如果你必须根据该数据点的邻居来猜测的话，你会为新数据点分配什么标签？蓝色方块，还是红色三角形？ 这要看情况，不是吗？...这里，knn报告最近邻居是250个任意单位距离，这个邻居标签是1（我们说过它对应于红色三角形），因此，新数据点也应该标记为1。如果我们看看k=2的最近邻居和k=3的最近邻居，情况也是一样的。
Product Quantization (PQ)：PQ将大向量空间分解为更小的子空间，并为这些子空间的每一个独立地学习一组有限的“代码簿”。向量被编码为这些子空间中最近的代码簿条目的索引。...节点 D 有三个邻居 C、E 和 F。E 是距离查询最近的邻居，因此我们移动到 E。最后，搜索过程将一步步移动到节点 L。...然后，通过查找最近的向量来实现个性化推荐。 自然语言处理 (NLP)：文本、单词或短语经过词嵌入或BERT等模型转化为向量后，可以在向量数据库中查找语义上相近的文本或词汇。...在我今年4月份发于 B 站的系列视频：用 ChatGPT 构建数据库助手 中，我展示了如何使用 langChain + FAISS + OpenAI embedding 构建一个简单的 SQL 助手。...根据应用的需求，评估这是否是一个关键因素。前文说过，在百万向量这个级别，我发现 redisearch 构建索引的速度就明显低于 qdrant 一个甚至多个量级。
在这篇文章中，我将站在开发者的角度，分析一下这些工具的特点。 Splunk 作为这个领域中最大的工具，我决定将 Splunk 做一个单独的分类。...第一，这个因素可能有些主观，我觉得这个解决方案太复杂了。如果要在一个高度复杂的环境中部署，就需要安装和配置一个专用集群。作为一个开发者，通常会因为这点而不把这个方案作为第一选择。...它用到了一些其他的开源的资源：使用 ElasticSearch 来索引和查找数据，使用 Kibana 制表和可视化处理。他们联合起来,组成一个强大的日志管理解决方案。 ?...Graylog2 最近出现的一颗新星——GL2，用 MongoDB 和 ElasticSearch 支持的用来存储与搜索日志错误的工具。它致力于帮助开发者找到并修复程序中的错误。...:( 在 Takipi 的一项优势就是可以跳过日志文件，进入到调试信息中。这样你就能看到真实的源代码和错误范围的变量了。了解更多点击这里。
不过呢，上面的这种实现是「逻辑上的」，实际上我们很少用这个Vertex类实现图，而是用常说的邻接表和邻接矩阵来实现。...比如还是刚才那幅图： 用邻接表和邻接矩阵的存储方式如下： 邻接表很直观，我把每个节点x的邻居都存到一个列表里，然后把x和这个列表关联起来，这样就可以通过一个节点x找到它的所有相邻节点。...如果用代码的形式来表现，邻接表和邻接矩阵大概长这样： // 邻接矩阵 // graph[x] 存储 x 的所有邻居节点 List[] graph; // 邻接矩阵 // matrix...比如说我想判断节点1是否和节点3相邻，我要去邻接表里1对应的邻居列表里查找3是否存在。但对于邻接矩阵就简单了，只要看看matrix[1][3]就知道了，效率高。...如果用代码的形式来表现，大概长这样： // 邻接矩阵 // graph[x] 存储 x 的所有邻居节点以及对应的权重 List[] graph; // 邻接矩阵 // matrix[x]
（例如：我们可以用k-NN来预测某人是否有患糖尿病的风险。） 注：k-NN 不是只能用于分类，它也可以用来回归，这一点我将放到后面讲。...k-NN 要做的是，利用它从训练数据中学习到的某种内在联系（或知识）来推断这个蓝色圆点所属的类别。 k： k-NN 的 k，就是k个最近的邻居的意思。...k-NN 的思想很朴素，当 k-NN 要对一个未知元素类别进行推断时，它会找从训练数据中找出距离这个未知元素最近的 k 个邻居，而这个未知元素所属的类别，将由这 k 个邻居投票决定（少数服从多数）。...可以看出，预测是准确的。 完整代码 k-NN原理 距离的度量 k-NN 算法的核心是找出与待推断样本距离最近的 k 个邻居。 那么距离如何度量？...如果 K 的值取的过大时，就相当于用较大邻域中的训练实例进行预测，这时与输入目标点较远实例也会对预测起作用，使预测发生错误。
OK，行文仓促，本文若有任何漏洞，问题或者错误，欢迎朋友们随时不吝指正，各位的批评也是我继续写下去的动力之一。感谢。...用官方的话来说，所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居），这K个实例的多数属于某个类，就把该输入实例分类到这个类中。...1.2、近邻的距离度量表示法 上文第一节，我们看到，K近邻算法的核心在于找到实例点的邻居，这个时候，问题就接踵而至了，如何找到邻居，邻居的判定标准是什么，用什么来度量。...使用球树找出给定目标点的最近邻方法是，首先自上而下贯穿整棵树找出包含目标点所在的叶子，并在这个球里找出与目标点最靠近的点，这将确定出目标点距离它的最近邻点的一个上限值，然后跟KD树查找一样，检查同胞结点...3.2、K个最小近邻的查找：大顶堆优先级队列 上文中一直在讲最近邻问题，也就是说只找最近的那唯一一个邻居，但如果现实中需要我们找到k个最近的邻居。该如何做呢？
，并支持高效的范围搜索（查找查询矩形中包含的所有点），以及高效的最近邻居搜索（找到最接近查询点的点）。...其的搜索和插入的算法与 BST 的算法相似，但是在根结点处，我们使用 x 坐标来判断大小，如果要插入的点的 x 坐标比在根结点的点小，向左移动，否则向右移动；然后在下一个级别，我们使用 y 坐标来判断大小...由于我们非常有信心，暴力法肯定是对的，所以可以用这个方法来检验 KdTree 的搜索是不是正确。 ? ? ?...使用上也非常简单：当检验区域搜索的时候，只需要用鼠标在上面画一个矩形；当检验最近邻居的时候，只需要将鼠标移动到想要搜索的那个点对应的位置上（也许这个点并没有在图中画出）。 另一个难点是处理重叠的点。...重叠点在统计个数的时候不能被重复计算，我简单地开了一个 same 数组，但是可能没有必要。 另外特别要注意每一个新增点的时候，它对应的 RectHV 的范围一定要搞清楚，否则后面的事情没法做。
它使我们能够基于语义意义而不仅仅是精确的关键词匹配来查找相似的项目。 Elasticsearch 的 k-最近邻（kNN）算法是用于分类和回归任务的基础 ML 技术。...设置较高的 num_candidates 较高的 num_candidates 值增加了在我们选择的 K 内找到真正最近邻居的可能性。...我们可以通过优雅地创建一个推理管道处理器并将其附加到我们的批量索引操作中来实现这一点。...索引电影 我们可以使用 _bulk 操作来索引一组电影——我正在重用我的《Elasticsearch in Action》第二版书籍创建的数据集——可以在 这里 找到： 为完整性考虑，这里提供了使用 _...选择最佳 K 值 在 k-最近邻（kNN）算法中选择最佳的 k 值对于以最小错误率获得数据集上的最佳性能至关重要。
一个业务系统除了需要编写功能代码，还要有需求分析、架构设计、详细设计、功能编写、测试、集成部署等等工作内容，CURD顶多是功能编写的子集。...也因此，论坛里常有人求助于高手，问怎样才能脱离这种CURD工作： 打击卡答案也不一致，有的说写业务代码同样牛逼，CURD是核心竞争力呢，有的建议换工作，摆脱CURD，也有的说要做个有心人，...即使是内核开发人员，如果只是负责实现某个模块，而且他并没有多少进取心，每天只是读读文档和协议，调调接口来实现功能，没有深挖原理，也不关注其他方面的技术，没有全局视角，那他其实顶多也算是一个搬砖的，离高手还是有很大的距离...而做CURD工作的，也并不是完全学不到东西。CURD从小的方面来说，是老板的需求，从大的方面来说，是社会需求，需要大量的人来从事这个工作。...这个学习，包括工作的时候去学习其他人的任务所涉及的技能、整个项目的架构原理，以及其它自己认为有用或感兴趣的技术。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
