首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    2023-06-11:redis中,如何在100个亿URL中快速判断某URL是否存在?

    2023-06-11:redis中,如何在100个亿URL中快速判断某URL是否存在?...答案2023-06-11: 传统数据结构的不足 当然有人会想,我直接将网页URL存入数据库进行查找不就好了,或者建立一个哈希表进行查找不就OK了。...如果整个网页黑名单系统包含100亿个网页URL,则简单的数据库查找操作将非常费时,并且如果每个URL空间为64B,则整个系统需要的内存空间将达到640GB,这对于一般的服务器来说是一个非常大的需求,难以实现...image.png 布隆过滤器的误判问题 Ø通过哈希计算得到的在数组上的位置并不一定代表元素真正存在于集合中 Ø误判问题的本质是哈希冲突,即不同的元素可能哈希到相同的数组位置 Ø如果一个元素的哈希值不在数组中...,则一定不存在于集合中,但是如果哈希值在数组中,则存在误判的概率(误判) image.png 优化方案 增大哈希数组的长度,使其能够容纳更多的元素。

    68110

    OAuth 和 SSO 场景中的 URL 语法解析

    OAuth 和 SSO 场景中的 URL 语法解析在 OAuth 和 SSO (Single Sign-On) 场景中,URL 是一个关键组件,用于在客户端和服务器之间传递认证请求和响应。...让我们深入解析这个 URL:https://api.commerce.ondemand.com/occ/oauth/authorize?...我们将逐一解析它的组成部分。URL 基础结构协议部分:https:// 表示使用 HTTPS 协议,确保数据传输的安全性。...让我们解析每个参数:response_type:code表示期望的响应类型。在 OAuth 2.0 中,code 表示授权码模式。这意味着客户端希望服务器返回一个授权码。...理解和正确使用授权请求 URL 是实现安全和高效认证流程的基础。本文详细解析了 URL 的各个部分和参数,并通过示例说明了如何构建授权请求 URL。

    24210

    浅谈 URL 解析与鉴权中的陷阱

    不过我相信在许多其他 Web 框架下如 PHP、NodeJS 中也是可以举一反三的。...而 Filter 中的鉴权,大部分情况下也是 URL 粒度的鉴权,毕竟在一个网站中总是会有无需认证的前台界面(如登录界面),以及需要认证的后台服务(如管理后台)。...绕过 Filter 中的 URL 的鉴权认证只是第一步,而更为重要的一步是如何在构造畸形 URL 的同时依然能寻址到正确的 Servlet,从而正确处理业务请求。...因此本文也正是从这两方面出发,分别探寻 URL 解析中的隐秘。...解析路径参数之后会将其使用 Request.addPathParameter 加入到请求信息中,并且将其从 decodeURI 中删除。 第二步,URL Decode,正常的 URL 解码。

    1.1K60

    如何在API中实现搜索和过滤功能🦉

    search=great这将返回《The Great Gatsby》这本书,因为书名中包含“great”。...我们将允许用户在同一个API请求中同时按书名搜索和按作者和年份过滤。...Scott Fitzgerald", "year": 1925}]在这个请求中,用户正在搜索书名中包含“great”的书籍,并且作者为“F. Scott Fitzgerald”。...对大量结果进行分页: 如果数据量较大,考虑在API中加入分页功能,以避免一次返回太多结果给用户。验证用户输入: 如果用户提供了无效的数据(例如,年份过滤器中输入了字符串),请返回有用的错误信息。...在API中实现搜索和过滤功能会使其变得更加强大且易于使用。无论是按关键字搜索,按特定字段过滤,还是同时组合搜索和过滤功能,这些特性都能为用户提供更多对数据的控制。

    1.3K00

    URL 解析与鉴权中的陷阱 —— Spring 篇

    在上一篇文章中介绍了 Java Web 应用中 URL 解析与鉴权认证中的常见陷阱,但主要针对 Servlet 容器进行分析。.../flag: /api/%66%6C%61%67: 基于 valueToMatch 返回 URL 解码后的的 segment 值; /api;a=b/flag: 基于 valueToMatch 返回不包含路径参数的值...构造函数中的处理,即如果能成功调用 URL 的构造函数就认为是一个 URL。...通过最近两篇文章针对 URL 路径鉴权的分析,对解析路径时会遇到的陷阱也算有了基本了解。虽然文章只介绍了 Java Web 生态的 URL 鉴权实现,但对于其他应用也是类似的。...参考链接 Spring {Boot,Data,Security} 历史漏洞研究 浅谈 URL 解析与鉴权中的陷阱 Shiro 历史漏洞分析 spring 审计常见 tricks 版权声明: 自由转载-

    2K10

    如何在ELK中解析各类日志文件

    我们需要的是提取日志中的有效字段,并以我们期望的形式进行展现。下面我将和大家一起来探究日志解析的奥秘。...后面日志解析会用到): grok:采用正则的方式,解析原始日志格式,使其结构化; geoip:根据IP字段,解析出对应的地理位置、经纬度等; date:解析选定时间字段,将其时间作为logstash每条记录产生的时间...配置 filter { if [type] == "nodejs" { #根据filebeat中设置的type字段,来过滤不同的解析规则 grok{ match...2.png Filter配置讲解 grok中的match内容: key:表示所需解析的内容; value:表示解析的匹配规则,提取出对应的字段; 解析语法:%{正则模板:自定义字段},其中TIMESTAMP_ISO8601...grok除了提供上面那种基础的正则规则,还对常用的日志(java,http,syslog等)提供的相应解析模板,本质还是那么一长串正则,[详情见grok的120中正则模板; date: match:数组中第一个值为要匹配的时间字段

    8.8K61

    如何在C#中解析Excel公式

    前言 在日常工作中,我们经常需要在Excel中使用公式对表中数据进行计算(求和、求差和求均值等)和分析,从而实现对数据的分类,通常情况下,当数据量较少或场景变化单一的情况下,使用公式可以满足用户的要求,...Excel中的现有公式并根据需求对其进行修改。...因此这个时候就可以使用GcExcel通过解析公式并使用解析的语法树轻松替换销售代表姓名,可以简化此任务。...GcExcel API 提供的公式解析器希望传递的公式不带“=”(等于)运算符,以便成功进行公式解析。因此,请注意如何在不使用“=”运算符的情况下提取公式。...公式语法树的每个标记都由 GcExcel API 中的其他类表示,例如函数的 FunctionNode、运算符的 OperatorNode 等。 下面的代码解析了上一步中提取的销售分析公式。

    2K10
    领券