SparkSql是架构在Spark计算框架之上的分布式Sql引擎，使用DataFrame和DataSet承载结构化和半结构化数据来实现数据复杂查询处理，提供的DSL可以直接使用scala语言完成Sql查询，同时也使用thriftserver提供服务化的Sql查询功能。SparkSql提供了DataSource API，用户通过这套API可以自己开发一套Connector，直接查询各类数据源，数据源包括NoSql、RDBMS、搜索引擎以及HDFS等分布式文件系统上的文件等。和SparkSql类似的系统有Hive、PrestoDB以及Impala，这类系统都属于所谓的"Sql on Hadoop"系统,每个都相当火爆，毕竟在这个不搞SQL就是耍流氓的年代，没SQL确实很难找到用户使用。
SparkSql是架构在Spark计算框架之上的分布式Sql引擎，使用DataFrame和DataSet承载结构化和半结构化数据来实现数据复杂查询处理，提供的DSL 可以直 接使用scala语言完成Sql查询，同时也使用thriftserver提供服务化的Sql查询功能。SparkSql提供了DataSource API，用户通过这套API可以自己开发一套Connector，直接查询各类数据源，数据源包括NoSql、RDBMS、搜索引擎以及HDFS等分布式文件系统上的文件等。
Once again, I encourage anyone joining in the middle of this series to start at the beginning as each article builds on previous information. The tag archive for the Genesis Explained series is con…
本篇将主要关注逻辑优化。先介绍 TiDB 中的逻辑算子，然后介绍 TiDB 的逻辑优化规则，包括列裁剪、最大最小消除、投影消除、谓词下推、TopN 下推等等。
假设我们的文章的储存结果如上，对于关系型数据库mysql来说，普通的索引结构就是“id->题目->内容”，在我们搜索的时候，如果我们知道id或者题目，那么检索效率是很高效的，因为“id”、“题目”是很方便创建索引的。
在《SparkSql连接查询中的谓词下推处理（一）》中，我们介绍了一些基本的概念，并对内连接查询时的一些基本下推规则进行了分析。
摘 要：目前，微机保护装置广泛应用于电力系统中，该类装置能够监测电力系统的运行状况，并实时记录电力系统出现故障的位置及性质，从而为故障的快速处理提供参考信息。本文介绍的微机保护装置，可以针对上海马桥万达广场配电工程中不同保护对象提供对应的保护功能，能大大提高变电站运行的可靠性、安全性、提高供电质量，有利于实现变电站综合自动化，实现无人或少人值班。
另外ES入门，我强烈推荐这篇Elasticsearch权威搭建指南给你，非常想尽的指南手册。
在数据库查询中，JOIN和IN是两种常见的查询方式，它们分别用于在多个表之间建立关联和过滤数据。然而，在实际应用中，开发者经常会面临一个问题：到底是使用JOIN还是使用IN更能提高查询性能呢？本文将对这两种方式进行性能对比，并探讨在不同情境下的最佳实践。
布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。
推荐算法概览（一） 为推荐系统选择正确的推荐算法非常重要，而可用的算法很多，想要找到最适合所处理问题的算法还是很有难度的。这些算法每种都各有优劣，也各有局限，因此在作出决策前我们应当对其做以衡量。在实践中，我们很可能需要测试多种算法，以便找出最适合用户的那种；了解这些算法的概念以及工作原理，对它们有个直观印象将会很有帮助。 推荐算法通常是在推荐模型中实现的，而推荐模型会负责收集诸如用户偏好、物品描述这些可用作推荐凭借的数据，据此预测特定用户组可能感兴趣的物品。 主要的推荐算法系列有四个（表格1-4）： 协同
原文：Overview of Recommender Algorithms 作者： MAYA.HRISTAKEVA 译者： 孙薇 推荐算法概览（一） 为推荐系统选择正确的推荐算法非常重要，而可用的算法很多，想要找到最适合所处理问题的算法还是很有难度的。这些算法每种都各有优劣，也各有局限，因此在作出决策前我们应当对其做以衡量。在实践中，我们很可能需要测试多种算法，以便找出最适合用户的那种；了解这些算法的概念以及工作原理，对它们有个直观印象将会很有帮助。 推荐算法通常是在推荐模型中实现的，而推荐模型会负责
介绍： 基于Flink实现的商品实时推荐系统。flink统计商品热度，放入redis缓存，分析日志信息，将画像标签和实时记录放入Hbase。在用户发起推荐请求后，根据用户画像重排序热度榜，并结合协同过滤和标签两个推荐模块为新生成的榜单的每一个产品添加关联产品，最后返回新的用户列表。 1. 系统架构 v2.0 1.1 系统架构 v2.0
在项目开发过程中，过滤器或者拦截器几乎是必用的，他可以很方便的完成类似日志处理、token验证等一系列操作，区别于业务接口，独立进行处理，感觉就是一种Aop思想。下面模拟请求接口前的token验证，进行过滤器的实战。
题记：SQL优化及SQL审核，是从源头解决性能问题的根本手段，无论是开发人员还是DBA，都应当持续深入的学习SQL开发技能，从而为解决性能问题打下根基。 本系列经典文章 之一：标量子查询优化 之二：O
如果让你来设计一个算法来分析以下段落，你会怎么做？ Emma knocked on the door. No answer. She knocked again and waited. There was a large maple tree next to the house. Emma looked up the tree and saw a giant raven perched at the treetop. Under the afternoon sun, the raven gleamed ma
在《MySQL 常见语句加锁分析》一文中，我们详细讲解了 SQL 语句的加锁原理并具体分析了大部分的简单 SQL 语句，但是实际业务场景中 SQL 语句往往及其复杂，包含多个条件，此时就需要具体分析SQL 使用到的索引，并了解 where 条件的判断逻辑。
关于责任链模式，其有两种形式，一种是通过外部调用的方式对链的各个节点调用进行控制，从而进行链的各个节点之间的切换。
前面介绍过 redis 的五种基本数据结构，如 String，List, Set, ZSet, Hash，这些属于相对常见了；在这些基本结果之上，redis 还提供了一些更高级的功能，如 geo, bitmap, hyperloglog，pub/sub，本文将主要介绍 Bitmap 的使用姿势以及其适用场景，主要知识点包括
关于责任链模式，其有两种形式，一种是通过外部调用的方式对链的各个节点调用进行控制，从而进行链的各个节点之间的切换；另一种是链的每个节点自由控制是否继续往下传递链的进度，这种比较典型的使用方式就是Netty中的责任链模式。
假设目前有一后端接口GET /userinfo/100，实际数据库内也只有最大ID为100的用户。
这篇文章是来自tutsplus 上系列文章《50 Filters of WordPress》的开篇文，系列文章还在陆续发表中。Jeff 打算借助Github 进行翻译（Github项目地址）。如果你也有兴趣翻译，不妨也加入。 翻译本系列文章纯属爱好，故并非百分百直译，其中加入了个人的润色。因为英文能力非常有限，如果有错误或不实之处，欢迎雅正！本系列文章翻译自tutsplus，原作者为Barış Ünver，翻译人：Jeff，转载请注明原始来源及翻译人，谢谢！ 本文为系列第一篇，原文：50 Filters o
在生产环境中，会因为很多的原因造成访问请求绕过了缓存，都需要访问数据库持久层，虽然对Redsi缓存服务器不会造成影响，但是数据库的负载就会增大，使缓存的作用降低
过滤器是Javaweb非常基础的一个概念，属于Servlet的一部分。本文将会使用SpringBoot配置过滤器。在代码实现之前先通过一个简单的小案例解释一下什么是过滤器。
现在我们在一个 Dashboard 中添加了两个 Panel，我们可以很明显看到会直接将所有的节点信息展示在同一个面板中，但是如果有非常多的节点的话数据量就非常大了，这种情况下我们最好的方式是将节点当成参数(通过这个参数添加到Promql里面去，实现对时间序列的过滤，比如只过滤出某些节点)，可以让用户自己去选择要查看哪一个节点的监控信息，要实现这个功能，我们就需要去添加一个以节点为参数的变量来去查询监控数据。
布隆过滤器（英语：Bloom Filter）是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。主要用于判断一个元素是否在一个集合中。
上面两个疑问的答案就在配置类SpringBootWebSecurityConfiguration中。你可以按照下面这个思维导图去理解这个自动配置：
在业务中,我需要给每个用户保存1w条浏览记录,之后每一次的返回值都要和历史记录做一个去重,即保证用户不会重复看到同一篇文章.
本文译自 Matt Stauffer 的系列文章. ---- 如果你有阅读我之前的 Laravel 5.0 系列文章，你可能已经注意到路由过滤器(route filters)的变化：它们先是移到了单独的目录和类结构，然后就莫名其妙地消失了。你可能还留意到在原本应该是路由过滤器的地方，变成了对 Middleware 的引用。 实际上给 Laravel 应用添加自定义的 Middleware 在以前的版本中就有了。 Chris Fidao 的 HTTP Middleware in Laravel 4.1 对 m
这个牛轰轰的神器是布隆这位大牛在 1970 年发明的，是一个二进制向量数据结构，当时专门解决数据查询问题。可以用来告诉你 某样东西一定不存在或者可能存在。
第一、仅仅因为它是机器学习中的一个重要的应用。在过去几年，我偶尔访问硅谷不同的技术公司，我常和工作在这儿致力于机器学习应用的人们聊天，我常问他们，最重要的机器学习的应用是什么，或者，你最想改进的机器学习应用有哪些。我最常听到的答案是推荐系统。现在，在硅谷有很多团体试图建立很好的推荐系统。因此，如果你考虑网站像亚马逊，或网飞公司或易趣，或iTunes Genius，有很多的网站或系统试图推荐新产品给用户。如，亚马逊推荐新书给你，网飞公司试图推荐新电影给你，等等。这些推荐系统，根据浏览你过去买过什么书，或过去评价过什么电影来判断。这些系统会带来很大一部分收入，比如像亚马逊和网飞这样的公司。因此，对推荐系统性能的改善，将对这些企业的有实质性和直接的影响。
因为配置不当引发的安全问题是屡见不鲜的，通过一系列的安全配置，可以很好的解决一些安全隐患，从而为系统增加安全系数。但是在开发过程中，因为需求的改变和编程的习惯可能会更改一些配置同时带来安全隐患。在这种情况下，需要更加的了解配置带来的安全隐患，也就是漏洞的产生原理。同时需要了解在打开一些配置安全隐患之后，该如何通过一些其他手段解决安全问题是我们重点需要讨论的问题。
网关不仅只是做一个请求的转发及服务的整合，有了网关这个统一的入口之后，它还能提供以下功能。
布隆过滤器(BloomFilter)是由一个叫“布隆”的小伙子在1970年提出的，它是一个很长的二进制向量，主要用于判断一个元素是否在一个集合中。
想象一个大的黑色三角形在白色背景上缓慢移动。当一个屏幕网格单元被三角形覆盖时，代表这个单元的像素值应该在强度上线性(“平滑”两个字打不出来)下降。在各种基本渲染器中通常发生的情况是，网格单元的中心被覆盖的那一刻，像素颜色立即从白色变为黑色。标准GPU渲染也不例外。请参见图5.14的最左侧列。
作为推荐系统 这一系列的第二篇文章，我们今天主要来聊一聊目前比较流行的一种推荐算法——协同过滤； 当然，这里我们只讲理论，并不会涉及到相关代码或者相关框架的使用，在这一系列的后续文章，如果可能，我们可以将我们的所有理论知识整合一下，实践一个 推荐系统的 实战。
之前写过一系列RxJava1的文章，也承诺过会尽快有RxJava2的介绍。无奈实际项目中还未真正的使用RxJava2，不敢妄动笔墨。所以这次还是给大家分享一个使用RxJava1解决问题的案例，希望对大家在使用RxJava的时候有一点点启发。对RxJava还不了解的同学可以先去看看我之前的RxJava系列文章： RxJava系列1(简介) RxJava系列2(基本概念及使用介绍) RxJava系列3(转换操作符) RxJava系列4(过滤操作符) RxJava系列5(组合操作符) RxJava系列6(从
【原文地址】New “Orcas” Language Feature: Lambda Expressions 【原文发表日期】 Sunday, April 08, 2007 4:21 PM 上个月我开始了一个贴子系列，讨论作为Visual Studio和.NET框架Orcas版本一部分发布的一些新的VB和C#语言特性。下面是这个系列的前2篇贴子： 自动属性，对象初始化器，和集合初始化器 扩展方法 今天的贴子讨论另一个基础性的新语言特性：Lambda表达式。 什么是Lambda表达式？ 随VS 2005
前面的学习，我们知道了Redis的很多应用场景，但是最常见的还是缓存，“性能不够，缓存来凑”，在一些高并发的场景合理的使用缓存，还是可以减缓系统压力的。
本文主要介绍了rxjava的基础知识，以及如何使用rxjava来简化代码和提升代码可读性。主要包括了rxjava的观察者模式、操作符、组合操作符、线程切换以及线程调度等内容。同时，也介绍了一些常用的库和工具，如rxjava-android-samples、rxjava-eclipse-plugin等。通过实际代码示例讲解了如何使用rxjava来实现异步操作，并介绍了其基本概念和常用操作符。总之，rxjava是一种强大的工具，可以帮助开发者更轻松地处理异步任务，提高代码可读性和可维护性。
本文分享的论文题目是《Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba》
随着物联网时代的到来，越来越多的智能硬件设备开始流行起来，比如智能手环、心率检测仪、以及各式各样的智能家具和玩具类产品。安卓4.3(API 18)为BLE的核心功能提供平台支持和API，App可以利用它来发现设备、查询服务和读写特性。相比传统的蓝牙，BLE更显著的特点是低功耗。本文主要讲解Android低功耗蓝牙的api使用以及蓝牙扫描、连接、发送数据、接收数据等一系列操作，并主要介绍本人封装的BleLib蓝牙库，非常适合蓝牙初学者使用，只需要一行代码注入就OK了，而且用法也极其简单，下面会专门讲解BleLib库的使用。
LogicalPlan的父类QueryPlan主要分为六个模块： – 输入输出 涉及QueryPlan内属性相关的输入输出 – 基本属性 QueryPlan内的基本属性 – 字符串 主要用于打印QueryPlan的树形结构信息 – 规范化 类似Expression中的规范化 – 表达式操作 – 约束 本质上也是数据过滤条件的一种，同样是表达式类型。通过显式的过滤条件推导约束
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
