聚合结果buckets默认以doc_count 排序方式呈现，即： _count asc 表达。其它还有 _term, _key 为排序控制元素。_key适用于histogram,date_histogram，如下：
如果我们把ES作为某种数据库来使用的话，必须熟练掌握ES的CRUD操作。在这之前先更正一下上篇中关于检查索引是否存在的方法：elastic4s的具体调用如下：
在聚合的分组统计中我们会面临两种分组元素类型：连续型如时间，自然数等、离散型如地点、产品等。离散型数据本身就代表不同的组别，但连续型数据则需要手工按等长间隔进行切分了。下面是一个按价钱段聚合的例子：
计划研究一下搜索search，然后写个学习过程系列博客。开动之前先说说学习搜索的目的：不是想开发个什么搜索引擎，而是想用现成的搜索引擎在传统信息系统中引进搜索的概念和方法。对我来说，传统的管理系统legacy i.t system已经走到了尽头。根本原因是信息在量上的爆发增长，传统数据管理方式已经无法兼顾了。在我看来，除了交易管理，传统的关系数据库方式在业务管理的其它方面，特别是业务相关的数据分析、决策支持等肯定是力不从心了，这些从持续多年我所经历的数据库红色锁标记就很有说服力了。无可否认，必须想办法在大数据、分布式计算方面寻找合适的解决方案。前两年已经完成了一系列分布式计算、分布式数据库，分布式流处理等博客，足够构建一个分布式大数据平台来实现对海量数据的存储、处理了。剩下最重要的问题是如何使用平台上的这些数据，即如何能轻松又高效的使用大数据，否则前面一切努力将化为乌有。现在最迫切的需求（我认为的）就是如何对这些大数据进行高效的分析、关联，组合然后产生全面、精准的业务决策或者系统使用的支持数据。也就是说可以通过搜索把大数据平台上的数据按照业务管理要求的信息内容、表现形式提供给前端系统。
现在我们可以开始探讨ES的核心环节：搜索search了。search又分filter,query两种模式。filter模式即筛选模式：将符合筛选条件的记录作为结果找出来。query模式则分两个步骤：先筛选，然后对每条符合条件记录进行相似度计算。就是多了个评分过程。如果我们首先要实现传统数据库的查询功能的话，那么用filter模式就足够了。filter模式同样可以利用搜索引擎的分词功能产生高质量的查询结果，而且filter是可以进缓存的，执行起来效率更高。这些功能数据库管理系统是无法达到的。ES的filter模式是在bool查询框架下实现的，如下：
按照计划，这篇开始尝试用elastic4s来做一系列索引管理和搜索操作示范。前面提过，elastic4s的主要功能之一是通过组合Dsl语句形成json请求。那么我们先试试组合一些Dsl语句，再想办法产生出json请求文本，然后在kibana控制台中验证它的正确性。
上篇谈到：elasticsearch本身是一个完整的后台系统，对其的操作使用是通过终端api进行的。elasticsearch本身提供了多种编程语言的api，包括java的esjava。而elastic4s是一套基于esjava之上的scala api。
上次分析了一下elastic4s的运算框架。本来计划接着开始实质的函数调用示范，不过看过了Elastic4s的所有使用说明文档后感觉还是走的快了一点。主要原因是elasticsearch在7.0后有了很多重点调整改变，elastic4s虽然一直在源代码方面紧跟ES的变化，但使用文件却一直未能更新，所以从说明文档中学习elastic4s的使用方法是不可能的，必须从源码中摸索。花了些时间过了一次elastic4s的源码，感觉这个工具库以后还是挺有用的：一是通过编程方式产生json请求比较灵活，而且可以通过compiler来保证json语句的正确性。二是对搜索结果的处理方面：由于返回的搜索结果是一堆又长又乱的复杂json，不敢想象自己要如何正确的解析这些json, 然后才能调用到正确的结果，但elastic4s提供了一套很完善的response类，使用起来可能会很方便。实际上elastic4s的编程模式和scala语言运用还是值得学习的。既然这样，我想可能用elastic4s做一套完整的示范，包括：索引创建、索引维护、搜索、聚合统计等，对了解和掌握elastic4s可能大有帮助。在这之前，我们还是再回顾一下elastic4s的运算原理：elastic4s的功能其实很简单：通过dsl语句组合产生json请求，然后发送给ES-rest终端, 对返回的json结果进行处理，筛选出目标答案。
前面写了个cassandra-appender，一个基于cassandra的logback插件。正是cassandra的分布式数据库属性才合适作为akka-cluster-sharding分布式应用的logger。所以，cassandra-appender核心功能就是对logback消息的存写部分了。同样，基于ES的logback-appender核心部分就是对ES的存写过程了。在ES里这个过程还附带了索引indexing过程。将来对历史消息的搜索、分析会更加方便。直接看看消息存写这部分elastic4代码：
elastic4s是elasticsearch一个第三方开发的scala语言终端工具库（Elastic4s is a concise, idiomatic, reactive, type safe Scala client for Elasticsearch.）。scala用户可以用elastic4s提供的DSL用编程代码形式来构建ES服务请求。与字符型json文本直接编写请求不同的是：在编译DSL编写的ES服务请求时可以发现无论是语法上或者语意上的错误。一般来讲：elastic4s的程序流程相对直接、简单，如下：
明天4月28日14：30， Meetup Online第二期《Elastic 应对 xx4shell 危机频发的解决之道》
这个漏洞在清明假期刚出来的时候就想研究一下，一直拖延到现在。看来是已经赶不上热度了，但我觉得还是值得记录一下的。特别是Elastic刚刚在Forrester的“终端检测与响应Wave”报告中， 被评为“Strong Performer”（卓越表现者）
如何在工作站上启动并运行轻量级 Kubernetes。K3s 是一种轻量级、经过认证的 Kubernetes 发行版，专为资源受限的环境（例如边缘设备、物联网设备和小规模部署）而设计。它由 Rancher Labs 开发，构建的目标是提供一个简约且易于使用的 Kubernetes 发行版，消耗更少的资源，同时保持与 Kubernetes API 的完全兼容性。
作者 | Paul Sawers 编译 | 李磊 导语：2021 年，开源首次被列入「十四五规划」，代码托管平台 Gitlab 上市、OpenHarmony 开源、CentOS 8 停止维护……从国家到个人，从商业到生活，开源愈发深刻地改变着我们的世界。2021年，开源圈发生了一些值得回顾和思考、意义重大的开源事件，本文将对其进行细数盘点。 PART ONE Log4Shell，有史以来最大的安全漏洞 安全向来都是开源领域讨论的重点，2021 年也不例外。要论 2021 年开源圈最大的安全漏洞，一定
高策，腾讯高级工程师，Kubeflow 社区训练和自动机器学习工作组 Tech Lead，负责腾讯云 TKE 在 AI 场景的研发和支持工作。 张望，腾讯高级工程师，从事 GPU 虚拟化和分布式训练加速，负责腾讯云 TKE 在 AI 场景的研发和支持工作。 引言 随着模型规模和数据量的不断增大，分布式训练已经成为了工业界主流的 AI 模型训练方式。基于 Kubernetes 的 Kubeflow 项目，能够很好地承载分布式训练的工作负载，业已成为了云原生 AI 领域的事实标准，在诸多企业内广泛落地。 尽管
注意，ElasticSearch版本是6.1.1，kibana的版本必须对应，所以，此处下载kibana-6.1.1-linux-x86_64.tar.gz
聚合一般作用在query范围内。不带query的aggregation请求实际上是在match_all{}查询范围内进行统计的：
在分布式架构、微服务以及k8s生态相关技术环境下，对应用的请求链路进行追踪（也叫做APM，Application Performance Management）是非常有必要的，链路追踪简单来说就是将应用从流量到达前端开始，一直到最后端的数据库核心，中间经过的每一层请求链路的完整行为都记录下来，而且通过可视化的形式实现链路信息查询、依赖关系、性能分析、拓扑展示等等，利用链路追踪系统可以很好的帮我们定位问题，这是常规监控手段实现起来比较困难的
这篇博文提供了 CVE-2021-44228 的摘要，并为 Elastic Security 用户提供了检测，以发现他们环境中对该漏洞的主动利用。
本质原因是elasticsearch.yml文件的参数配置不正确。由于自己检查不仔细，花了很长时间没有发现参数错误。 后来才发现是一个低级错误：3个节点的Elasticsearch集群中，elastic1节点的配置文件elasticsearch.yml的IP写错啦，IP地址本应是192.168.12.160，我写成了192.168.12.158啦。
上篇提过query模式除对记录的筛选之外还对符合条件的记录进行了评分，即与条件的相似匹配程度。我们把评分放在后面的博文中讨论，这篇我们只介绍query查询。
笔记内容：搭建ELK日志分析平台（上）—— ELK介绍及搭建 Elasticsearch 分布式集群 笔记日期：2018-03-02
云原生安全 1 为 Kubernetes集群启用Pod 安全策略 本文主要介绍了Kubernetes的Pod Security Policies部署过程以及有效性验证 https://mp.weixin.qq.com/s/Hbv7vw1t3_LTN1yFgChkDg 2 微软在其云服务中检测到Spring4Shell攻击 微软发布公告称， 安全团队检测到正利用近期曝出的Spring4Shell（又名 SpringShell）远程代码执行（RCE）漏洞进行的攻击，目标是自身的云服务产品 https://mp
Elasticsearch是非常灵活且功能丰富的搜索引擎，它提供了许多不同查询数据的方法。在实战业务场景中，经常会出现远远低于预期查询速度的慢查询。作为分布式系统的Elasticsearch，可能有各种影响查询性能的因素，包括外部因素，如负载均衡设置，网络延迟（带宽，NIC卡/驱动程序）等。
关于grpc，在前面的scalaPB讨论里已经做了详细的介绍：google gRPC是一种全新的RPC框架，在开源前一直是google内部使用的集成工具。gRPC支持通过http/2实现protobuf格式数据交换。protobuf即protocol buffer，是google发明的一套全新的序列化传输协议serialization-protocol，是二进制编码binary-encoded的，相对java-object，XML，Json等在空间上占有优势，所以数据传输效率更高。由于gRPC支持http/2协议，可以实现双向通讯duplex-communication，解决了独立request/response交互模式在软件编程中的诸多局限。这是在系统集成编程方面相对akka-http占优的一个亮点。protobuf格式数据可以很方便的转换成 json格式数据，支持对外部系统的的开放协议数据交换。这也是一些人决定选择gRPC作为大型系统微服务集成开发工具的主要原因。更重要的是：用protobuf和gRPC进行client/server交互不涉及任何http对象包括httprequest,httpresponse，很容易上手使用，而且又有在google等大公司内部的成功使用经验，用起来会更加放心。
Nebula 是一个云和（希望如此）DevOps 渗透测试框架。它为每个提供者和每个功能构建了模块。截至 2021 年 4 月，它仅涵盖 AWS，但目前是一个正在进行的项目，并有望继续发展以测试 GCP、Azure、Kubernetes、Docker 或 Ansible、Terraform、Chef 等自动化引擎。
腾讯云云原生监控服务（Tencent Prometheus Service）是分布式的监控部署方案，提供更加易用的的监控配置流程和适配大规模监控场景的高性能架构。
在可观察性里，指标是最能够从多方面去反映系统运行状况的。因为指标有各种各样，我们可以通过多维数据分析的方式来对系统的各个维度进行一个测量和监控。
我所渴求的，無非是將心中脫穎語出的本性付諸生活，為何竟如此艱難呢 ------赫尔曼·黑塞《德米安》
April 11, 2019 ,ES 发布了7.0.0 版本。 ES是一个搜索引擎，基于Lucene，提供了基于RESTful 的web接口，能够达到实时，稳定，可靠，快速的搜索引擎。
SVG 动画有很多种实现方法，也有很大SVG动画库，现在我们就来介绍 svg动画实现方法都有哪些？
在本系列文章中，我们将学习如何使用 Elastic 技术栈来为 Kubernetes 构建监控环境。可观测性的目标是为生产环境提供运维工具来检测服务不可用的情况（比如服务宕机、错误或者响应变慢等），并且保留一些可以排查的信息，以帮助我们定位问题。总的来说主要包括3个方面：
这样子部署好简单，但是我们每次想要修改配置都需要进入容器内部来修改nginx的配置，这样很麻烦，怎么样才能不进入容器直接在外部进行修改呢？（可以使用数据卷 -v的技术）
skywalking是什么？为什么要给你的应用加上skywalking 在介绍skywalking之前，我们先来了解一个东西，那就是APM（Application Performance Management）系统。 一、什么是APM系统 APM (Application Performance Management) 即应用性能管理系统，是对企业系统即时监控以实现 对应用程序性能管理和故障管理的系统化的解决方案。应用性能管理，主要指对企业的关键业务应用进 行监测、优化，提高企业应用的可靠性和质量，保证用
Elasticsearch运行时要求vm.max_map_count内核参数必须大于262144，因此开始之前需要确保这个参数正常调整过。
https://www.elastic.co/guide/en/elasticsearch/reference/6.1/search-aggregations-metrics.html
把大象放进冰箱共有几步？ 1. 打开冰箱门 2. 把大象放进去 3. 关上冰箱门 Elasticsearch 非常容易学习，分为3步： 1. 把数据放进去 2. 创建索引 3. 查数据 节选自 《Netkiller Database 手札》 60.1. 安装 Elasticsearch 60.1.1. RPM 安装 yum localinstall https://download.elastic.co/elasticsearch/release/org/elasticsearch/distributi
Nebula是一个云和DevOps渗透测试框架，它为每个提供者和每个功能构建了模块，截至 2021年4月，它仅涵盖AWS，但目前是一个正在进行的项目，有望继续发展以测试GCP、Azure、Kubernetes、Docker或Ansible、Terraform、Chef等自动化引擎
本篇文章介绍如何在k8s集群中部署elasticsearch单节点，以及如何使用NFS持久化es的数据
如果今天谈论到要部署一套日志系统，相信用户首先会想到的就是经典的ELK架构，或者现在被称为Elastic Stack。Elastic Stack架构为Elasticsearch + Logstash + Kibana + Beats的组合，其中，Beats负责日志的采集， Logstash负责做日志的聚合和处理，Elasticsearch作为日志的存储和搜索系统，Kibana作为可视化前端展示，整体架构如下图所示：
1.在Jenkins上为GitLab创建一个专有的拉取代码的账号 Jenkins需要构建哪些项目就在GitLab给予账号相应权限 我这里已经创建过Jenkins用户，下面用它登录后添加SSH-KEY
之前一直用百度站内搜索，但是百度站内搜索现在停用了。用谷歌的站内搜索，国内的GWF（fuck！)，只好投向Algolia
一、EFK日志收集系统介绍1.EFK简介EFK：分别表示：Elasticsearch , Filebeat, Kibana , 其中ELasticsearch负责日志保存和搜索，Filebeat负责收集日志，Kibana 负责界面，三者配合起来，形成一个非常完美的解决方案。2.Elasticsearch简介Elasticsearch是一个基于Apache Lucene的开源搜索和数据分析引擎引擎，Elasticsearch使用Java进行开发，并使用Lucene作为其核心实现所有索引和搜索的功能。3.Ela
作者 | Steven J. Vaughan-Nichols 译者 | 核子可乐 策划 | 冬梅 Log4j 漏洞风波暂平，但下一场暴雷可能已经在路上。 过去这一年，Log4j 频频暴雷。新年伊始，很多朋友可能觉得 Log4j 这事儿已经过去了。不，还没完呢。 2021 年，甚至很多人还根本没听说过 Apache Log4j 这一开源 Java 日志记录库。但它确实在无数应用程序中发挥着作用，包括各类 Apache 项目（Flink、Flume、Hadoop、Kafka、Solr、Spark 和 Stru
ELK Stack 是Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。 ELK Stack成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。和传统的日志处理方案相比，ELK Stack 具有如下几个优点： • 处理方式灵活。Elasticsearch 是实时全文索引，不需要像 storm 那样预先编程才能使用； • 配置简易上手。Elasticsearch 全部采用 JSON 接口，Logstash 是 Ruby DSL 设计，都是目前业界最通用的配置语法设计； • 检索性能高效。虽然每次查询都是实时计算，但是优秀的设计和实现基本可以达到全天数据查询的秒级响应； • 集群线性扩展。不管是 Elasticsearch 集群还是 Logstash 集群都是可以线性扩展的； • 前端操作炫丽。Kibana 界面上，只需要点击鼠标，就可以完成搜索、聚合功能，生成炫丽的仪表板。 官网地址:https://www.elastic.co/cn/ 官网权威指南: https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 安装指南： https://www.elastic.co/guide/en/elasticsearch/reference/6.x/rpm.html Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。 Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。
腾讯云上的tke集群和eks集群的事件日志默认只会保留一个小时，有的时候，服务出现了问题，需要根据历史事件日志来进行排查下，因为历史事件日志只有1个小时，这样给我们排查带来了极大不便。腾讯云上默认是支持将集群的事件日志采集到cls，但是cls是需要收费的，而且很多人习惯用Elasticsearch来查询日志。 下面我们通过开源的eventrouter来将日志采集到Elasticsearch，然后通过kibana来查询事件日志。 eventrouter介绍说明：https://github.com/heptiolabs/eventrouter
点击上方“芋道源码”，选择“设为星标” 管她前浪，还是后浪？ 能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
没有使用Helm之前，在Kubernetes部署应用，我们要依次部署deployment、service等，步骤比较繁琐。况且随着很多项目微服务化，复杂的应用在容器中部署以及管理显得较为复杂。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
