Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >ELK日志分析系统搭建 v6.0.0

ELK日志分析系统搭建 v6.0.0

作者头像
用户1409099
修改于 2019-05-14 08:58:39
修改于 2019-05-14 08:58:39
74902
代码可运行
举报
文章被收录于专栏:奕空奕空
运行总次数:2
代码可运行

【注意:必须2核以上】

  • 二、基础支持yum安装

【注意:否则后面操作会异常】

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
yum -y install java-1.8.0

yum install unzip
#http://ftp.gnu.org/gnu/gcc/gcc-7.2.0/
yum install gcc
#https://pkgs.org/download/tcl
yum install tcl -y
  • 三、屏蔽或者禁用firewalld

【注意:否则本地浏览器无法访问虚拟机

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
systemctl stop firewalld  #禁用服务
systemctl mask firewalld #屏蔽服务
  • 四、核心软件包下载

上图包可前往:https://gitee.com/openplus/elkbulid 获取

也可前往官网下载:

elasticsearch、logstash、kibana下载最新版本:https://www.elastic.co/downloads

【es5以上kopf已经被cerebo替代】

cerebo下载:https://github.com/lmenezes/cerebro/releases

redis下载最新版本:http://download.redis.io/releases/

下载完如上5个包,上传到虚拟机的/ELK 目录下

  • 五、安装核心软件

安装logstash:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@ELK20171129 ELK]# tar zxf logstash-6.0.0.tar.gz -C /usr/local/

配置logstash的环境变量

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@ELK20171129 ELK]# echo "export PATH=\$PATH:/usr/local/logstash-6.0.0/bin" > /etc/profile.d/logstash.sh
[root@ELK20171129 ELK]#  . /etc/profile

安装Redis:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@ELK20171129 ELK]# tar zxf redis-4.0.2.tar.gz
[root@ELK20171129 ELK]# cd redis-4.0.2
[root@ELK20171129 redis-4.0.2]# make MALLOC=libc
[root@ELK20171129 redis-4.0.2]# make test  【注意:可以去喝杯茶】
[root@ELK20171129 redis-4.0.2]# make install

启动redis:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@ELK20171129 redis-4.0.2]# cd utils/
[root@ELK20171129 utils]# /install_server.sh 【注意:一路默认回车】
[root@ELK20171129 utils]# netstat -tnlp |grep redis【注意:查看进程】

启动redis动态监控

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@ELK20171129 utils]# cd ../src/
[root@ELK20171129 src]# ./redis-cli monitor

logstash和redis的结合【配置够的可以做,不够试下,这步就跳过吧】

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@ELK20171129 ELK]#  vi logstash-to-redis.conf
input { stdin { } }
output {
    stdout { codec => rubydebug }
    redis {
        host => '192.168.13.245'
        data_type => 'list'
        key => 'logstash:redis'
    }
}

#执行
logstash -f logstash-to-redis.conf --verbose
#输入测试信息
./redis-cli monitor
#能查看到输入的测试信息结果则logstash和redis的结合

安装Elasticsearch:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@ELK20171129 ELK]# tar zxf elasticsearch-6.0.0.tar.gz -C /usr/local/

修改elasticsearch配置文件

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@ELK20171129 ELK]# vi /usr/local/elasticsearch-6.0.0/config/elasticsearch.yml  
network.host: 192.168.1.104    #指定主机地址
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.158.13.245"]

启动elasticsearch服务

【es5以上不能用root用户运行,此处忽略若干建立用户授权的过程,其他软件用root操作执行】

切换到october用户

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[october@ELK20171129 ~]# nohup /usr/local/elasticsearch-6.0.0/bin/elasticsearch > /ELK/logs/es.log 2>&1 &
[root@ELK20171129 ~]# netstat -tnlp |grep java【查看端口,不正常则进一步看logstash.log日志】

出现ERROR: bootstrap checks failed 异常前往https://cloud.tencent.com/developer/article/1425525 处理,处理完毕回来继续。

配置elasticsearch和logstash结合

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@ELK20171129 ELK]# vi logstash-simple.conf
[root@ELK20171129 ELK]# cat logstash-simple.conf
input { stdin { } }
output {
  elasticsearch { hosts => ["192.168.13.245:9200"] }
  stdout { codec => rubydebug }
}

启动logstash

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@ELK20171129 ELK]# /usr/local/logstash-6.0.0/bin/logstash -f /ELK/logstash-simple.conf 
#执行成功后,输入些数据,检查logstash与elasticsearch之间的通讯是否有问题
#当前窗口输入完测试数据,会直接返回json格式数据
#然后再另起窗口执行 curl  http://192.168.13.245:9200/_search?pretty 显示则正常。

安装elasticsearch插件cerebro

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@ELK20171129 ELK]# unzip  cerebro-0.7.2.zip
[root@ELK20171129 ELK]# cd cerebro-0.7.2
[root@ELK20171129 ELK]# nohup bin/cerebro > /ELK/logs/cerebro.log  2>&1 &

访问:http://192.168.13.245:9000

安装kibana

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@ELK20171129 ELK]# tar zxf kibana-6.0.0-linux-x86_64.tar.gz -C /usr/local
修改kibana配置文件kinaba.yml
[root@ELK20171129 ELK]# vi  /usr/local/kibana-6.0.0-linux-x86_64/config/kibana.yml
elasticsearch_url: "http://192.168.13.245:9200"
server.host: "192.168.13.245"
server.port: 5601

启动kibana

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
[root@ELK20171129 ELK]# nohup /usr/local/kibana-6.0.0-linux-x86_64/bin/kibana > /ELK/logs/kibana.log 2>&1 &

访问:http://192.168.13.245:5601

结束...

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017/11/30 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Hive补充之窗口函数
窗口函数 1、hive窗口函数语法 hive中的窗口函数over() ,over()窗口函数的语法结构
Maynor
2021/04/09
1.1K0
大数据快速入门(10):Hive窗口函数
首先,需要认识到,窗口函数并不是只有 hive 才有的,SQL 语法标准中,就有窗口函数。
kk大数据
2020/11/11
2.6K0
hive sql 窗口函数
1) 窗口函数 Lag, Lead, First_value,Last_value Lag, Lead、这两个函数为常用的窗口函数,可以返回上下数据行的数据. LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值 LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值, 与LAG相反 -- 组内排序后,向后或向前偏移 -- 如果省略掉第三个参数,默认为NULL,否则补上。
用户1217611
2020/06/19
1.2K0
hive sql 窗口函数
Hive 窗口函数最全讲解和实战
在深入研究Over字句之前,一定要注意:在SQL处理中,窗口函数都是最后一步执行,而且仅位于Order by子句之前 可以想象成sql的输出结果,就是窗口函数输入的结果。
kk大数据
2019/12/18
2.1K0
MySQL窗口函数,你最熟悉的陌生人~
  这三个点虽然平时用得少,但在面试中却常被问到。值得一提的是,很多面试官对问题竟然也是一知半解。。
陈哈哈
2021/12/31
1.1K0
MySQL窗口函数,你最熟悉的陌生人~
Hive窗口函数/分析函数详解
在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数。窗口函数又叫OLAP函数/分析函数,窗口函数兼具分组和排序功能。
五分钟学大数据
2021/03/04
9020
Hive窗口函数/分析函数详解
Hive学习-lateral view 、explode、reflect和窗口函数
然后挂了FAILED: SemanticException [Error 10081]: UDTF's are not supported outside the SELECT clause, nor nested in expressions
顾翔
2024/09/10
4770
Hive学习-lateral view 、explode、reflect和窗口函数
MySQL8新特性窗口函数详解
本文博主给大家详细讲解一波 MySQL8 的新特性:「窗口函数」,相信大伙看完一定能有所收获。
wayn
2023/06/14
4800
MySQL8新特性窗口函数详解
SQL数据分析实战:好用的窗口函数
感觉这个春节假期在除夕过完之后吧,时间就过的非常快了,余额已经明显不足了。嗯,是开始可以学习起来了!
可以叫我才哥
2022/04/12
7860
SQL数据分析实战:好用的窗口函数
Mysql 窗口函数学习
窗口函数是数据库查询中的一个经典场景,在解决某些特定问题时甚至是必须的。个人认为,在单纯的数据库查询语句层面【即不考虑 DML、SQL 调优、索引等进阶】,窗口函数可看作是考察求职者 SQL 功底的一个重要方面。
王图思睿
2021/06/16
1.2K0
SQL 进阶挑战(26 - 30)
现有用户信息表user_info(uid用户ID,nick_name昵称, achievement成就值, level等级, job职业方向, register_time注册时间):
村雨遥
2022/06/27
4630
Hive常用窗口函数实战
本文介绍了Hive常见的序列函数,排名函数和窗口函数。结合业务场景展示了Hive分析函数的使用
Eights
2020/07/13
2.8K0
Hive窗口函数保姆级教程
在SQL中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数。窗口函数又叫OLAP函数/分析函数,窗口函数兼具分组和排序功能。
五分钟学大数据
2021/07/07
2.6K0
Hive窗口函数保姆级教程
hive窗口函数/分析函数详细剖析
在sql中有一类函数叫做聚合函数,例如sum()、avg()、max()等等,这类函数可以将多行数据按照规则聚集为一行,一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据,又要显示聚集后的数据,这时我们便引入了窗口函数。窗口函数又叫OLAP函数/分析函数,窗口函数兼具分组和排序功能。
五分钟学大数据
2021/01/21
9800
hive窗口函数/分析函数详细剖析
MySQL窗口函数怎么用
在 MySQL 8.x 版本中,MySQL 提供了窗口函数,窗口函数是一种在查询结果的特定窗口范围内进行计算的函数。
科技新语
2024/05/17
3080
2021年数据科学家面试:4个基本SQL窗口函数介绍以及示例
墨墨导读:在数据科学家岗位的面试中,窗口函数(WINDOW function)是SQL函数家族中经常会被问到的主题。在本文中,我会根据面试的问题,问题模式和解决问题的基本策略向你展示一些典型的窗口函数,并提供一些示例的分步解决方案。
数据和云
2021/03/09
1.2K0
2021年数据科学家面试:4个基本SQL窗口函数介绍以及示例
数分面试必考题:窗口函数
窗口函数的主要作用是对数据进行分组排序、求和、求平均值、计数等。对于数据从业者来说, sql窗口函数在实际工作中具备非常广泛的应用场景。可以大大的提高数据查询效率,同时也是数据类相关岗位的面试/笔试的必考点。所以不论是在职的分析师,还是准备找工作的同学,都必须要牢牢掌握窗口函数的概念及用法。感谢群友饭小米的投稿,接下来让我们详细了解一下窗口函数的前世今生吧。
Python数据科学
2020/12/15
2.4K0
数分面试必考题:窗口函数
SQL、Pandas、Spark:窗口函数的3种实现
窗口函数是数据库查询中的一个经典场景,在解决某些特定问题时甚至是必须的。个人认为,在单纯的数据库查询语句层面【即不考虑DML、SQL调优、索引等进阶】,窗口函数可看作是考察求职者SQL功底的一个重要方面。
luanhz
2021/04/26
1.6K0
Mysql8.0 新特性 窗口函数 公共表表达式
这里就不一一介绍了,就先介绍几个简单常用的窗口函数 公共表表达式, 感觉挺高级常用的,帮助快速开发.
Java_慈祥
2024/08/06
1930
Mysql8.0 新特性 窗口函数 公共表表达式
SQL 窗口函数的优化和执行
窗口函数(Window Function)是 SQL2003 标准中定义的一项新特性,并在 SQL2011、SQL2016 中又加以完善,添加了若干处拓展。窗口函数不同于我们熟悉的普通函数和聚合函数,它为每行数据进行一次计算:输入多行(一个窗口)、返回一个值。在报表等分析型查询中,窗口函数能优雅地表达某些需求,发挥不可替代的作用。
SQL数据库开发
2024/04/24
2340
SQL 窗口函数的优化和执行
相关推荐
Hive补充之窗口函数
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验