使用 Docker Compose V2 快速搭建日志分析平台 ELK (Elasticsearch、Logstash 和 Kibana)

易墨

发布于 2024-01-21 10:46:53

3K1

发布于 2024-01-21 10:46:53

前言

ELK 是指 Elasticsearch、Logstash 和 Kibana 这三个开源软件的组合。 Elasticsearch 是一个分布式的搜索和分析引擎，用于日志的存储,搜索,分析,查询。 Logstash 是一个数据收集、转换和传输工具，用于收集过滤和转换数据，然后将其发送到 Elasticsearch 或其他目标存储中。 Kibana 是一个数据可视化平台，通过与 Elasticsearch 的集成，提供了强大的数据分析和仪表盘功能。 Filebeat 是 Elastic Stack（ELK）中的一个组件，用于轻量级的日志文件收集和转发。它能够实时监控指定的日志文件，并将其发送到 Elasticsearch 或 Logstash 进行处理和分析。

ELK的架构有多种，本篇分享使用的架构如图所示： Beats(Filebeat) -> -> Elasticsearch -> Kibana，目前生产环境一天几千万的日志，内存占用大概 10G 左右

特点

开源免费
灵活性和可扩展性，高可用性，易扩展，支持集群
高效的搜索和分析功能
实时性
易于使用

使用情况

目前微服务项目使用，ELK单机部署，处理千万级日志无压力
使用 Kibana 做了面板，根据面板监控系统情况
使用 Docker 部署，方便快捷
上手用还算简单，但是弄懂这一套，就不是那么容易了
提炼出 docker compose 配置，分分钟部署好

实践

准备

一台 linxu 服务器，内存 8G+
安装 docker,docker compose
新机器搭建后的运行情况，限制了Elasticsearch的jvm参数 4g

本篇文件目录结构,完整文件在Github MeDevOps 仓库

安装

本篇 ELK 的版本为 v7.8.1,本篇使用的容器网络为 devopsnetwork ，需创建 docker network create devopsnetwork

Elasticsearch 使用 docker compose 安装

官方使用 Docker 安装文档
compose.yml
- 指定了jvm参数：4g
- 暴露端口 9200：该端口是Elasticsearch REST API的默认端口。
- 暴露端口 9300：该端口是Elasticsearch节点之间的内部通信端口，默认用于节点之间的集群通信
- 挂载数据目录 ./data及配置文件./config/elasticsearch.yml
- 需要对两个目录进行授权，这里直接用了777，也可以根据官网使用对应es的用户id 1000

version: '3.1'
services:
  elk_elasticsearch:
    image: elasticsearch:7.8.1
    container_name: elk_elasticsearch
    restart: always
    environment:
      - discovery.type=single-node
      - ES_JAVA_OPTS=-Xms4096m -Xmx4096m
    ports:
      - 9200:9200 
      - 9300:9300 
    volumes:
      # 授权 chmod 777 ./config/ && chmod 777 ./data/
      - ./data:/usr/share/elasticsearch/data
      - ./config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true

config/elasticsearch.yml

network.host: 0.0.0.0
xpack:
  ml.enabled: false
  monitoring.enabled: false
  security.enabled: false
  watcher.enabled: false

将其拷贝到服务器执行启动即可

#cd /app/elasticsearch
mkdir ./config
mkdir ./data
chmod 777 ./config/ && chmod 777 ./data/
docker compose up -d

验证访问

Logstash 使用 docker compose 安装

官方使用 Docker 安装文档
compose.yml
- 暴露端口5044：用于接收来自其他主机的日志数据、
- 挂载的 ./pipeline和./config目录可以运行容器复制出来
- 需要将./config/logstash.yml 和 ./pipeline/logstash.conf 改成es地址，参考

version: '3.1'
services:
  elk_logstash:
    image: logstash:7.17.16
    container_name: elk_logstash
    restart: always
    ports:
      - 5044:5044 
    volumes:
     # 授权 chmod 777 ./logs/ && chmod 777 ./data/ && chmod 777 ./pipeline/ && chmod 777 ./config/ 
      - /etc/timezone:/etc/timezone
      - /etc/localtime:/etc/localtime:ro
      - ./logs:/usr/share/logstash/logs
      - ./data:/usr/share/logstash/data
      - ./pipeline:/usr/share/logstash/pipeline
      - ./config:/usr/share/logstash/config
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true

pipeline/logstash.conf
- 根据需要修改 output ，这里将推送到es地址中
- 输出插件文档

input {
    beats {
        port => 5044
        codec => json {
            charset => "UTF-8"
        }
    }

}

filter {  
 
}

output {
    elasticsearch { 
      hosts => ["http://192.168.123.102:9200"]
      index => "%{[app]}-%{+YYYY.MM.dd}" 
  }    
  stdout { 
    codec => rubydebug 
  }
}

将其拷贝到服务器执行启动即可

mkdir ./data
mkdir ./logs
chmod 777 ./logs/ && chmod 777 ./data/ && chmod 777 ./pipeline/ && chmod 777 ./config/ 
docker compose up -d

Kibana 使用 docker compose 安装

官方使用 Docker 安装文档
compose.yml
- 指定es节点是单节点，多节点使用zen
- 挂载配置文件 ./config/kibana.yml
- 暴露端口 5601：面板访问端口

version: '3.1'
services:
  elk_kibana:
    image: kibana:7.8.1
    container_name: elk_kibana
    restart: always
    environment:
      - discovery.type=single-node
    ports:
      - 5601:5601 
    volumes:
      - ./config/kibana.yml:/usr/share/kibana/config/kibana.yml
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true

config/kibana.yml

server.host: "0.0.0.0"
elasticsearch.hosts: ["http://192.168.123.102:9200/"]
i18n.locale: "zh-CN"
xpack:
  apm.ui.enabled: false
  graph.enabled: false
  ml.enabled: false
  monitoring.enabled: false
  reporting.enabled: false
  security.enabled: false
  grokdebugger.enabled: false
  searchprofiler.enabled: false

将其拷贝到服务器执行启动即可

docker compose up -d

Filebeat 使用 docker compose 安装

compose.yml
- 挂载filebeat的配置文件，数据目录及日志目录，需要设置权限
- 挂载容器外的日志到容器内的日志采集目录

version: '3.1'
services:
  elk_filebeat:
    image: elastic/filebeat:7.8.1
    container_name: elk_filebeat
    restart: always
    volumes:
      # 授权 chmod 777 ./config/ && chmod 777 ./data/ && chmod 777 ./logs/ && chmod 777 /app/logs
      - ./config/filebeat.yml:/usr/share/filebeat/filebeat.yml:ro
      - ./data:/usr/share/filebeat/data 
      - ./logs:/usr/share/filebeat/logs
      - /app/logs:/app/logs
    networks:
      - devopsnetwork

networks:
  devopsnetwork:
    external: true

config/filebeat.yml
- hosts 节点需要配置 logstash 地址
- paths 指定日志目录

output.logstash:
  #logstash hosts
  hosts: ["192.168.123.102:5044"]
fields_under_root: true    
filebeat.inputs: 
 - type: log
   enabled: true
   paths:
       - /app/logs/*/*.log    
   close_older: 24h
   ignore_older: 24h   
   json.keys_under_root: true
   json.overwrite_keys: true
   encoding: utf-8 
filebeat.config.modules: 
  path: ${path.config}/modules.d/*.yml 
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 3  
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~  
  - drop_fields:    
      fields: ["log","@version","ecs","agent","beat","host","beat.hostname","beat.version","beat.name","prospector.type","input.type","host.id","host.name","host.os.build","host.os.family","host.os.name","host.os.platform","host.os.platform","log.file.path","tags","offset","host.architecture","host.os.version"]

安全使用

配置 nginx 域名转发

server {

    listen 80;
    listen       443 ssl;
    server_name kibana.devops.test.com;  # 自行修改成你的域名

    ssl_certificate      /certs/kibana.devops.test.com/server.crt;
    ssl_certificate_key  /certs/kibana.devops.test.com/server.key;
    ssl_session_cache    shared:SSL:1m;
    ssl_session_timeout  5m;
    ssl_ciphers  HIGH:!aNULL:!MD5;
    ssl_prefer_server_ciphers  on;

    location / {
            proxy_pass http://192.168.123.102:5601;
            proxy_http_version 1.1;
            proxy_buffering off;
            proxy_request_buffering off;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
            proxy_set_header Host $host;
            proxy_set_header X-Forwarded-For $remote_addr;
    }
}

配置完成，即可使用域名访问

配置 nginx 基本认证

在Nginx配置文件中添加以下内容

location / {
    auth_basic "Restricted Content";
    auth_basic_user_file /certs/kibana.devops.test.com/passwd;
    ...
}

添加对应的passwd文件，使用 htpasswd 生成，如账号密码是 root devops666 的配置文件

root:WvesKBTr22.wY

可以使用我 metools 工具的密码生成器生成

配置完成，重载配置后刷新页面就提示输入账号密码了

配置 nginx IP白名单

location / {
    allow 192.168.123.201;   # 允许的IP地址
    deny all;              # 拒绝所有其他IP地址
}

后语

本篇只针对 ELK 的安装进行了介绍及整理对应的 Docker Compose 配置文件，后续即可快速安装配置 ELK 环境，如何与项目结合使用后续再分享

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2024-01-20，如有侵权请联系 cloudcommunity@tencent.com 删除

kibana

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度

使用 Docker Compose V2 快速搭建日志分析平台 ELK (Elasticsearch、Logstash 和 Kibana)

使用 Docker Compose V2 快速搭建日志分析平台 ELK (Elasticsearch、Logstash 和 Kibana)

前言

特点

使用情况

实践

准备

安装

Elasticsearch 使用 docker compose 安装

Logstash 使用 docker compose 安装

Kibana 使用 docker compose 安装

Filebeat 使用 docker compose 安装

安全使用

配置 nginx 域名转发

配置 nginx 基本认证

配置 nginx IP白名单

后语

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐