腾讯云CLS日志服务应用

日志服务（Cloud Log Service）提供一站式的日志数据解决方案。用户无需关注扩缩容等资源问题，五分钟快速便捷接入，即可享受从日志采集、日志存储到日志内容搜索、统计分析等全方位稳定可靠的日志服务。协助用户更便捷的进行业务问题的定位，指标监控、安全审计等日志问题。大大降低日志运维门槛

相关概念:

*LogListener： 是腾讯云日志服务提供的日志采集 Agent，通过在服务器上安装loglistener可以实时采集指定路径上的日志，并对日志原始数据进行结构化后推送至日志服务中枢。

*日志服务中枢：这里指的是腾讯云日志服务CLS，日志服务负责对日志的存储，过滤，推送等任务。推送于过滤操作均由控制台操作,步骤简单。通过控制台定义日志索引key，通过索引关键字搜索能够快速找到相应日志记录，通过日志记录反馈能够快速进行业务问题的定位。

*COS存储桶：通过控制台日志服务配置推送任务，可以将日志进行冷备存储；数据存储于对象存储中，可以联动腾讯云大数据产品进行COS存储桶的数据拉取，进行日志分析。

*Ckafka：CLS日志服务目前腾讯云消息队列产品Ckafka进行实时的消费，目前只需在控制台点击开启按钮即可实现该功能。

一、CLS日志服务Agent部署Demo.

示例环境架构:

1、腾讯云上创建一台centos7.2的cvm,搭建Nginx服务。

Shell>yum install nginx -y   //安装nginx服务

Shell> vim /etc/nginx/conf.d/default.conf //这里需要做一个配置更改、不然启动服务会报错。

7  #    listen       [::]:80 default_server;  //将配置文件第七行注释掉。

Shell>nginx             //开启Nginx服务。

2、Nginx服务器上部署Agent采集服务logListener。

logListener下载链接:

https://main.qcloudimg.com/raw/ee52812a5bf211d08f7ed1a4c894a747/loglistener.2.2.0.tar.gz

Shell>yum install lrzsz -y     //安装上传文件工具

Shell>rz                 //通过工具上传logListener.tar.gz安装包

Shell>tar -zxvf loglistener.tar.gz  && cd loglistener/tools/

Shell>./install.sh  $(SecretId)  $(secretkey)  $(region) //API密钥ID需官网获取

Shell>./start.sh         //启动Agent服务

logListener服务介绍参考官网说明：https://cloud.tencent.com/document/product/614/17414

3.1、创建日志集，设置采集配置.

3.2、设置索引配置.

参考链接：https://cloud.tencent.com/document/product/614/16981

3.3日志检索

索引语法匹配规则参考链接：https://cloud.tencent.com/document/product/614/16981

4、配置投递任务管理（配置定时任务将采集到的日志冷备推送至COS）

投递配置参考链接: https://cloud.tencent.com/document/product/614/14035

二、 总结

1、日志服务CLS非常适用于批量机器的日志采集聚合,通过安装Agent采集服务,定义日志主题与机器群组将应用日志实时采集到CLS中进行检索查询,便捷运维人员日志管理与应用服务故障定位.

2、在使用日志服务CLS中，如果日志类型本身属于结构化的日志记录,那么配合过滤器使用可以将日志进行更精准的定位。

示例：

日志样例:10002345987;write;error;topic does not exist

定义符号;作为分割符,并给vlaue定义key.

KEY              vlaue

uin 10002345987

Status             write

Code               error

Information       topic does not exist

过滤器配置:

KEY              过滤规则

Code             error

#过滤规则支持正则匹配

通过过滤器可以将code=error的日志过滤、并汇聚到CLS上。通过报错内容进行日志分析。

3、目前CLS支持API/SDK手动配置日志上传、或安装Agent采集服务进行在日志上传。目前安装Agent做实时的日志采集需要占用一定的系统资源消耗，如果针对数据量大的日志采集需要提前对系统资源消耗进行测试评估。