日志服务投递 Splunk

日志采集到 CLS 后，支持将日志数据投递至 Splunk 中进行分析。
前提条件
开通日志服务，创建 日志集 与 日志主题，并成功采集到日志数据。
子账号/协作者需要主账号授权，授权步骤参见 基于 CAM 管理权限，授权策略请参见 CLS 访问策略模板。
Splunk 侧准备：配置 HEC（HTTP Event Collector），获取 Token 和 HEC 的 URL。
 网络访问的连通性：通过专线/云联网将您的 Splunk 接入腾讯云。
操作步骤
1. 登录 日志服务控制台。
2. 在左侧导航栏中，选择日志主题。
3. 单击需要投递的日志主题 ID/名称，进入日志主题管理页面。
4. 单击投递到 Splunk 页签，进入投递到 Splunk 配置页面，单击新建，进入基本配置。
基本配置项
是否必填
解释说明
示例
投递任务名称
必填
配置投递任务的名称。
投递到 splunk-test123
日志主题
否
被投递的日志主题。
广州/test123
数据格式
否
原始日志/JSON。
选择按照 JSON 格式投递时，您可选择投递或者不投递以下字段：其中有 CLS 保留字段 和用于表示日志先后顺序的__PKGID、__PKGLOGID、__TAG__字段，配置好需要投递的字段后，您可在下方预览投递的日志。
-
日志预过滤
否
添加条件：通过交互模式/语句模式配置过滤条件，将过滤后的结果发送至 Splunk。
交互模式（默认）：
保留日志：符合条件的日志将被保留。
丢弃日志：符合条件的日志将被丢弃。
语句模式：参见 预过滤函数。
-
服务日志
否
将投递任务运行的监控指标，写入免费的日志主题 cls_service_log 中。
打开开关
投递日志预览
否
预览您需要投递的日志。
{"a":123,"b":123,"c":-123,"d":123.45,"e":{"e1":123,"f1":"123"}}
5. 单击下一步，进入目标配置。
目标配置项
是否必填
解释说明
示例
网络访问
必填
内网：Splunk 部署在腾讯云,或者通过专线/云联网接入腾讯云。
公网：一般指 Splunk Cloud Platform，通过公网访问。
内网/公网
网络服务类型
网络访问为内网时必填
当您选择内网时，需要配置网络服务类型：
CLB：服务通过 CLB（负载均衡）转发，通常投递目标有多个节点，需要负载均衡。
CVM：服务直接部署在 CVM/TKE，只有一个节点，不需要负载均衡。
﻿
CLB/CVM
Splunk 所在网络归属
网络访问为内网时必填
﻿
当前主账号
其他主账号
Splunk 部署在当前账号的网络环境中。
Splunk 部署在其他主账号的网络环境中，由其他主账号为您提供角色 ARN 和外部 ID，用于访问网络的鉴权。例如将 A 账号的 CLS 日志投递至 B 账号的 VPC 中的 Splunk，需要 B 账号在 CAM（访问管理）侧配置访问 角色，配置完成之后，由 A 账号将角色 ARN 和外部 ID 填写到 CLS 控制台，方可进行跨账号投递。配置角色的步骤如下：
1. 新建角色。账号 B 登录 CAM 角色管理页面。
1.1 创建访问策略，策略名称例如：cross_shipper，策略语法参考如下：
说明：
示例中的授权按照最小权限的原则，resource 配置为仅可以投递至广州地域的 VPC ID 是 vpc-k1234abc 中的 Splunk，请您按照实际情况进行授权。
{
    "statement": [
        {
            "action": [
                "cam:GetRole"
            ],
            "effect": "allow",
            "resource": [
                "*"
            ]
        },
        
        {
            "action": [
                "vpc:DescribeVpcs"
            ],
            "effect": "allow",
            "resource": [
                "qcs::vpc:ap-guangzhou:uin/100012345678:vpc/vpc-k1234abc"
            ]//投递至广州地域的VPC:vpc-k1234abc 中的Splunk,请您按照实际情况进行授权。
        }
    ],
    "version": "2.0"
}
1.2 新建角色，选择腾讯云账户角色载体，云账号类型选择其他主账号，然后输入 A 账号的 ID，例如100012345678，勾选开启校验并配置外部 ID，例如 Hello123。
1.3 配置角色的访问策略，选择第一步配置好的访问策略 cross_shipper（示例）。
1.4 保存该角色，例如：uinA_writeCLS_to_Splunk。
2. 为角色配置载体。在 CAM 角色列表中找到 uinA_writeCLS_to_Splunk（示例），单击该角色，选中下方的角色载体 > 管理载体 > 添加产品服务 > 选中日志服务，然后单击更新。
可以看到当前角色的载体是两个：一个是 A 账号，另一个是 cls.cloud.tencent.com（CLS 日志服务）。
3. A 账号登录 CLS，填入角色 Arn 和外部 ID。
以下两项信息需 B 账号来提供：
B 账号在 CAM 角色列表中找到角色 uinA_writeCLS_to_Splunk（示例），单击可查看该角色的 RoleArn，例如 qcs::cam::uin/100001112345:roleName/uinA_writeCLS_to_Splunk。
在角色载体中可看到外部 ID，例如 Hello123。
注意：
填写角色 ARN、外部 ID 时，注意不要输入多余的空格，否则会导致权限校验失败。
跨账号投递会在 A 账号下，产生日志主题的读流量费。
当前主账号/其他主账号
所属网络
网络访问为内网时必填
当前主账号：从下拉列表选择当前账号的 VPC，格式：VpcId|VpcName|CidrBlock。
其他主账号：请手动输入 VPC ID，例如 vpc-r5ABC123。
vpc-r5ABC123
Splunk HEC 服务地址
必填
请在 Splunk 侧获取。
10.0.0.113:8088
HEC Token
必填
请在 Splunk 侧获取。
59f9bXXc-ae2f-43c1-8c93-4360XXXX3ef1
认证机制
否
如果您在 Splunk 的 HEC 的配置中打开了 SSL 认证，请选择 SSL。
SSL
检查连通性
必填
单击该按钮，连通性检查成功后，方可提交任务。
-
    下面是高级配置（ 一般您不需要对其进行配置）：
目标配置项
是否必填
解释说明
示例
启用索引器确认
否
Splunk 确认来自 HEC 的数据写入索引后，再处理下一批数据。如果您在 HEC 标记启用了索引器确认，请选择启用。
-
Channel
必填
如果您选择了启用索引器确认，需要填写该选项。
template-1
数据来源（Source）
必填
日志生成的位置，如目录、网络端口、程序名称。
/var/log/syslog
来源类型（SourceType）
必填
日志数据格式/结构，决定了 Splunk 如何解析数据。
syslog、json 
写入索引名称
必填
将 CLS 的数据写入该索引。
﻿
test_index
6. 单击提交，完成新任务的配置。

基本配置项	是否必填	解释说明	示例
投递任务名称	必填	配置投递任务的名称。	投递到 splunk-test123
日志主题	否	被投递的日志主题。	广州/test123
数据格式	否	原始日志/JSON。选择按照 JSON 格式投递时，您可选择投递或者不投递以下字段：其中有 CLS 保留字段和用于表示日志先后顺序的__PKGID、__PKGLOGID、__TAG__字段，配置好需要投递的字段后，您可在下方预览投递的日志。	-
日志预过滤	否	添加条件：通过交互模式/语句模式配置过滤条件，将过滤后的结果发送至 Splunk。交互模式（默认）：保留日志：符合条件的日志将被保留。丢弃日志：符合条件的日志将被丢弃。语句模式：参见预过滤函数。	-
服务日志	否	将投递任务运行的监控指标，写入免费的日志主题 cls_service_log 中。	打开开关
投递日志预览	否	预览您需要投递的日志。	{"a":123,"b":123,"c":-123,"d":123.45,"e":{"e1":123,"f1":"123"}}

目标配置项	是否必填	解释说明	示例
网络访问	必填	内网：Splunk 部署在腾讯云,或者通过专线/云联网接入腾讯云。公网：一般指 Splunk Cloud Platform，通过公网访问。	内网/公网
网络服务类型	网络访问为内网时必填	当您选择内网时，需要配置网络服务类型： CLB：服务通过 CLB（负载均衡）转发，通常投递目标有多个节点，需要负载均衡。 CVM：服务直接部署在 CVM/TKE，只有一个节点，不需要负载均衡。	CLB/CVM
Splunk 所在网络归属	网络访问为内网时必填	当前主账号其他主账号 Splunk 部署在当前账号的网络环境中。 Splunk 部署在其他主账号的网络环境中，由其他主账号为您提供角色 ARN 和外部 ID，用于访问网络的鉴权。例如将 A 账号的 CLS 日志投递至 B 账号的 VPC 中的 Splunk，需要 B 账号在 CAM（访问管理）侧配置访问角色，配置完成之后，由 A 账号将角色 ARN 和外部 ID 填写到 CLS 控制台，方可进行跨账号投递。配置角色的步骤如下： 1. 新建角色。账号 B 登录 CAM 角色管理页面。 1.1 创建访问策略，策略名称例如：cross_shipper，策略语法参考如下：说明：示例中的授权按照最小权限的原则，resource 配置为仅可以投递至广州地域的 VPC ID 是 vpc-k1234abc 中的 Splunk，请您按照实际情况进行授权。 { "statement": [ { "action": [ "cam:GetRole" ], "effect": "allow", "resource": [ "" ] }, { "action": [ "vpc:DescribeVpcs" ], "effect": "allow", "resource": [ "qcs::vpc:ap-guangzhou:uin/100012345678:vpc/vpc-k1234abc" ]//投递至广州地域的VPC:vpc-k1234abc 中的Splunk,请您按照实际情况进行授权。 } ], "version": "2.0" } 1.2 新建角色，选择腾讯云账户角色载体，云账号类型选择其他主账号，然后输入 A 账号的 ID，例如100012345678，勾选开启校验并配置外部 ID，例如 Hello123。 1.3 配置角色的访问策略，选择第一步配置好的访问策略 cross_shipper（示例）。 1.4 保存该角色，例如：uinA_writeCLS_to_Splunk。 2. 为角色配置载体。在 CAM 角色列表中找到 uinA_writeCLS_to_Splunk（示例），单击该角色，选中下方的角色载体* > 管理载体 > 添加产品服务 > 选中日志服务，然后单击更新。可以看到当前角色的载体是两个：一个是 A 账号，另一个是 cls.cloud.tencent.com（CLS 日志服务）。 3. A 账号登录 CLS，填入角色 Arn 和外部 ID。以下两项信息需 B 账号来提供： B 账号在 CAM 角色列表中找到角色 uinA_writeCLS_to_Splunk（示例），单击可查看该角色的 RoleArn，例如 qcs::cam::uin/100001112345:roleName/uinA_writeCLS_to_Splunk。在角色载体中可看到外部 ID，例如 Hello123。注意：填写角色 ARN、外部 ID 时，注意不要输入多余的空格，否则会导致权限校验失败。跨账号投递会在 A 账号下，产生日志主题的读流量费。	当前主账号/其他主账号
所属网络	网络访问为内网时必填	当前主账号：从下拉列表选择当前账号的 VPC，格式：VpcId\|VpcName\|CidrBlock。其他主账号：请手动输入 VPC ID，例如 vpc-r5ABC123。	vpc-r5ABC123
Splunk HEC 服务地址	必填	请在 Splunk 侧获取。	10.0.0.113:8088
HEC Token	必填	请在 Splunk 侧获取。	59f9bXXc-ae2f-43c1-8c93-4360XXXX3ef1
认证机制	否	如果您在 Splunk 的 HEC 的配置中打开了 SSL 认证，请选择 SSL。	SSL
检查连通性	必填	单击该按钮，连通性检查成功后，方可提交任务。	-

投递 Splunk

本页目录：

前提条件

操作步骤