采集器管理

最近更新时间:2024-09-05 16:58:51

我的收藏
进入 wedata 数据集成 > 设置管理 > 采集器管理界面,页面展示 Agent 和 SDK 两种途径。
Agent 是 InLong 的轻量型日志采集器,可安装并运行于腾讯云 TKE 集群内采集容器日志。采集数据可通过实时任务传输到 ElasticSearch 等目标端。

创建 Agent 采集器

1. 进入数据集成模块,单击采集器管理 > Agent > 创建



2. 在创建 Agent 采集器的弹窗中,配置 TKE Agent /CVM 的参数信息。
TKE Agent



参数
参数说明
类型
请选择 TKE Agent。
地域
选择需要采集的 TKE 集群所属地域,可登录前往登录 腾讯云 查看集群信息。
TKE 集群 ID
选择一个需安装 TKE 集群信息。
1. 仅支持在“运行中”状态的 TKE 集群安装 Agent。
2. 一个 agent 将占用集群1C512M规格。
关联资源组
将 Agent 与具体执行资源组进行绑定,Agent 将使用资源组中 manager url
进行数据上报。
注意:
TKE 集群(Agent)需与集成资源组位于同一个 VPC,或对应 VPC 已配置公网的情况可同步数据。资源组公网配置流程请参见数据集成 资源组配置公网
CVM



参数
参数说明
机器类型
默认自建服务器。
采集器名称
自定义采集器名称。
关联资源组
选择当前项目中可以用的资源组。
生命周期
设置当前采集器组下的 Agent 心跳超时的最长时间。超过此时间后,该 Agent 对应服务器 IP 将被自动回收。默认为-1不回收,可以在采集器列表中进行编辑修改。
3. 单击保存并进入下一步,即可进入到服务器管理。



注意:
1. 自建服务器 Agent 管理需手动运行脚本命令,可单击 安装/移除/重启 Agent 查看操作步骤。
2. 同步任务配置信息默认对该分类下所有服务器生效,分类下新增、移除服务器自动增加/减少任务采集范围,编辑分类名称不影响原任务运行。
3. 仅通过命令行或者手动修改配置文件的方式修改服务器归属分类。
4. 配置完成后,Agent 将作为 TKE 上的日志采集器,后续支持在多个实时任务中同时使用一个 Agent 用于 POD 日志提取。

采集器列表

创建好的采集器在采集器列表中可以进行管理查看,列表展示内容包括:名称 ID/状态/采集来源/集成资源组/关联任务数及相关操作。