文章/答案/技术大牛

发布

flume ng抓取mysql

Flume NG 是一个分布式、可靠且可用的服务，用于高效地收集、聚合和移动大量日志数据。它具有容错性和保证数据传输的特性，非常适合于日志聚合。Flume NG 可以从多种数据源（如 MySQL）抓取数据，并将其传输到各种数据接收方（如 HDFS、HBase 或 Kafka 等）。

基础概念

Source：数据的来源，例如 MySQL 数据库。
Channel：临时存储数据的组件，确保数据在传输过程中的可靠性。
Sink：数据的最终目的地，例如 HDFS 文件系统。
Agent：Flume 运行的实例，包含 Source、Channel 和 Sink。

类型与应用场景

日志聚合：从多个应用服务器收集日志，并将其存储到一个中心位置。
数据迁移：将数据从一个系统迁移到另一个系统，例如从 MySQL 迁移到 HDFS。
实时数据流处理：将数据实时传输到流处理引擎进行进一步处理。

MySQL 抓取配置示例

假设我们要从 MySQL 数据库中抓取数据，并将其传输到 HDFS。以下是一个简单的 Flume NG 配置示例：

# 定义 Agent 名称
agent1.sources = mysqlSource
agent1.sinks = hdfsSink
agent1.channels = memoryChannel

# 配置 Source
agent1.sources.mysqlSource.type = org.apache.flume.source.jdbc.JdbcSource
agent1.sources.mysqlSource.connectionUrl = jdbc:mysql://localhost:3306/mydatabase
agent1.sources.mysqlSource.username = myuser
agent1.sources.mysqlSource.password = mypassword
agent1.sources.mysqlSource.table = mytable
agent1.sources.mysqlSource.columns = id,name,value
agent1.sources.mysqlSource.pollingInterval = 60000

# 配置 Channel
agent1.channels.memoryChannel.type = memory
agent1.channels.memoryChannel.capacity = 1000
agent1.channels.memoryChannel.transactionCapacity = 100

# 配置 Sink
agent1.sinks.hdfsSink.type = hdfs
agent1.sinks.hdfsSink.hdfs.path = hdfs://localhost:9000/user/flume/data
agent1.sinks.hdfsSink.hdfs.filePrefix = events-
agent1.sinks.hdfsSink.hdfs.fileType = DataStream
agent1.sinks.hdfsSink.hdfs.writeFormat = Text
agent1.sinks.hdfsSink.hdfs.rollInterval = 0
agent1.sinks.hdfsSink.hdfs.rollSize = 1048576
agent1.sinks.hdfsSink.hdfs.rollCount = 0

# 绑定 Source、Channel 和 Sink
agent1.sources.mysqlSource.channels = memoryChannel
agent1.sinks.hdfsSink.channel = memoryChannel

可能遇到的问题及解决方法

连接问题：确保 MySQL 数据库的连接 URL、用户名和密码正确无误。
数据抓取问题：检查 SQL 查询语句是否正确，并确保 Flume 有足够的权限访问数据库。
性能问题：调整 pollingInterval 和 Channel 的容量以优化性能。

参考链接

请注意，上述配置示例和参考链接仅供参考，实际使用时可能需要根据具体需求进行调整。

页面内容是否对你有帮助？

有帮助

没帮助

将系统服务日志重定向到文件

linux、ubuntu

我试图在Ubuntu16.04上作为systemd服务运行flume，并在/etc/systemd/system/flume-ng.service中使用以下内容Description=ApacheFlume ExecStart=/usr/bin/nohup /opt/flume/current/bin/flume-ng</e

浏览 0提问于2016-11-07得票数 47

回答已采纳

7回答

错误:无法找到或加载主类org.apache.flume.node.Application -在hadoop1.2.1版上安装flume

hadoop、load、installation、main、flume

现在，我想构建一个flume来获取主机上集群的所有日志。但是，当我尝试从tarball安装flume时，我总是得到:错误:无法找到或加载主类org.apache.flume.node.Application，因此，请帮助我找到答案，或者在我的集群上安装flume

浏览 6提问于2014-06-04得票数 1

2回答

Apache flume* twitter代理，而不是流数据*

java、hadoop、twitter、cloudera、flume

apache-flume-1.4.0-bin.tar.下载的1.提取出来的。将所有内容复制到/usr/lib/flume/.在/usr/lib/ i中，将所有者更改为用于flume目录的用户。我将文件flume-env.sh复制为flume-env.sh.template，并将JAVA_HOME编辑到java path /usr/lib/jvm/java-7-oracle中。我从下载了fl

浏览 3提问于2014-05-03得票数 7

回答已采纳

3回答

如何停止systemd服务

linux、systemd、startupscript

我正在尝试为创建systemd服务文件，我已经创建了包含以下内容的/etc/systemd/system/flume-ng.serviceDescription=Apache Flume[Service]ExecStart=/usr/bin/nohup /u

浏览 6提问于2016-11-04得票数 13

回答已采纳

4回答

org.apache.flume.FlumeException:无法在flume推特分析中加载源类型

linux、hadoop、hive、flume、flume-twitter

我正在尝试使用Flume和Hive进行twitter分析。tar ball和flume源代码快照jar文件设置了类路径。export FLUME_HOME=/home/students/apache-flume-1.4.0-bin export PATH=$FLUME_HOME&#x

浏览 5提问于2015-06-24得票数 1

1回答

CDH5无法启动Flume代理

twitter、cloudera、flume

我使用以下命令：我得到的回应是：Flume 1.6.0-cdh5.9.0 编辑:当我运行sudo service flume-ng-agent stop命令时，它

浏览 0提问于2016-10-30得票数 0

1回答

Apache Flume* /var/log/flume-ng/flume.log (权限被拒绝)*

java、hadoop、flume、flume-ng

我正在尝试从/home/cloudera/Documents/ flume /读取一个日志文件，并使用apache将其写入hdfs。agent.sinks.snk.hdfs.writeFormat = Text agent.channels.ch.capacity = 100/usr/bin/flume-ngagent --conf Documents/

浏览 4提问于2014-06-12得票数 1

回答已采纳

2回答

检查Apache安装是否有效的最快方法是什么？

flume、flume-ng

我下载并提取了Apache Flume。我怎样才能检查它是否准备好运行？

浏览 3提问于2016-10-13得票数 2

回答已采纳

1回答

运行flume代理以获取Twitter数据

apache、hadoop、flume、flume-ng、flume-twitter

flume-ng agent -n TwitterAgent -f ./conf/flume.conf E:\apache-flume-1.7.0-bin\apache-flume-1.7.0-bin\bin>powershell.exe -NoProfile -InputFormatnone -ExecutionPolicy unrestricted -File E:\apache-flume-1.7.0-bin\apache-flume-

浏览 25提问于2019-03-19得票数 1

回答已采纳

3回答

在Linux中运行Flume失败

linux、flume

当我将flume安装到Linux.I中时，我在运行flume时收到了一些警告，我按照以下步骤安装了flume。>> sudo tar -xvf flume-ng-1.1.0-cdh4.0.1$1$.tar.gz >> export PATH=/home/hduser/downloads/flume-1.1.0>> $ bin/flume-ng agent -n a

浏览 0提问于2012-09-05得票数 1

1回答

你知道如何在windows上安装hadoop的水槽吗？

hadoop、flume、flume-ng、flume-twitter、bigdata

C:\hadoop2.5.2\apache-flume-1.6.0\bin>flume-ng agent -conf -f conf/flume-twitter.conf -Dflume.root.loggernone -ExecutionPolicy unrestricted -File C:\hadoop2.5.2\apache- flume-1.6.0\bin\flume-ng.ps1 agent --1.6.0\bin\flume</em

浏览 3提问于2016-01-28得票数 0

1回答

Cloudera CDH 5.3.0

cloudera、flume-ng

谁能告诉我cloudera在哪里保存flume代理文件？实际上，我想创建另一个flume代理，就像我想同时运行两个flume代理，但找不到方法。

浏览 4提问于2015-04-11得票数 1

3回答

Ubuntu上的Flume安装

hadoop、hdfs、flume

我想在ubuntu上安装Apache Flume 1.4.0来移动数据并将其存储到HDFS中，但我找不到正确安装flume的安装指南。我下载了二进制压缩包。有什么需要帮忙的吗？

浏览 4提问于2013-12-24得票数 1

2回答

Apache Flume在哪里记录其错误消息？

apache、flume

我刚接触Apache flume，我只是想知道Apacheflume在哪里记录它的错误消息和元数据信息。我在apche flume目录中搜索捕获的错误日志，但我没有看到任何名为log的floder。谁能帮我这个，如何在apache flume中配置日志。

浏览 2提问于2013-04-24得票数 1

回答已采纳

1回答

如何使用MVN为https://github.com/keedio/flume-ng-sql-source/创建jar

maven、flume

---[INFO] --- maven-resources-plugin:2.6:resources (default-resources) @ flume-ng-sql-source[INFO] skip non existing resourceDirectory /root/flume-ng-sql-source-master/src/main/resources [INFO][INFO] Compiling 6 source files to &#x

浏览 0提问于2015-10-13得票数 1

2回答

水槽中的自定义源

flume

我已经为flume创建了一个自定义源代码，并将jar文件复制到以下位置：也在/etc/flume-

浏览 5提问于2015-04-07得票数 1

2回答

使用flume从twitter检索数据并以JSON格式存储到hdfs

json、hadoop、twitter、hive、flume

我试图从推特检索数据使用flume和存储到hdfs的JSON FORMAT.And的数据是加载到HDFS.BUT，而不是JSON格式。因此，请帮助我将JSON格式的twitter数据加载到HADOOP HDFSbin/flume-ng agent --conf .TwitterAgent.channels = MemChannelTwitterAgent.sources.Twitter.type = org.apache.flume.so

浏览 0提问于2016-05-19得票数 2

1回答

如何修复错误处理元素水槽: CLASS_NOT_FOUND？

java、logging、configuration、log4j2、flume-ng

CLASS_NOT_FOUND<dependencies> <groupId>org.apache.flume</groupId> <version>1.5.0.1</version><ver

浏览 4提问于2014-09-17得票数 1

1回答

通过java程序运行进程

java、linux、process、system-calls

我尝试过以下几种方式 Runtime.getRuntime().exec("/usr/lib/flume-ng/bin/flume-ng agent -f /home/c4/FlumeException e){ }ProcessBuilder pb = new ProcessBuilder("/usr

浏览 1提问于2013-10-10得票数 0

1回答

使用Apache Flume配置log4j

apache、log4j、flume

我正在运行一个带有Netcat源、文件通道和mongodb接收器的flume代理，我想将log4j配置为使用服务器，因为flume是作为后台进程运行的。我的配置文件在/opt/ flume /conf/log4j.properties中，请让我知道log4j属性文件是否包含在flume start中，如果是这样，为什么不创建flume.log。下面是给出的配置flume</em

浏览 3提问于2014-02-06得票数 1

点击加载更多

flume ng抓取mysql

基础概念

相关优势

类型与应用场景

MySQL 抓取配置示例

可能遇到的问题及解决方法

参考链接

相关·内容

将系统服务日志重定向到文件

错误:无法找到或加载主类org.apache.flume.node.Application -在hadoop1.2.1版上安装flume

Apache flume* twitter代理，而不是流数据*

如何停止systemd服务

org.apache.flume.FlumeException:无法在flume推特分析中加载源类型

CDH5无法启动Flume代理

Apache Flume* /var/log/flume-ng/flume.log (权限被拒绝)*

检查Apache安装是否有效的最快方法是什么？

运行flume代理以获取Twitter数据

在Linux中运行Flume失败

你知道如何在windows上安装hadoop的水槽吗？

Cloudera CDH 5.3.0

Ubuntu上的Flume安装

Apache Flume在哪里记录其错误消息？

如何使用MVN为https://github.com/keedio/flume-ng-sql-source/创建jar

水槽中的自定义源

使用flume从twitter检索数据并以JSON格式存储到hdfs

如何修复错误处理元素水槽: CLASS_NOT_FOUND？

通过java程序运行进程

使用Apache Flume配置log4j

热门标签

活动推荐

运营活动

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐