开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

如何使用HTTP源设置Apache Flume并使用File_Roll接收器将数据保存在本地

Apache Flume是一个分布式、可靠且可扩展的日志收集和聚合系统。它可以用于将大量的数据从各种源（包括HTTP源）收集并传输到目标存储（如本地文件系统）中。

要使用HTTP源设置Apache Flume并使用File_Roll接收器将数据保存在本地，可以按照以下步骤进行操作：

安装和配置Apache Flume：首先，确保已经安装了Java和Apache Flume。然后，创建一个Flume配置文件，例如flume.conf，配置HTTP源和File_Roll接收器。在配置文件中，指定HTTP源的监听端口和URL路径，并将数据传输到File_Roll接收器。配置示例：

# flume.conf
agent.sources = http-source
agent.sources.http-source.type = org.apache.flume.source.http.HTTPSource
agent.sources.http-source.bind = 0.0.0.0
agent.sources.http-source.port = 8888
agent.sources.http-source.handler = org.apache.flume.source.http.JSONHandler

agent.sinks = file-sink
agent.sinks.file-sink.type = hdfs
agent.sinks.file-sink.hdfs.path = /path/to/save/data
agent.sinks.file-sink.hdfs.filePrefix = events-
agent.sinks.file-sink.hdfs.rollInterval = 3600
agent.sinks.file-sink.hdfs.rollSize = 0
agent.sinks.file-sink.hdfs.rollCount = 100

agent.channels = memory-channel
agent.channels.memory-channel.type = memory
agent.channels.memory-channel.capacity = 10000
agent.channels.memory-channel.transactionCapacity = 1000

agent.sources.http-source.channels = memory-channel
agent.sinks.file-sink.channel = memory-channel

启动Apache Flume代理：使用以下命令启动Apache Flume代理，并指定配置文件的路径：

$ bin/flume-ng agent --conf conf --conf-file /path/to/flume.conf --name agent -Dflume.root.logger=INFO,console

发送数据到HTTP源：使用HTTP POST请求将数据发送到配置的HTTP源。例如，使用curl命令发送数据：

$ curl -X POST -H "Content-Type: application/json" -d '{"message": "Hello, Flume!"}' http://localhost:8888

检查本地文件系统中的数据：Apache Flume将接收到的数据保存在指定的本地文件系统路径中。您可以检查该路径，确认数据是否已成功保存。

需要注意的是，以上步骤仅为使用HTTP源设置Apache Flume并使用File_Roll接收器将数据保存在本地的基本过程。根据实际需求，您可能需要进一步配置和调整Flume代理以满足特定的要求。

推荐的腾讯云相关产品：腾讯云日志服务（CLS）可以作为日志收集和聚合的解决方案，用于替代Apache Flume。您可以通过腾讯云日志服务将日志数据收集、存储和分析。详情请参考腾讯云日志服务产品介绍：腾讯云日志服务。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Flume：流式数据收集利器

在数据生命周期里的第一环就是数据收集。收集通常有两种办法，一种是周期性批处理拷贝，一种是流式收集。今天我们就说说流式收集利器Flume怎么使用。使用flume收集数据保存到多节点 by 尹会生 1 使用flume 收集数据到hdfs 由于工作的需要，领导要求收集公司所有在线服务器节点的文本数据，进行存储分析，从网上做了些比较，发现flume 是个简单实现，而且非常强大的工具，这里介绍给大家首先下载软件：http://flume.apache.org flume是著名的开源数据收集系统

06

2-网站日志分析案例-基于Flume采集WEB日志-windows版本

译文：Flume是一种分布式的、可靠的、可用的服务，用于高效地收集、聚合和移动大量的日志数据。它具有基于流数据流的简单而灵活的架构。它具有可调的可靠性机制和许多故障转移和恢复机制，具有健壮性和容错能力。它使用一个简单的可扩展数据模型，允许在线分析应用程序。

03

Flume——高可用的、高可靠的、分布式日志收集系统

图1 从这里可以看出需要我们安装 hdfs, hive, hbase的支持, 只要我们安装了 ,运行时就会自动读取这些应用

03

Flume(一)概述

。 Apache Flume 的使用不仅限于日志数据聚合。由于数据源是可定制的，因此 Flume 可用于传输大量事件数据，包括但不限于网络流量数据、社交媒体生成的数据、电子邮件消息以及几乎任何可能的数据源。

02

大数据技术之_19_Spark学习_04_Spark Streaming 应用解析 + Spark Streaming 概述、运行、解析 + DStream 的输入、转换、输出 + 优化

Spark Streaming 类似于 Apache Storm，用于流式数据的处理。根据其官方文档介绍，Spark Streaming 有高吞吐量和容错能力强等特点。Spark Streaming 支持的数据输入源很多，例如：Kafka、Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。数据输入后可以用 Spark 的高度抽象，如：map、reduce、join、window 等进行运算。而结果也能保存在很多地方，如 HDFS，数据库等。另外 Spark Streaming 也能和 MLlib（机器学习）以及 Graphx 完美融合。

01

Flume浅度学习指南

Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many failover and recovery mechanisms. It uses a simple extensible data model that allows for online analytic application.

03

认识Flume(一)

Apache Flume是一个分布式的、可靠的和可用的系统，用于有效地收集、聚合和将大量日志数据从许多不同的源移动到集中的数据存储。

02

大数据日志收集框架之Flume实战

flume官方文档：http://flume.apache.org/documentation.html

02

玩转Flume+Kafka原来也就那点事儿

好久没有写分享了，继前一个系列进行了Kafka源码分享之后，接下来进行Flume源码分析系列，望大家继续关注，今天先进行开篇文章Flume+kafka的环境配置与使用。

02

Spark Streaming 2.2.0 Input DStreams和Receivers

输入 DStreams 表示从 source 中获取输入数据流的 DStreams。在入门示例中，lines 表示输入DStream，它代表从netcat服务器获取的数据流。每一个输入DStream(除 file stream)都与一个 Receiver (接收器)相关联，接收器从 source 中获取数据，并将数据存入 Spark 内存中来进行处理。输入 DStreams 表示从数据源获取的原始数据流。Spark Streaming 提供了两类内置的流源（streaming sources）：

02

分布式日志收集框架Flume下载安装与使用

WebServer/ApplicationServer分散在各个机器上，然而我们依旧想在Hadoop平台上进行统计分析，如何将日志收集到Hadoop平台呢？

01

Flume（一）Flume原理解析

前言　　最近有一点浮躁，遇到了很多不该发生在我身上的事情。没有，忘掉这些。好好的学习，才是正道！一、Flume简介　　flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。　　但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.9.

05

分布式日志收集框架 Flume

WebServer/ApplicationServer分散在各个机器上，然而我们依旧想在Hadoop平台上进行统计分析，如何将日志收集到Hadoop平台呢？

07

Spark Streaming 容错的改进与零数据丢失

实时流处理系统必须可以7*24小时工作，因此它需要具备从各种系统故障中恢复过来的能力。最开始，Spark Streaming就支持从driver和worker故障中恢复。然而，从有些数据源导入数据时可能存在故障恢复以后丢失数据的情况。在Spark 1.2版本中，我们已经在Spark Streaming中对预写日志（也被称为journaling）作了初步支持，改进了恢复机制，使得更多数据源零数据丢失有了可靠的保证。本文将详细地描述这个特性的工作机制，以及开发者如何在Spark Streaming应用中使用这个机制。

02

Flume学习笔记

一、什么是Flume？ Apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。二、flume特性 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景三、flume组件解析对于每一个Agent来说,它就是一共独立的守护进程(JVM),它从客户端接收数据 1、Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成 2、每一个agent相当于一个数据(被封装成Event对象)传递员，内部有三个组件： a)Source：采集组件，用于跟数据源对接，以获取数据 b)Sink：下沉组件，用于往下一级agent传递数据或者往最终存储系统传递数据 c)Channel：传输通道组件，用于从source将数据传递到sink d)event(所传的消息就是event)一行文本内容会被反序列化成一个event(event的最大定义为2048字节，超过，则会切割，剩下的会被放到下一个event中，默认编码是UTF-8。四、flume安装 1)解压

03

Apache Spark 2.2.0 中文文档 - Spark Streaming 编程指南 | ApacheCN

09

Flume入门 | 基本概念及架构说明

今天，给大家分享一下Flume的基础知识。本篇文章主要是对Flume的基本概念及架构进行一些说明。

04

Spark Streaming容错的改进和零数据丢失

本文来自Spark Streaming项目带头人Tathagata Das的博客文章，他现在就职于Databricks公司。过去曾在UC Berkeley的AMPLab实验室进行大数据和Spark Streaming的研究工作。本文主要谈及了Spark Streaming容错的改进和零数据丢失的实现。以下为原文：实时流处理系统必须可以7*24小时工作，因此它需要具备从各种系统故障中恢复过来的能力。最开始，Spark Streaming就支持从driver和worker故障中恢复。然而，从有些数据源导入

09

Spark Streaming连接Flume的两种方式

Spark提供了两种不同的接收器来接受Flume端发送的数据。推式接收器该接收器以 Avro 数据池的方式工作，由 Flume 向其中推数据。设置起来非常简单，我们只需要将Fluem简单配置下，将数据发送到Avro数据池中，然后scala提供的FlumeUtils代理对象会把接收器配置在一个特定的工作节点的主机名和端口上。当然，这些配置需要和Flume保持一致。虽然这种方式很简洁，但缺点是没有事务支持。这会增加运行接收器的工作节点发生错误时丢失少量数据的几率。不仅如此，如果运行接收器的工作节点发生故障，系统会尝试从另一个位置启动接收器，这时需要重新配置 Flume 才能将数据发给新的工作节点。这样配置会比较麻烦。拉式接收器该接收器设置了一个专门的Flume数据池供Spark Streaming拉取数据，并让接收器主动从数据池中拉取数据。这种方式的优点在于弹性较好，Spark Streaming通过事务从数据池中读取并复制数据。在收到事务完成的通知前，这些数据还保留在数据池中。当你把自定义 Flume 数据池添加到一个节点上之后，就需要配置 Flume 来把数据推送到这个数据池中，

02

详细图解日志收集系统Flume介绍以及安装配置

摘要总结：本文详细图解了如何使用Flume进行日志收集，并介绍了如何配置Flume以及部署多台服务器上的Flume。Flume是一种分布式、可靠的、高可用的日志收集系统，支持多种数据源，如文件、数据库、消息队列等。通过使用Flume，可以方便地将各个服务器中的数据收集汇总到指定的地方进行分析和处理。

00

Flume快速入门系列(4) | 多路复用

使用Flume-1监控文件变动，Flume-1将变动内容传递给Flume-2，Flume-2负责存储到HDFS。同时Flume-1将变动内容传递给Flume-3，Flume-3负责输出到Local FileSystem。

02

SparkStreaming学习笔记

（*）Spark Streaming是核心Spark API的扩展，可实现可扩展、高吞吐量、可容错的实时数据流处理。数据可以从诸如Kafka，Flume，Kinesis或TCP套接字等众多来源获取，并且可以使用由高级函数（如map，reduce，join和window）开发的复杂算法进行流数据处理。最后，处理后的数据可以被推送到文件系统，数据库和实时仪表板。而且，您还可以在数据流上应用Spark提供的机器学习和图处理算法。

02

Flume篇---Flume安装配置与相关使用

Copy过来一段介绍Apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。官网：http://flume.apache.org/FlumeUserGuide.html

03

flume 1.8.0 开发基础

Apache Flume是一个用于高效地从大量异构数据源收集、聚合、传输到一个集中式数据存储的分布式、高可靠、高可用的系统。

06

Spark Streaming 整合 Flume

Apache Flume 是一个分布式，高可用的数据收集系统，可以从不同的数据源收集数据，经过聚合后发送到分布式计算框架或者存储系统中。Spark Straming 提供了以下两种方式用于 Flume 的整合。

02

Flume笔记

链接：https://pan.baidu.com/s/1TdHMihOPb0hHt6L5OmyTnA 提取码：o5h2 复制这段内容后打开百度网盘手机App，操作更方便哦

01

腾讯云大数据产品研发实战（由IT大咖说整理）

一、TDF（数据工坊）简介 TDF简介源于腾讯云数智大数据套件的轻量云上大数据产品，提供基于SQL的大数据计算框架。适用于需要动态灵活获取大数据计算能力进行批量计算、日志处理或数据仓库

08

Spark Streaming——Spark第一代实时计算引擎

虽然SparkStreaming已经停止更新，Spark的重点也放到了 Structured Streaming ，但由于Spark版本过低或者其他技术选型问题，可能还是会选择SparkStreaming。SparkStreaming对于时间窗口，事件时间虽然支撑较少，但还是可以满足部分的实时计算场景的，SparkStreaming资料较多，这里也做一个简单介绍。

01

1.Flume 简介及基本使用

Apache Flume 是一个分布式，高可用的数据收集系统。它可以从不同的数据源收集数据，经过聚合后发送到存储系统中，通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本，NG 在 OG 的基础上进行了完全的重构，是目前使用最为广泛的版本。下面的介绍均以 NG 为基础。

03

Flume环境部署和配置详解及案例大全

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。

02

Flume最简单使用

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。

03

flume整合kafka

Flume 发送数据到 Kafka 上主要是通过 KafkaSink 来实现的，主要步骤如下：

03

flume安装及配置介绍(二)

注：　环境：　skylin-linux Flume的下载方式：　　 wget http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-bin.tar. 下载完成之后，使用tar进行解压 tar -zvxf apache-flume-1.6..0-bin.tar. 进入flume的conf配置包中，使用命令touch flume.conf，然后cp flume-conf.properties.template flume.co

Spark Streaming——Spark第一代实时计算引擎

虽然SparkStreaming已经停止更新，Spark的重点也放到了 Structured Streaming ，但由于Spark版本过低或者其他技术选型问题，可能还是会选择SparkStreaming。 SparkStreaming对于时间窗口，事件时间虽然支撑较少，但还是可以满足部分的实时计算场景的，SparkStreaming资料较多，这里也做一个简单介绍。

01

Flink实战(八) - Streaming Connectors 编程

Flink内置了一些基本数据源和接收器，并且始终可用。该预定义的数据源包括文件，目录和插socket，并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。

02

Spark Streaming官方编程指南

Spark Streaming（下称streaming）是Spark core的拓展，一个易扩展、高吞吐、高容错的流式数据处理系统。

02

Flume 1.8 集成 ES6 与 Granfa 的容器化实践

Flume 是 Apache Software Foundation 的顶级项目，是一个分布式，可靠且可用的系统，是对大数据量的日志进行高效收集、聚集、移动的服务，Flume 只能在 Unix 环境下运行。它具有基于流数据的简单灵活的架构，具有可靠的可靠性机制和许多故障转移和恢复机制，具有强大的容错性。它使用简单的可扩展数据模型，允许在线分析应用程序。可以有效地从许多不同的 Source 收集数据，便于聚合和移动大量日志数据到集中式数据存储。

04

Flume 日志收集系统 Spooldir-Source HDFS-sink

消息 Record，Source封装Event(事件)成为Record对象，并保存到Channel中，Sink拉取Record并保存到目标系统中。

04

Kafka生态

Confluent提供了业界唯一的企业级事件流平台，Confluent Platform通过将来自多个源和位置的数据集成到公司的单个中央事件流平台中，可以轻松构建实时数据管道和流应用程序。Confluent平台使您可以专注于如何从数据中获取业务价值，而不必担心诸如在各种系统之间传输或处理数据的基本机制。具体来说，Confluent平台简化了将数据源连接到Kafka，使用Kafka构建应用程序以及保护，监视和管理Kafka基础架构的过程。

01

EMR(弹性MapReduce)入门之组件Flume和Sqoop（十四）

连接传统关系型数据库和Hadoop的桥梁把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中；把数据从 Hadoop 系统里抽取并导出到关系型数据库里

04

让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2

问题导读： 1.什么是flume？ 2.如何安装flume？ 3.flume的配置文件与其它软件有什么不同？一、认识flume 1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品 2.flume是干什么的？收集日志的 3.flume如何搜集日志？我们把flume比作情报人员（1）搜集信息（2）获取记忆信息（3）传递报告间谍信息 flume是怎么完成上面三件事情的，三个组件： source：搜集信息 channel：传递信息 sink：存储信息上面有点简练，详细可以

快速学习-Flume企业开发案例

在job文件夹下创建Flume Agent配置文件flume-telnet-logger.conf。 [atguigu@hadoop102 job]$ touch flume-telnet-logger.conf

01

大数据小白必知必会的Flume基础，建议收藏!

在一个完整的离线大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示：

02

开源日志系统比较：scribe、chukwa、kafka、flume

1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1）构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2）支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（3）具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。本文从设计架构，负载均衡，可扩展性和容错性等方面对比了当今开源的日志系统，包括facebook的scribe，apache的ch

Flume简介及配置实战 Nginx日志发往Kafka

Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输不稳定的现象尤为严重，为了解决这些问题，2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为 Flume NG（next generation）；改动的另一原因是将 Flume 纳入 apache 旗下，cloudera Flume 改名为 Apache Flume。IBM 的这篇文章：《Flume NG：Flume 发展史上的第一次革命》，从基本组件以及用户体验的角度阐述 Flume OG 到 Flume NG 发生的革命性变化。本文就不再赘述各种细枝末节了，不过这里还是简要提下 Flume NG （1.x.x）的主要变化:

03

Flink实战(八) - Streaming Connectors 编程

Flink内置了一些基本数据源和接收器，并且始终可用。该预定义的数据源包括文件，目录和插socket，并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。

02

Flume NG 简介及配置实战

Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输不稳定的现象尤为严重，为了解决这些问题，2011 年 10 月 22 号，cloudera 完成了 Flume

09

Java程序员，你一定需要了解的六款大数据采集平台

随着大数据越来越被重视，数据采集的挑战变的尤为突出。今天为大家介绍几款数据采集平台：

01

Flume 在有赞大数据的实践

Flume 在有赞的大数据业务中一直扮演着一个稳定可靠的日志数据“搬运工”的角色。本文主要讲一下有赞大数据部门在 Flume 的应用实践，同时也穿插着我们对 Flume 的一些理解。

02

大数据技术之_09_Flume学习_Flume概述+Flume快速入门+Flume企业开发案例+Flume监控之Ganglia+Flume高级之自定义MySQLSource+Flume企业真实面试题（

Flume(水槽) 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。在2009年Flume被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;，同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一。

04

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭