腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
如何使用Apache
FLUME
将
数据
写入
HA Hadoop QJM?
、
、
、
flume
将如何识别活动namenode,以便将
数据
写入
HDFS?如果没有High Availability Hadoop,我们将在
flume
.conf中配置namenode,这样
数据
就可以轻松地定向
到
HDFS。而在我们的例子中,
Flume
应该识别活动和备用名称节点,因此
数据
应该被定向
到
活动名称节点。
浏览 2
提问于2015-05-12
得票数 2
5
回答
将
数据
从
MySQL
迁移到Hadoop的
Flume
、
、
要求是将Hadoop中的
数据
迁移到
MySQL
/HBase进行分析。还有什么是更好的方法。
浏览 2
提问于2012-05-11
得票数 2
回答已采纳
1
回答
向Kafka推送PubMed
数据
、
、
、
、
在PubMed
数据
源中,我需要将输出推送到可以被视为卡夫卡主题的Kafka queue..Each源中。(我知道Kafka中的概念,并使用Python探索了Kafka )有没有人能帮助我们继续前进?
浏览 0
提问于2015-10-07
得票数 0
1
回答
Apache和
Flume
可以互换使用吗?
、
、
、
我对大
数据
很陌生。从的一些答案中,
Flume
和Sqoop都可以从源中提取
数据
并推送到Hadoop。有谁能说明一下在哪里使用水槽和sqoop在哪里?两者都可以用于相同的任务吗?
浏览 6
提问于2014-11-27
得票数 3
回答已采纳
1
回答
以编程方式将文件
写入
HDFS
、
我正在寻找Java程序中的选项,这些选项可以将文件
写入
HDFS,并满足以下要求。我知道如何通过打开显示为的FSDataOutputStream将
数据
写入
到
HDFS上的文件中。我偶然发现了
Flume
,它提供了HDFS接收器,可以支持事务、压缩、文件轮换等。但它似乎没有提供一个
浏览 1
提问于2013-04-30
得票数 1
1
回答
Flume
代理:
flume
代理如何从位于不同物理服务器的gets服务器获取
数据
、
我正在尝试理解
Flume
,并参考
flume
在
flume
.apache.org的官方页面有人能帮助理解这一点吗?
浏览 1
提问于2018-04-09
得票数 0
1
回答
对Apache
Flume
HDFS接收器文件
写入
有什么保证?
、
、
、
有人能解释一下如果
Flume
代理在HDFS文件
写入
(比如使用Avro格式)过程中被终止会发生什么吗?文件是否会损坏,其中的所有事件是否都会丢失?我知道
Flume
数据
链的不同元素之间存在事务(源->通道->宿)。但我相信,HDFS文件可能会在连续的通道->接收器事务之间保持打开(作为.tmp)。因此,如果100个事件中的一个事务成功(并且事件存储在文件中,事务已提交),而下一个事务在HDFS
写入
过程中失败,那么可能是来自第一个事务的原始100个事件不可读(例如,因为文件损坏?)。为什么<e
浏览 0
提问于2017-03-30
得票数 0
1
回答
如何确定水槽拓扑方法?
、
、
目前,我们已经使用了rsyslog(
写入
tcp端口),php脚本将这些日志
写入
到
rsyslog。我们在每个we服务器上运行一个本地代理,这些本地代理监听tcp端口,并将
数据
直接放入hdfs中。对于上述方法,我不太清楚,我混淆了三种方法: 方法1:每台机器上的Web、RSyslog &
Flume
代理和在hadoop集群中的Namenode上运行的
Flume
收集器,收集
数据
并转储
到
hdfs中。方法2: Web、同一台机器上的RSyslog和一个<
浏览 2
提问于2014-04-03
得票数 3
回答已采纳
2
回答
Flume
java.lang.IllegalStateException:文件在读取后大小已更改
、
、
我有一个java应用程序,它从不同的来源收集
数据
,并将输出
写入
特定目录下的文件中。我有一个
flume
代理,配置为使用spooldir源从该目录读取
数据
,并使用MorphlineSolrSink将输出
写入
Solr。sinks.solrSink.morphlineFile = morphlines.conf 我从这个异常中了解
到
的是,
flume
代理开始处理一个文件,而java应用
浏览 2
提问于2015-04-27
得票数 1
1
回答
当客户端关闭连接时,Hadoop如何处理未复制的
数据
?
、
、
Flume
正在别处运行,正在将
数据
写入
此群集。当群集负载过重时,
flume
-agent将完成
写入
,并尝试在HDFS完成
数据
复制之前关闭文件。关闭失败并重试,但
flume
-agent配置了超时,并且当关闭不能及时完成时,
flume
-agent断开连接。 HDFS如何处理尚未完成复制的文件?我的印象是后台线程可以完成复制,但我在集群中只看到部分
写入
的块。该
数据
块只有一个良好的拷贝,并且仅
写入
了部分副本,
浏览 0
提问于2015-04-30
得票数 1
1
回答
您是否应该为重命名
flume
中的假脱机目录源中的文件提供写权限
、
我有一个
flume
代理,它从假脱机目录源读取
数据
,并在经过一些转换后
写入
hdfs。由于
flume
尝试将已处理的文件重命名为“.COMPLETED”,因此我在spool目录中
写入
时收到权限被拒绝的异常。 我想知道给敏感
数据
写权限会有多安全。
flume
是否有一个解决方案来识别spool目录中已处理的文件
浏览 12
提问于2016-09-06
得票数 0
1
回答
可以单独使用
Flume
Kafka Source吗?
、
、
假设有一群生产者将avro记录(具有相同的模式)
写入
到
Kafak主题中。 我可以使用
Flume
Kafka Source读取这些记录并将它们
写入
HDFS吗?即使记录不是使用
Flume
Sink发布的?
浏览 21
提问于2019-09-13
得票数 1
回答已采纳
1
回答
边缘水槽还是工作节点?
、
对于
数据
摄取,我想使用
flume
,或者将它放在边缘节点上(在集群之外的安全DMZ中),或者放在工作节点上。 每种方法的优点/缺点是什么?
浏览 3
提问于2016-09-20
得票数 0
回答已采纳
2
回答
使用
flume
将
数据
存储在linux本地目录中
、
、
是否可以使用
flume
从oracle获取
数据
,并将其存储在Linux本地文件夹中,而不是hdfs中?
浏览 0
提问于2013-07-18
得票数 0
回答已采纳
1
回答
Apache
Flume
无法将文件从源复制
到
目标
、
、
、
、
我以根用户身份执行
Flume
agent,希望将保存在位置/root/data-pipeline/input的XML文件复制
到
hdfs中hdfs:///user/root/data_pipeline_demo当我以
flume
-ng agent -c /etc/
flume
/conf -f /etc/
flume
/conf/
flume
.conf
浏览 0
提问于2016-02-15
得票数 0
2
回答
如何将命名管道尾
到
Flume
Windows节点(
Flume
node Service)
、
、
、
、
说我们可以将命名的管道跟踪
到
Flume
,但是这似乎需要cygwin,而且我们不太可能在所有的
Flume
节点上安装cygwin。下面是食谱上的说明: 控制台源非常有用,因为我们可以直接将
数据
输送到水槽中。下一个示例将
数据
从一个程序导入
到
Flume
中,然后由
Flume
来传递
数据
。,您可以将
数据
写入
命名管道,并让
Flume
使用文本或尾从命名管道读取
数据
。但是,您可以将
浏览 4
提问于2011-07-19
得票数 1
回答已采纳
1
回答
Flume
:持久化Source & Sink连接的可能性
、
虽然这违反了
Flume
的基本设计原则,但我有一个问题。这有可能保持源和宿之间的连接并重用吗?
浏览 1
提问于2015-11-18
得票数 2
1
回答
从Mesos集群收集日志
、
、
、
我找到了,它也是一个日志
数据
收集器,但我不明白如何将它集成
到
Mesos集群中来收集日志(以及Spark)。 我发现“类似”的问题,但解决方案不是开源的或不再支持。
浏览 0
提问于2015-06-26
得票数 1
1
回答
当事件数等于或超过batchSize时,为什么
Flume
-NG HDFS接收器不
写入
文件?
、
、
、
我正在尝试配置
Flume
,使日志每小时滚动一次,或者在日志达到HDFS的默认块大小(64MB)时滚动。imp-agent.sinks.hdfs-imp-sink1.type = hdfsimp-agent.sources = avro-imp-source1我看到
浏览 0
提问于2013-05-15
得票数 4
回答已采纳
4
回答
Flume
和Sqoop有什么不同?
、
、
Flume
和Sqoop都是用于
数据
移动的,那么它们之间的区别是什么呢?在什么情况下应该使用
Flume
或Sqoop?
浏览 133
提问于2013-10-22
得票数 22
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python写入数据到MySQL
解决写入中文数据到 MySql 时变成?
Python爬虫数据写入mySQL案例
如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS
《从0到1学习Flink》——Flink 写入数据到 Kafka
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券