腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(4134)
视频
沙龙
4
回答
Flume
和
Sqoop
有什么不同?
、
、
Flume
和
Sqoop
都是用于数据移动的,那么它们之间的区别是什么呢?在什么情况下应该使用
Flume
或
Sqoop
?
浏览 133
提问于2013-10-22
得票数 22
回答已采纳
2
回答
Sqoop
和水槽的澄清
、
、
、
我对大数据非常陌生,我对
Sqoop
和
Flume
几乎没有什么混淆。 我的困惑是因为我所看到的大数据体系结构(我没有虚拟副本),分组结构化数据,它由
Sqoop
传输,非结构化流由
Flume
传输。
Flume
是否支持非结构化数据的传输,这些数据是非日志文件(即音频、视频),还是
Sqoop
能够处理
浏览 4
提问于2016-05-31
得票数 0
回答已采纳
1
回答
SQOOP
服务器已启动,但未找到获取错误的命令
、
、
server和
sqoop
shell,但在终端中,当我输入
sqoop
help或
sqoop
import时,它会显示没有找到命令。
sqoop
2-tool upgrade
sqoop
2-server start
sqoop
2-shell 这是echo $PATH/bin:/usr/games:/usr/local/gam
浏览 16
提问于2018-02-23
得票数 1
3
回答
使用
SQOOP
和
FLUME
将数据从RDBMS移动到Hadoop
、
、
我已经使用
SQOOP
import查询将文件从MySQL传输到HDFS。我传输的文件是结构化数据集,而不是任何服务器日志数据。我最近读到我们通常使用
flume
将日志文件移动到Hadoop中,我的问题是: 1.我们是否也可以使用
SQOOP
来移动日志文件? 2.如果可以,对于日志文件,
SQOOP
和
FLUME
中的哪一个更可取?
浏览 1
提问于2014-03-18
得票数 2
2
回答
使用
flume
将Oracle 11g数据加载到HDFS
、
是否可以使用
flume
将Oracle 11g数据库数据传输到HDFS?我知道
flume
是为日志而做的,
Sqoop
应该用来从数据库传输数据。但是有没有办法用
flume
代替
Sqoop
呢?
浏览 1
提问于2016-04-25
得票数 2
1
回答
如何将镜像导入HDFS?我使用的是CDH 5.11版本
、
我已经在我的系统上安装了
sqoop
,
flume
和spark,但我不确定如何导入图像文件。 我能够成功地使用
sqoop
从RDBMS导入数据,并且能够使用
flume
导入文本文件。
浏览 0
提问于2017-06-29
得票数 0
1
回答
水槽和
sqoop
限制
、
、
RDBMS中有同样数量的数据,我想把它放在hdfs中,是否应该使用
sqoop
来处理更多的数据呢?如果不是的话,还有什么可替代的
浏览 1
提问于2014-12-05
得票数 1
回答已采纳
5
回答
将数据从MySQL迁移到Hadoop的
Flume
、
、
flume
可以支持这一点。 还有什么是更好的方法。
浏览 2
提问于2012-05-11
得票数 2
回答已采纳
2
回答
Hadoop数据摄取
、
、
、
是Kafka,
Sqoop
,Spark-SQL等吗?请帮帮忙。 此外,我们还需要摄取csv文件。只有当一个文件完全写入后,我们才需要开始摄取它。请让我知道如何执行这一点。
浏览 0
提问于2016-11-17
得票数 2
1
回答
Apache和
Flume
可以互换使用吗?
、
、
、
从的一些答案中,
Flume
和
Sqoop
都可以从源中提取数据并推送到Hadoop。有谁能说明一下在哪里使用水槽和
sqoop
在哪里?两者都可以用于相同的任务吗?
浏览 6
提问于2014-11-27
得票数 3
回答已采纳
3
回答
Sqoop
-是否可以在HDFS中导入平面文件
、
、
、
谢谢你的帮助。
浏览 0
提问于2014-04-28
得票数 2
1
回答
在数据科学家衰老和死亡之前,真正的大数据是如何导入HDFS的?
、
、
、
我是Hadoop的新手,我相信我开始发现数据分析(“离线”)与网络应用的超低延迟世界有多大不同。我仍然很难理解的一件主要事情是,真正的“大数据”最初是如何进入HDFS的。但是,即使我在每个不同的系统和我的Hadoop集群之间有一个1 1Gbps的网络连接,这是500 to =500*1000 GB =500 000 GB的数据,在1 1Gbps时是500,000秒,或者是~138小时来将所有数据移植到我的HDF
浏览 0
提问于2015-06-26
得票数 0
回答已采纳
1
回答
如何在HDFS中存储Tweets?
、
、
、
、
水槽和
sqoop
也有助于存储数据。 所以,请给我建议一下,在HDFS中存储tweet时,水槽和
sqoop
是如何工作的?
浏览 4
提问于2013-09-19
得票数 1
3
回答
Ubuntu上安装大数据模块的顺序
、
在Ubuntu上安装Hadoop、
Sqoop
、、Spark、Java、Apache、Pig、Hive、
Flume
、Kafka、Mysql和其他软件包的顺序是什么?
浏览 6
提问于2022-06-11
得票数 -1
1
回答
flume
支持的文件格式
、
我正在使用
flume
来收集日志。除了日志之外,
flume
还支持哪些其他格式,如excel、CSV和word doc等,或者仅限于日志?
flume
可以连接到关系数据库吗? 关于Chhaya
浏览 2
提问于2014-02-14
得票数 0
1
回答
通过cloudera管理器为多个群集配置跨服务
、
我们的目标是在Central集群中分离HDFS、Hive、Spark、Hue等服务,在摄取集群中分离
Flume
、
Sqoop
、Kafka等服务。当我们尝试将一个集群与另一个集群连接时,问题就来了,我们希望能够配置
Sqoop
2-2或
Flume
-2服务(摄取集群)来直接与HDFS服务(位于中央集群)对话。例如,如果我们尝试使用
Sqoop
2-2服务(摄取)配置Hue服务(中央群集),则不能在Hue service Configuration中选择
Sqoop
2-2服务: 我们想把这几个联系起来:
浏览 0
提问于2016-04-24
得票数 0
1
回答
将蜂窝数据从一个Hadoop集群移动到另一个Hadoop集群,而不使用distcp命令?
我们还有其他选择像
Sqoop
或
Flume
吗?
浏览 2
提问于2015-10-13
得票数 0
1
回答
如何使用
flume
将数据从大型机文件拉入hadoop HDFS
、
、
、
、
我使用的是cloudera,需要使用CDH5将数据从大型机文件拉到hadoop hdfs。谁能告诉我需要注意的步骤是什么?
浏览 2
提问于2014-10-29
得票数 1
1
回答
如何使用python中的lambdas从不同的字符串中提取所需的字符串列表
、
、
S = [u'BIGSQL_WORKER', u'DATANODE', u'
FLUME
_HANDLER', u'HBASE_CLIENT', u'HBASE_REGIONSERVER', u'HCAT'u'MAPREDUCE2_CLIENT', u'NODEMANAGER', u'OOZIE_CLIENT', u'PIG', u'SLIDER', u'
浏览 1
提问于2015-05-20
得票数 0
1
回答
自定义水槽
、
、
我希望能够使用
Sqoop
将数据导入自定义Hadoop数据存储区。这相当于从任意结构化DB (MySql、Netezza等)导入到我自己的自定义数据存储区(在本例中,相当于Hive)。
浏览 5
提问于2016-03-01
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Sqoop是什么,与Flume有何不同?
Sqoop使用流程
Sqoop使用实例讲解
详解大数据采集引擎之Sqoop&采集oracle数据库中的数据
带你看懂大数据采集引擎之Flume&采集目录中的日志
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券