腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Hadoop
到底是干什么用的,主要的应用场景和应用领域是什么?
Hadoop
到底是干什么用的,主要的应用场景和应用领域是什么,主要解决的核心问题又是什么,我们个人可以用它来干什么 产生价值呢?
浏览 890
提问于2020-09-24
1
回答
Apache Spark与MapReduce
、
、
我还读到,MapReduce对于非常庞大的
数据
集更好,这仅仅是因为你可以将更多的
数据
加载到磁盘上而不是内存中?但想必,使用Spark,您无论如何都会在内存和磁盘之间移动
数据
,因此如果内存空间不足,您可以将一些
数据
移回磁盘,然后引入新
数据
进行处理。 基本上,还有没有真正的理由继续使用MapReduce?
浏览 0
提问于2018-05-02
得票数 0
1
回答
我的MongoDB需要
Hadoop
吗?
、
、
我听说
Hadoop
是一个很棒的
数据
处理工具,一旦MongoDB连接到,它就可以提高性能。它能很好地处理Map Reduce,但它对我这个不包含任何Map Reduce函数的例子有用吗?此外,如果我在MongoDB中使用Map Reduce并连接
Hadoop
,性能将如何提高?
浏览 0
提问于2014-04-25
得票数 0
1
回答
是否有一个可以推送大量
数据
的框架?
我们的MySQL和
Hadoop
平台部署在不同的网络中,
Hadoop
不能访问MySQL,但是MySQL可以连接到
Hadoop
。那么,是否有一个工具可以像Sqoop获取
数据
那样将大量
数据
从RDS推送到HDFS?或者有没有其他方法可以解决这个问题? 任何帮助都是非常感谢的。顺便说一句,
Hadoop
集群在我们的网络中使用了一个Kafka主题,通过在两边部署水槽并连接在一起。但是对于
海量
的RDS
数据
,如何实现这一点呢?
浏览 1
提问于2019-02-20
得票数 0
3
回答
Hadoop
是什么?怎么使用呢?
、
听说
Hadoop
是做大
数据
并行计算的框架,这种跟“云计算“有什么区别?
浏览 712
提问于2017-09-28
1
回答
类似于SQL表的循环调度,用于跟踪最近的活动
每晚cronjob汇总每个用户的统计
数据
听起来并不合理。我知道过去我曾用RRD表这样跟踪网络使用情况,但这些只是BerkeleyDB的,而且每个统计
数据
必须有一个文件,这是行不通的,但这个想法似乎是我想要的。有没有我忽略的模式/最佳实践?
浏览 1
提问于2011-12-31
得票数 2
回答已采纳
2
回答
用
Hadoop
/ HDInsight替换SAN?
、
Hadoop
更常用于从我从internet.But找到的
海量
数据
中查询特定信息。我想探索HDFS,以便能够取代昂贵的SAN。你能提供一些关于这方面的信息,或者是关于这方面的好文章吗?
浏览 1
提问于2013-06-27
得票数 0
2
回答
如何排序和删除重复的URL(文件包含大约100亿个URL)!
、
、
、
正如标题所说,如何对文件进行排序?如果你的PC内存只有2 2GB,但是有100亿个URL (假设最长的URL是256个字符)。
浏览 1
提问于2014-07-18
得票数 0
1
回答
基于索引google
数据
的Mapreduce
、
、
MapReduce是谷歌产生即时搜索结果的原因,还是只是用来索引
海量
的网页
数据
?我的意思是,我输入的每个搜索查询背后都有MApreduce在工作吗?我很困惑,因为据我所知,运行
Hadoop
会有延迟,所以它不可能是用于搜索查询的索引
数据
的工具。
浏览 0
提问于2016-01-19
得票数 1
1
回答
HDFS
数据
块与HDD存储
数据
块
、
、
、
、
我使用
Hadoop
HDFS已经有相当一段时间了,我知道HDFS块(64Mb,128Mb)的工作原理,我仍然不清楚其他文件系统中的块,例如硬盘驱动器有4kb的存储块容量。所以我的理解是,所有的存储系统都使用块来存储
数据
,即使我们的移动SD卡也是如此,但是
Hadoop
为了处理
海量
数据
有更大的块大小,对吗? 如果有比较不同
数据
块存储系统的文档,请告诉我。
浏览 16
提问于2018-07-19
得票数 0
回答已采纳
1
回答
Apache
Hadoop
与Google Bigdata
、
、
、
、
哪个更好(
hadoop
还是google大
数据
)。
浏览 1
提问于2015-05-16
得票数 9
回答已采纳
1
回答
AWS Elastic MapReduce和AWS Kinesis Data Analytics有何区别?
、
、
、
Amazon Kinesis Data Analytics是分析流
数据
、获得可操作的洞察并实时响应业务和客户需求的最简单方法。Amazon Elastic Map Reduce提供了一个托管的
Hadoop
框架,使其能够轻松、快速且经济高效地跨动态可扩展的亚马逊
Hadoop
实例处理
海量
数据
。
浏览 29
提问于2019-05-17
得票数 7
3
回答
国内
Hadoop
大
数据
解决方案与传统的有何优势?
、
、
浏览 566
提问于2019-03-27
2
回答
Hadoop
对
海量
数据
进行排序
当客户端进行搜索时,我使用
hadoop
遍历这些服务器并选择结果。结果必须排序。谢谢
浏览 0
提问于2013-06-14
得票数 0
3
回答
为什么关系
数据
库不能满足大
数据
的规模?
经常重复的是,大
数据
问题是关系
数据
库无法扩展到处理正在创建的
海量
数据
。 但是,像
Hadoop
这样的大
数据
解决方案所不具备的可伸缩性限制是什么呢?
浏览 0
提问于2012-02-26
得票数 17
回答已采纳
3
回答
实施大规模日志文件分析
、
、
、
特别关注web分析,我对两个密切相关的方面感兴趣:查询性能和
数据
存储。 我知道一般的方法是使用map reduce将每个查询分布在一个集群上(例如使用
Hadoop
)。但是,最有效的存储格式是什么?这是日志
数据
,因此我们可以假设每个事件都有一个时间戳,并且通常
数据
是结构化的,而不是稀疏的。大多数web分析查询涉及分析两个任意时间戳之间的
数据
切片,并检索该
数据
中的聚合统计
数据
或异常。像Big Table (或HBase)这样的面向列的
数据
库是否可以有效地存
浏览 3
提问于2009-04-27
得票数 4
回答已采纳
4
回答
Hadoop
与RDBMS的比较
、
、
我真的不明白
hadoop
扩展背后的实际原因比RDBMS更好。有人能解释一下颗粒水平吗?这与底层
数据
结构和算法有关吗?
浏览 0
提问于2015-09-12
得票数 3
回答已采纳
2
回答
向
hadoop
还是非
hadoop
、
、
我们有
数据
(在这一点上没有分配),我们希望将/聚合/支点转换到wazoo。我看了一下www,所有的答案都指向
hadoop
:可伸缩的、廉价的运行(没有SQL服务器机器和许可证)、快速(如果你有很多
数据
)、可编程的(不是你拖动的小盒子)。我一直遇到一个问题,那就是:“如果您有超过10 if的
数据
,就使用
hadoop
”。我的另一个选择是SSIS。
浏览 2
提问于2016-05-31
得票数 1
回答已采纳
2
回答
无法进入内存的
数据
分析
、
、
我有一个
数据
库,其中有需要分析的原始文本。例如,我收集了数亿个网页的标题标签,并根据主题对它们进行了聚类。我现在有兴趣对每个主题集群的子集执行一些额外的测试。问题是两方面的。我一直在使用生成器,但通常有必要了解已经加载和评估的
数据
行的信息。我正在构建用Python处理
数据
的软件。想法1:标记单词和n克并保存到文件中.对于从
数据</em
浏览 3
提问于2012-07-17
得票数 4
回答已采纳
1
回答
利用MapReduce寻找非对称对
、
、
我试图分析包含follower和followee对的社交网络
数据
。有人能向我解释如何使用MapReduce来从
海量
数据
中找到不对称对吗? 非常感谢。
浏览 2
提问于2018-03-21
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
海量数据接入
大数据之Hadoop
大数据框架Hadoop科普
大数据专业之玩转Hadoop
大数据架构hadoop初体验
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券