腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
7
回答
Hadoop
Vs数据湖
、
、
我在谷歌上查到了 术语数据湖通常
与
面向
Hadoop
的对象
存储
相关联。在这种情况下,组织的数据首先加载到
Hadoop
平台,然后将业务分析和数据挖掘工具应用于其驻留在
Hadoop
的商品
计算
机集群节点上的数据。
Hadoop
也做了同样的事情。我们有
存储
的HDFS和用于
计算</em
浏览 8
提问于2016-03-14
得票数 16
1
回答
在另一个框架上执行Pig
、
从这个意义上说,理论上应该可以在任何框架中执行Pig拉丁语,尽管目前,它意味着在
Hadoop
环境中执行。将Pig拉丁语切换到运行在不同的框架上会有多难?如果有的话,有没有任何扩展点,或者Pig拉丁语
与
Hadoop
紧密耦合?
浏览 3
提问于2011-10-13
得票数 1
回答已采纳
3
回答
Hadoop
是什么?怎么使用呢?
、
听说
Hadoop
是做大数据并行
计算
的框架,这种跟“云
计算
“有什么区别?
浏览 724
提问于2017-09-28
1
回答
集群:您能调整执行者/节点的数量吗?
、
、
、
Q1,这意味着不。蔚蓝数据库中每个节点的执行者的数量固定在1?
浏览 3
提问于2022-06-10
得票数 1
回答已采纳
1
回答
如何在Eclipse中使用
hadoop
中的mahout?
、
、
我想使用eclipse开发我的mahout-0.9和
hadoop
-2.2.0项目。 我可以使用mahout-0.9成功地运行我的代码。但我面临的问题是如何使用
hadoop
运行我的项目?我认为我必须在我的
计算
机上安装
hadoop
,并使用命令启动它。然后,我可以使用
hadoop
在eclipse中运行我的项目。因为Mahout可以使用MAHOUT_LOCAL来确定linux中的本地mod或
hadoop
。但是当我将环境变量MAHOUT_LOCAL设置为"“时,它也使用本地mod,为什么
浏览 2
提问于2014-06-30
得票数 0
回答已采纳
1
回答
Spark和HDFS数据块的差异
、
、
、
HDFS将数据集作为相同大小的块分发到集群中的多个节点,数据块将被多次复制和
存储
。RDD是作为并行化集合创建的。并行化集合的元素是否分布在节点之间,还是
存储
在内存中进行处理?是否
与
HDFS的数据块有关?
浏览 0
提问于2018-01-31
得票数 2
3
回答
火花和
Hadoop
有什么不同?
、
在其主页中,有人说它比
Hadoop
框架更好。但是他们说:火花运行在
Hadoop
..。我真的不明白为什么可以在
Hadoop
上运行,而它应该比
Hadoop
更好。 有人能解释一下这两者之间的等级吗?
浏览 6
提问于2017-10-22
得票数 1
回答已采纳
2
回答
具有不同列集的Azure Blob文件
、
在Azure Blob容器中,有具有不同列集的文件。如何同时查询所有这些文件?是否可以通过对列进行某种映射来使用Hive?穆罕默德
浏览 0
提问于2015-12-09
得票数 0
5
回答
什么是"
Hadoop
“-
Hadoop
的定义?
、
、
、
、
这是很明显的,我们都会同意,我们可以称HDFS + YARN + MapReduce为
Hadoop
。但是,在
Hadoop
生态系统中,不同的其他组合和其他产品会发生什么呢?例如,HDFS + YARN + Spark仍然是
Hadoop
吗?HBASE是
Hadoop
吗?我想我们考虑的是HDFS + YARN + Pig
Hadoop
,因为Pig使用MapReduce。只是MapReduce工具被认为是
Hadoop
,但是在HDFS + YARN上运行的任何其他工具(比如火花)都是非
Had
浏览 18
提问于2015-01-24
得票数 13
回答已采纳
6
回答
如何搭建
Hadoop
处理环境?
、
、
、
、
Apache
Hadoop
是用于开发在分布式
计算
环境中执行数据处理应用程序的框架。旨在从单个服务器提供
存储
和
计算
资源的方式扩展到数千台机器。Apache
Hadoop
的核心部分由
存储
部分(
Hadoop
分布式文件系统)及其数据处理部分(MapReduce)组成。
Hadoop
将文件分割成大块,并将它们分发到群集中的节点上。那么如何搭建
Hadoop
处理环境?
浏览 2026
提问于2018-10-24
3
回答
网格
计算
和HDFS(
Hadoop
分布式文件系统)有什么区别?
、
、
有没有人可以解释HDFS和网格
计算
之间的主要区别?
浏览 5
提问于2014-11-12
得票数 1
1
回答
Hadoop
生产基础架构- Storage Dilema
、
、
、
、
几个月前,我设法设置了一个非常基本的
Hadoop
集群,只使用3个虚拟机,2个作为Namenode (活动和备用),1个作为DataNode。我甚至安装了Zookeeper来为Namenode启用HA。我所做的安装基本上是通过下载
Hadoop
和其他二进制文件,而不是使用任何CDH安装,只是为了了解底层配置文件以及它对安装有什么影响。那么Datanode的
存储
呢?是否强制使用本地硬盘空间在Datanode中
存储
数据?或者,我是否可以像在测试环境中那样将
存储
映射到NFS卷。有人能告诉我通过NFS而不是物理本地<
浏览 1
提问于2016-11-16
得票数 0
1
回答
Scala、Spring或
Hadoop
作为Api服务?
、
DOCTYPE html>";我对使用Scala、Spring或
Hadoop
重新构建应用程序很感兴趣-非常热衷于通过链接和教程来讨论这一点它将主要是一个“登录系统”,用户填写表单,并将这些表单中的数据
存储
在MySQL表中,并以图表/表/列表的形式显示。 因此,我热衷于使用reactjs构建前端-并让Java应用程序提供API服务。我预测,启动一个新的Scala、Sp
浏览 14
提问于2017-08-24
得票数 0
1
回答
是否在HDFS集群上重新分配数据?
、
、
我正在阅读
Hadoop
和Spark文档,以了解spark如何在
Hadoop
集群上工作。根据
Hadoop
文档,
Hadoop
集群是一组具有
计算
和数据
存储
能力的通用硬件,它们还假定“移动
计算
比移动数据便宜”。 现在,当我处理一个大文件,它是
存储
在HDFS上使用火花。Spark是否会随机地将文件中的数据重新分发到
Hadoop
集群,或者它知道
存储
数据分区的节点将要求各自的节点处理其数据?我提出了这个问题,因为没有提到火花如何处
浏览 11
提问于2022-09-13
得票数 1
回答已采纳
4
回答
在
hadoop
上的列
存储
?
、
、
、
、
是否有类似于Vertica的列
存储
构建在
Hadoop
之上..我不是在谈论HBase,因为它是稀疏矩阵
存储
,并且无法获得像Vertica这样的东西可以实现的压缩级别? 谢谢
浏览 25
提问于2011-01-12
得票数 0
回答已采纳
1
回答
在Amazon Web Services和Local上集成Solr +
Hadoop
和Nutch + Hbase
、
、
、
、
我以抓取wikipedia.org为例,抓取的数据
存储
在Hbase的云端。 我想安装Solr并对其进行搜索。我没有将我的系统作为一个集群安装,因为我只是想做一些研究,比如我如何使用它等等。我的问题是
Hadoop
在这个系统中处于什么位置(我还没有安装
Hadoop
)?安装
Hadoop
和Solr我的本地
计算
机合乎逻辑吗?另外,我的下一个挑战将是如何
与
AWS
计算
机通信。
浏览 2
提问于2013-03-09
得票数 0
3
回答
用于处理大数据的MySQL集群
与
Hadoop
、
、
、
、
我想知道使用MySQL集群和使用
Hadoop
框架的优缺点。什么是更好的解决方案。我想听听你的意见。
Hadoop
有什么缺点吗? 没有实时数据访问。分析数据可能需要几分钟或几个小时。为什么
Hadoop
是处理大数据的圣杯?你的意见是什么?
浏览 7
提问于2014-01-29
得票数 2
1
回答
我们如何处理
Hadoop
DB中处理过的数据(输出)?
、
、
我是
Hadoop
的新手,如果我的问题太不成熟,我深表歉意。 我知道
Hadoop
用于分析大型数据集上的数据。最后,我们如何处理分析的数据,创建报告和演示文稿?但是,在基于
Hadoop
的数据库中是如何工作的呢?在客户端,如果请求特定的报告,这需要来自
Hadoop
DB的数据点,那么流程会是怎样的?我确信客户端不会直接在
hadoop
中运行Job来获取生成报告所需的数据,因为
hadoop
作业需要更多的时间来处理。我的问题是,通过在
hadoop
DB上运行MR作业,处理的数据(结
浏览 2
提问于2015-12-23
得票数 0
1
回答
Hadoop
和Spark的主要区别是什么?
、
、
最近,我读到了关于
Hadoop
与
Spark的文章:有人能解释一下: 1) Apache和Spark是什么,2)它们有什么不同,3)这与内存和磁盘访问的关系如何。
浏览 0
提问于2020-09-05
得票数 3
1
回答
一个
Hadoop
节点的目的是什么?
我对
Hadoop
并不熟悉,所以这似乎是个愚蠢的问题。那么一个
Hadoop
节点的目的是什么呢?它只有一台
计算
机,所以没有资源的分配或共享?
浏览 2
提问于2017-11-30
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hadoop 存储-HDFS介绍
Hadoop HDFS DataNode 存储机制
Hadoop大数据存算分离方案:计算层无缝对接存储系统
基于Hadoop的58同城离线计算平台设计与实践
Hadoop计算框架之MapReduce
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券