1回答
目前，Hadoop通过将任务分配给包含数据的节点或接近该节点的节点(例如相同的机架)来实现数据局部性。但是，我想知道是否可以将相同的概念应用于部署在一组虚拟机上的云计算中，因为有关物理层的信息，例如哪些物理机器当前承载了这些VM，可能是不可用的。
浏览 5提问于2014-01-21得票数 2
回答已采纳
1回答
为什么google cloud click to deploy hadoop工作流程需要选择本地持久磁盘的大小，即使您计划将hadoop连接器用于云存储？默认大小为500 GB。我在想，如果它确实需要一些磁盘，它的大小应该小得多。在google云中使用hadoop云存储连接器时，是否有推荐的持久化磁盘大小？“在Google Cloud平台上部署Apache Hadoop
Apache Hadoop框架支持跨计
浏览 7提问于2014-11-23得票数 0
我正在使用Hadoop设置一个包含两个data+compute节点和两个纯计算节点的集群。我正在使用Spark with Yarn进行数据处理。对于前一种类型的节点，我只需将host-name添加到workers配置中，hadoop会自动在这些节点上启动hdfs和YARN。但是对于仅用于计算的节点，我不希望它们运行dfs。一种方法可能是将这些节点也添加到workers配置中，然后排除/停用这些节点，但我觉得这不是正确的方法。我找不到任何<em
浏览 25提问于2021-05-17得票数 0
回答已采纳
1回答
"Azure Databricks在每个工人节点上运行一个executor；因此在Azure Databricks体系结构的上下文中可以互换使用executor和worker两个术语。蔚蓝数据库中每个节点的执行者的数量固定在1？
Q2几个文档将每个执行器的5个内核状态作为用于HDFS吞吐量的火花集群的经验规则？对于Azure databricks来说，情况似乎并非如此。
浏览 3提问于2022-06-10得票数 1
回答已采纳
想购买云服务做大数据计算和分析，如何选择满足个人日常学习的配置？我是小白，从未用过云服务，现在需要用到Hadoop、Hbase、Mysql、Hive、Spark、zookeeper等，只是学习使用
浏览 149提问于2018-06-21
3回答
我已经开始阅读有关hadoop的文章。我也想学习实践。由于hadoop是分布式环境，并被设计为在linux上运行，因此我不能在运行windows的本地计算机上实践它。互联网上有没有云或虚拟机，我可以自己搭建整个环境并开始学习？我可以预先配置hadoop集群，但我更喜欢自己配置。
浏览 0提问于2014-08-15得票数 0
我开始学习一些Hadoop/MapReduce，主要来自PHP背景，以及一些Java和Python。但是，似乎大多数MapReduce的实现都是用Java、Ruby、C++或python语言实现的。我已经看过了，看起来PHP中有一些Hadoop/MapReduce，但绝大多数文献似乎都致力于这四种语言。在涉及Hadoop/MapReduce的云计算项目中，为什么PHP是第二类语言，有什么好的理由吗？考虑到
浏览 0提问于2010-06-25得票数 3
回答已采纳
我希望人们能够知道更多在上配置系统的示例和最佳实践指南，这样我就可以获得更多的部署经验，并将这些知识应用到我自己的项目中。我看过，它通过使用脚本部署锡兰德拉集群和hadoop来运行，但我希望有更多的可用，包括以下主题
多项目系统，以及如何构造它们的<
浏览 2提问于2014-01-29得票数 2
我正在研究Hadoop和云存储。所以很奇怪，Hadoop能像Dropbox或者Google一样使用吗？
浏览 2提问于2017-05-02得票数 1
回答已采纳
1回答
Hadoop，火花和云
、、、、
看起来Hadoop、Spark和不同版本的Clouds提供了存储和分析大数据的工具。有一些文章比较Hadoop和Spark (例如，这篇文章)。还有一些文章讨论了AWS上用于使用Hadoop/spark的服务，例如这篇文章。
我的问题是，如果我使用的是提供存储和分析服务的云计算，我还需要hadoop/spark吗？任何有助于识别不同用例和应用程序的</e
浏览 0提问于2023-04-16得票数 0
2回答
我正在从事一个学术项目:编写一个库，在大的加权有向图上找到最短的路径。示例数据集是一个由1500个顶点组成的图，每个节点平均有5.68个边。规范可能多达20.000 nodes.Moreover我工作在一个cpu /内存绑定的环境中:Android.边缘重量不是微不足道的，也不是很昂贵的。它取决于图形的可变状态。我们必须脱机工作。我面临几个困难：
I需要一种有效的方法来存储、检索和更新图形的数据。我应该使用SQ
浏览 3提问于2011-01-16得票数 1
回答已采纳
我们将在数百个(比如300个)物理x86节点上部署一个hadoop集群。由于我们没有太多的生产部署经验，有一个简单的问题，作为标题，我们希望听到有经验的人的反应。最好的治疗方法是什么？我们应该直接在物理盒上部署hadoop，还是需要一个虚拟机层(即IaaS云)来管理hadoop集群的计算资源。在做这个决定的时候，应该注意什么？
浏览 0提问于2015-04-23得票数 2
回答已采纳
我知道我可以设置hadoop集群并根据需要进行扩展。我还知道，OpenStack是一个免费的、开源的云计算软件平台，主要作为服务基础设施(IaaS)部署。然而，很明显，一些行业更喜欢在OpenStack (撒哈拉沙漠)之上的hadoop。因此，我想知道有或没有OpenStack的Hadoop的区别、优缺点。简单地说，如果我将Hadoop放在OpenStack之上，我会得到哪些额外的
浏览 0提问于2015-12-18得票数 0
回答已采纳
自学，自己摸索 白白浪费大把时光 二是，降低他人的学习成本。
三是，别人对自己学习结果的审核。
浏览 295提问于2020-09-25
1回答
R脚本分布式调度系统
、、、、
我不想重新发明轮子，我想使用一个已经存在的系统以最优的方式分发这些任务，并且最好有一个GUI来控制脚本的正确执行。我确实有一个办公室，里面满是机器(小型服务器或工作站)，这些机器有时也被用于其他用途。我想使用所有这些机器的计算
浏览 8提问于2011-12-29得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
