hadoop集群搭建有什么用
Hadoop集群搭建用于实现大数据存储和处理的分布式计算环境。以下是关于Hadoop集群搭建的完善且全面的答案：
概念： Hadoop是一个开源的分布式计算平台，它包含了分布式文件系统HDFS和分布式计算框架MapReduce。Hadoop集群搭建指的是将多台服务器组成一个集群，共同运行Hadoop平台，实现大规模数据的存储和分析。
分类： Hadoop集群可以分为主节点和从节点，主节点包括一个主服务器和一个备用服务器，从节点是指运行Hadoop任务的工作服务器。从节点可以进一步细分为数据节点和计算节点。
优势：
- 可靠性：Hadoop集群采用分布式存储和备份机制，数据可以在多个节点上备份，提供数据冗余和容错性。
- 可扩展性：Hadoop集群可以方便地进行水平扩展，通过增加从节点来提升计算和存储能力。
- 高性能：Hadoop使用分布式计算框架MapReduce，可以并行处理大规模数据，提高数据处理的效率。
- 成本效益：Hadoop是开源的，可以降低企业的IT成本，同时使用廉价的硬件来构建集群。
应用场景： Hadoop集群搭建适用于需要存储和处理大规模数据的场景，例如：
- 大数据分析：可以通过Hadoop集群进行海量数据的处理和分析，包括数据挖掘、机器学习、文本分析等。
- 日志分析：对服务器、应用程序等产生的大量日志进行实时分析，提取有价值的信息。
- 图像和音视频处理：Hadoop集群可以用于处理大规模的图像和音视频数据，包括图像识别、视频分析等。
- 舆情监测：通过对社交媒体等大量文本数据进行实时分析，了解用户的情绪和态度。
- 数据仓库：Hadoop集群可以作为企业的数据仓库，用于存储和管理各种类型的数据。
推荐的腾讯云相关产品： 腾讯云提供了一系列与Hadoop集群搭建和大数据处理相关的产品和服务，以下是一些推荐的产品和其介绍链接地址：
- 云服务器CVM：https://cloud.tencent.com/product/cvm
- 云存储COS：https://cloud.tencent.com/product/cos
- 弹性MapReduce EMR：https://cloud.tencent.com/product/emr
- 数据仓库CDW：https://cloud.tencent.com/product/cdw
- 数据计算DLC：https://cloud.tencent.com/product/dlc
请注意，以上仅为腾讯云的产品示例，其他厂商也提供类似的产品和服务，可以根据实际需求选择适合的云计算平台和解决方案。
相关·内容
我正在尝试使用以下命令将tsv文件上传到HBase
hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE_ROW_KEY,info:email,info:country,info:continent test_table /user/test/1row.tsv
我的表定义为
create 'test_table',{NAME=>'info',REPLICATION_SCOPE=>'1'}
MapReduce日志中出现错误
2015-12-
浏览 0提问于2015-12-07得票数 2
我有虚拟hadoop集群，客户端到hadoop正在windows机器上运行。当我提交地图作业时，我被拒绝了org.apache.hadoop.security.AccessControlException:权限，access=EXECUTE，inode=“：jakub:supergroup:rwx-当它在windows用户下运行时。
我试图通过将dfs.permissions设置为false来取消这些检查。看来没什么用。
当我试图提交用户hadoop下的作业时，集群上的hadoop是运行的: User: XXX不允许模拟jakub。
这与hadoop上的用户管理有关。我错过了一些重要的事情吗？
浏览 2提问于2013-08-14得票数 0
回答已采纳
我和一位同事讨论了MongoDB连接器在Hadoop中的使用问题，他解释说这是非常低效的。他说，MongoDB连接器使用它自己的映射减少，然后使用Hadoop映射减少，这在内部减缓整个系统。
如果是这样，那么将我的数据传输到Hadoop集群的最有效方法是什么？如果MongoDB连接器效率更低，它有什么用途？在我的场景中，我希望从MongoDB (大约10 my )获取每日插入的数据，并将其全部放入Hadoop中。我还应该指出，每个MongoDB节点和Hadoop节点都共享相同的服务器。
浏览 2提问于2014-01-07得票数 1
回答已采纳
我们从AWS MapReduce转移到我们自己机架上的Hadoop集群。最初，我们将有7台服务器专门用于Hadoop/HDFS。
我们在HDFS上存储的数据将是关键任务，我不希望我们有备份选项(至少在我们使用的第一天就没有了)，所以我想尽我所能保证连续性。
我也想充分利用我们的计算能力，因为我们的工作可以很容易地使用两倍的硬件。
在这个7服务器集群中，我应该为每个框指定什么用途？特别是哪些进程应该重叠(例如，备份namenode是否应该共享一个框作为任务节点和类似的？)
浏览 4提问于2013-03-13得票数 0
回答已采纳
我试图用直线!connect jdbc:hive2://localhost:10000连接到蜂箱，并被要求提供用户名和密码
Connecting to jdbc:hive2://localhost:10000' Enter username for jdbc:hive2://localhost:10000: Enter password for jdbc:hive2://localhost:10000:
由于我不知道我应该输入什么用户名或密码，所以我将它保留为空，这会导致错误：Error: Failed to open new session: java.lang.Runtime
浏览 1提问于2017-04-03得票数 8
回答已采纳
Hadoop将通过从Hbase读取数据并将数据写入Hbase来运行许多作业。假设我有100个节点，那么有两种方法可以构建Hadoop/Hbase集群：
100节点hadoop & hbase集群 (1大Hadoop&Hbase)
分离数据库()，然后我们有两个集群：60节点Hadoop集群和40节点Hbase集群 (1 Hadoop +1 Hbase)
哪种选择更好？为什么？
谢谢。
浏览 4提问于2014-04-19得票数 1
回答已采纳
1回答
我使用的是Azure HDInsight Hadoop集群类型，HDI :Hadoop2.7(HDI3.6)。这不是Kerberised群集，因为未启用ESP。现在我需要在这个hadoop集群上启用SSL。如何确保在hadoop集群中启用SSL？我可以在core-default.xml文件中看到hadoop.ssl.enabled属性为false。
现在，如何在此hadoop集群上启用SSL。
感谢你的他谢谢
浏览 2提问于2019-12-03得票数 1
HDInsight Hadoop集群和HDInsight星系团有什么区别？我已经看到，即使在Hadoop集群中，也可以使用吡火花。是否与集群类型有关？也就是说，Hadoop集群意味着纱线作为集群管理层，而火花意味着火花独立(或Mesos?)作为集群管理层？
如果是这样，我们仍然可以运行星火在Hadoop集群，我相信，所以星火将运行在纱线之上。
浏览 3提问于2016-07-12得票数 1
回答已采纳
我的意思是，有两个选择: 1.在Hadoop集群上安装HBase，这也是离线计算，所以只有1个hadoop集群。2.安装一个用于离线计算的Hadoop集群，然后再安装一个仅供HBase使用其HDFS的Hadoop集群。
因此，有两个选项:一个是集成集群，另一个实际上是2个集群。
这两个选项的优缺点是什么？
浏览 2提问于2013-07-11得票数 1
1回答
由于是的新手，因此正在尝试理解实时生产系统中的Hadoop集群设置环境。
1)到目前为止，大多数项目是在Hadoop v1或Hadoop v2上运行的吗？
2)对于单个项目，我们是有一个集群还是多个集群？(我听说有多个集群，每个集群都专门用于特定角色。)
3) Hadoop集群通常运行在云上，比如AWS、Rackspace，还是运行在客户端没有自己的网络上？
浏览 3提问于2015-11-16得票数 0
回答已采纳
1回答
在Kerberos中有一个名为"foo“的用户，hadoop集群受到Kerberos的保护。我想让hadoop集群以"foo“的身份运行作业，我该怎么做？什么配置允许hadoop客户端指定kerberos用户帐户名运行，就像hadoop集群'kinit username‘然后运行mapreduce作业一样？仅供参考，hadoop 2.6.0
浏览 2提问于2015-11-03得票数 0
我是新的使用火花与Hadoop。
当前场景：
我已经使用预构建的二进制"spark-1.5.2-bin-hadoop2.6“在4个节点集群上配置了Spark。
在我的环境中还有一个Hadoop2.4集群，其中有4个节点。
我想要的：
我计划对Hadoop集群中hdfs中的数据使用Hive HQL使用Spark处理。
查询
我需要重新配置星火集群使用“火花-1.5.2-bin-hadoop2.4”二进制还是当前的一个将工作。
在两个不同的集群(但在云中相同的子网下)上使用Spark和Hadoop来在Hadoop上工作是一个很好的实践吗？
浏览 4提问于2015-11-24得票数 0
回答已采纳
我对hadoop有基本的理解。我的问题是客户机/开发人员如何连接到hadoop集群来执行查询。
例如，我是hadoop开发人员。某个远程位置的Hadoop集群。如何连接到hadoop集群来运行我的java代码？我是否也必须在我的笔记本电脑中安装hadoop (为此我必须运行Linux)？
或者，如果我与Hadoop集群在同一个网络中，只需在我的笔记本电脑中挂载共享，并将我的代码放入hadoop集群，是否可以呢？
第二个问题:对于运行java代码，我是否必须对任何数据节点进行SSH，然后运行作业？
以上两个问题一直困扰着我。我没有实时经验。
提前谢谢你！
浏览 4提问于2014-11-07得票数 1
回答已采纳
我希望将文件从Hadoop集群复制到远程集群。
我有远程集群中的hadoop_conf文件，可以通过设置HADOOP_CONF_DIR.来访问它。
我知道远程名称节点的IP和端口。
我想按下面的ex格式通过名称空间复制该文件。
hadoop -cp hdfs://MyNamespace/path/file hdfs://RemoteNamespace/path/file
但是，如果不配置hadoop_conf_dir，则不知道远程名称空间，如果在hadoop_conf_dir中设置远程集群的信息，则无法访问群集的命名空间。
请让我知道怎么做。
浏览 1提问于2018-04-20得票数 0
回答已采纳
1回答
我希望将数据从AWS S3复制到我的hadoop集群。在研究复制数据的过程中，我发现了。在阅读有关它的文章时，我偶然发现了集群标识项。我从上读到了有关集群id的文章，但是无法确定如何获得hadoop集群的集群id。
在哪里可以找到hadoop集群的集群id？
注意：--我使用的是HortonWorks2.2集群设置
浏览 1提问于2015-03-13得票数 2
回答已采纳
1回答
我已经通过helm chart在我的microk8s kubernetes集群上安装了Hadoop。我想知道如何在这个hadoop集群上的不同机器上创建一个dask集群。我尝试遵循Dask网站上的教程，但一直收到错误，因为它正在寻找本地的yarn/hadoop。如何指向kubernetes上的hadoop才能创建集群？
浏览 0提问于2020-06-16得票数 2
我们在我们的小型hadoop集群中耗尽了空间，所以我在HDFS上检查磁盘使用情况，我发现大部分空间被/hbase/oldWALs文件夹占用。
我已经在"HBase权威书“和其他书籍，网站和我也搜索了我的问题在谷歌，但我没有找到一个适当的回应.
所以我想知道这个文件夹是什么，有什么用，以及如何在不破坏所有东西的情况下从这个文件夹中释放空间.
如果它与特定版本有关..。我们的簇位于cloudera的5.3.0-1.cdh5.3.0.p0.30以下(hbase 0.98.6)。
谢谢你的帮助！
浏览 3提问于2015-02-25得票数 5
Hadoop2.6使用Yarn作为下一代地图减少，同时也是集群管理器。对于集群管理服务，我们还需要使用Hadoop2.6中的ZooKeep2.6吗？我们怎么设置动物园管理员。
如何为hadoop集群安装Kafka连接。什么是卡夫卡的消费者和生产者将数据发送到hadoop文件系统。
他们都在哪里。
我已经设置了Hadoop2.6单节点集群。接下来，我理解的方法是让动物园管理员和Kafka负责数据流到hadoop文件系统。我不知道如何将kafka用于hadoop或其api。
浏览 2提问于2015-07-27得票数 4
回答已采纳
1回答
我的目标是识别与Hadoop集群相关的网络数据包，因为在我使用的集群中，还有其他生成与Hadoop无关的网络流量的服务。
我假设我的Hadoop集群只使用HDFS和MapReduce，而不是像HBase，Pig，Hive等其他应用程序。
有没有办法过滤Hadoop数据包？例如，如果Hadoop使用固定源或目标端口(至少一个，源或目标)
更新:我正在使用Apache Hadoop 1.0.3和libpcap来嗅探数据包
浏览 1提问于2013-08-19得票数 3
我正在尝试开发用于部署和管理Hadoop集群(特别是MapR)的厨师食谱。
根据我的理解，Chef是以自动化方式安装hadoop集群的一个很好的工具。但是，我不确定Chef如何在安装后帮助管理/更改Hadoop集群的配置，如何将集群构建到集群完全崩溃的状态(在灾难恢复的情况下)。
浏览 0提问于2014-09-08得票数 0
回答已采纳
每当我运行任何hdfs dfs命令时，我都会得到Call From hostnamehere/10.138.238.104 to hostnamehere:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
我在网上搜索了很多解决方案，但似乎每个人都提供了同样的几个解决方案，而且没有一个对我有效。我尝试过以下几种方法：
stop-dfs.s
浏览 36提问于2020-05-22得票数 0
基本上，我想要的是使用Hadoop Java API从本地调用远程Hadoop集群。我希望Hadoop集群执行
它应该大致等同于"ssh user@remote 'hadoop fs -text‘“。
浏览 3提问于2013-09-26得票数 1
我是Hadoop / Pig的新手，我刚刚开始阅读文档。
有很多关于在集群模式下安装Hadoop的博客。
我知道Pig运行在Hadoop之上。
我的问题是: Hadoop安装在所有集群节点上。
我是应该在所有集群节点上也安装Pig，还是只在主节点上安装Pig？
浏览 3提问于2018-06-11得票数 0
我安装了Ganglia来监视HBase集群。我在用ganglia-3.3.0。
Hadoop版本：hadoop-1.1.2
HBase版本：hbase-0.94.8
我的Hadoop集群由一个主节点和两个从节点组成。
Ganglia gmetad_server配置在主节点上。
我更改了hbase/conf/hadoop-metrics.properties文件。
hbase.class=org.apache.hadoop.metrics.ganglia.GangliaContext31
hbase.period=10
hbase.servers=hostname_of_ga
浏览 1提问于2015-02-16得票数 1
回答已采纳
在谷歌DataProc中为我的项目创建集群之后，我尝试为Hadoop键入几个命令(比如hadoop fs -ls)。不幸的是，云外壳完全没有看到Hadoop！
-bash: hadoop:命令未找到
堆叠溢出的人说：
“它不能在Cloud中工作，因为它没有预装Hadoop实用程序。
但我不知道如何安装或者激活它。也许是通过集群创建，但是通过dataproc创建集群却有问题。我是通过云shell来做的。
如何正确使用云shell中的Hadoop命令？
浏览 2提问于2021-09-19得票数 0
2回答
我对Hadoop集群datanode故障转移有一些疑问：
1: What happen the link is down between the namenode and a datanode
(or between 2 datanodes) when the hadoop cluster is processing some data?
Does Hadoop cluster have any OOTB to recover this problem?
2: What happen one datanode is down when the hadoop cluster is
浏览 4提问于2013-09-17得票数 1
回答已采纳
我在运行CentOS 6.4的三台虚拟机集群上试用了Hadoop 2。
我成功地启动了hadoop集群，尽管Hadoop 2的配置文件(如：、、和 )非常折磨我。
我想更改Hadoop 2使用的所有默认端口。配置文件的正式文档定义了这么多端口号。因此，我认为最好确定Hadoop在运行时使用哪些端口，然后更改所有端口。那么，如何找到运行CentOS的集群中Hadoop使用的所有默认端口呢？谢谢。
浏览 3提问于2013-08-14得票数 0
回答已采纳
在本文中，它在Google中创建了一个Hadoop集群，并连接到云bigtable集群。
即使在本文中，它也使用Connection对象与BigTable集群通信。这是否意味着谷歌建议我们使用自定义的HBase客户端API来访问云BigTable上的数据？
是否可以从我自己的Hadoop集群连接到云bigtable集群？我的Hadoop集群是在AWS中而不是在Google云中。
浏览 0提问于2015-07-22得票数 1
回答已采纳
我在VMware上的centos上安装了Hadoop2.4.1。我应该将Hadoop集群配置为多节点cluster.First，我不知道如何在Hadoop‘集群上构建多个节点。其次，我应该如何配置Hadoop集群上的节点？请一步一步地详细地指导我，特别是在定义节点方面。
浏览 3提问于2014-12-06得票数 2
我确实有一个使用KERBEROS安全性的Hadoop集群和其他使用KERBEROS的Hadoop集群。
我是否可以将文件从KERBEROS hadoop群集复制到非KERBEROS Hadoop群集？
浏览 0提问于2018-09-25得票数 0
我有一个关于负载均衡器的基本问题。我刚刚完成向hadoop(2.3)集群添加新节点，该集群也有hbase v0.98。添加后，在hadoop和hbase中的所有节点都在线，
hbase如何受到hadoop再平衡器的影响？在hadoop再平衡之后，我是否需要显式地尝试重新平衡hbase？
我的Hadoop集群完全被hbase占用。设置balancer_switch=true，它会自动重新平衡hbase和hadoop吗？
怎样才能确保hadoop和hbase都被重新平衡并且工作得很好呢？
浏览 11提问于2014-05-15得票数 18
我想在hadoop集群中运行hadoop程序来测试时间。是否有任何免费的Hadoop集群可用于用于学术用途的大数据实验？
浏览 3提问于2013-08-06得票数 6
1回答
我想让flume代理位于hadoop集群之外，并想知道是否可以使用flume将消息发送到使用WebHDFS的hadoop集群中。
如果没有，有没有使用WebHDFS的替代方案？使用多层flume仍然需要在hadoop集群中运行flume代理。
浏览 0提问于2017-01-06得票数 1
1回答
我正在阅读Hadoop和Spark文档，以了解spark如何在Hadoop集群上工作。根据Hadoop文档，Hadoop集群是一组具有计算和数据存储能力的通用硬件，它们还假定“移动计算比移动数据便宜”。
现在，当我处理一个大文件，它是存储在HDFS上使用火花。Spark是否会随机地将文件中的数据重新分发到Hadoop集群，或者它知道存储数据分区的节点将要求各自的节点处理其数据？我提出了这个问题，因为没有提到火花如何处理Hadoop集群上的数据分区。
如果星星之火重新分配数据，那么这种重新分配开销背后的逻辑是什么呢？
浏览 11提问于2022-09-13得票数 1
回答已采纳
我是ubuntu和Hadoop的新手...
我的笔记本电脑上装有Windows7，还有一个Ubuntu VMWare图像(我用VMWare播放器打开)。我的想法是在同一台笔记本上配置多节点hadoop集群。
有没有可能让两个ubuntu镜像分别充当一个虚拟机，这样就可以模拟集群配置(尽管这不是理想的集群)？如果是这样，这两个虚拟机是否能够通信？我是否必须更改IP配置等才能使其正常工作？
VM 1 (ubuntu) - Hadoop master
VM 2 (ubuntu) - Hadoop slave
作为一个扩展，是否可以让windows7也加入集群？
Windows 7 - Hadoop
浏览 1提问于2012-09-07得票数 1
回答已采纳
我打算开发一个web服务，它可以与Hadoop主节点对话，执行一些任务。这些任务包括: 1.启动和停止hadoop集群2.从hadoop集群3中添加和删除从节点。
我不指望你们把一切都告诉我(请不要！)但是请告诉我如何从我的web服务中调用Hadoop。包括在类路径中的Hadoop罐子够了吗？我想我也需要一些配置。请指导我在web服务和Hadoop集群之间建立一个简单的调用流程。
浏览 0提问于2011-02-26得票数 0
1回答
我正在引擎上建立一个Hadoop集群。但我很难理解集群实例将如何工作。我已经找了很多东西，但没有给出明确的答案。
在设置Hadoop集群时，是否创建一个安装了Hadoop的实例的映像，并且每次启动此实例(映像)时都创建其他实例(节点)？
但是，这种方法需要每次创建节点时都必须配置节点？
有没有人有这方面的经验，并能提供一些文档，关于如何在Google引擎上设置Hadoop集群的一部分？
浏览 3提问于2014-04-28得票数 1
回答已采纳
1回答
我是Hadoop/Mahout的新手，我理解这些概念，但我在将Mahout作业部署到已经设置的计算机集群时遇到了问题。
我已经在一台计算机上使用了Mahout，但是我应该怎么做才能使它在已经形成的Hadoop集群上运行呢？
我有一个安装了Hadoop 0.20.2和Mahout 0.9的集群，其中包含Hadoop 1.2.1。我应该复制什么jars才能运行包含Mahout调用的代码，或者我还应该做些什么才能让它在Hadoop集群上工作？
任何建议/示例/教程都很棒。
谢谢
浏览 0提问于2014-10-29得票数 0
如果我在现有Hadoop集群中部署Apache Drill，Apache Drill是否会对现有Hadoop集群中Hadoop生态系统的其他成员产生负面影响？
浏览 3提问于2016-06-28得票数 0
我有一个file.txt，它有3个块(块a、块b、块c)。hadoop是如何将这些块写入集群的。我的问题是hadoop是否遵循并行编写？还是块b必须等待块a写入集群？或块a和块b和块c并行写入hadoop集群.
浏览 2提问于2014-02-13得票数 2
1回答
我从中提取了hadoop源代码。
目前，hadoop测试在同一个jvm上生成一个小型的单节点集群，并执行测试。但是，我的目标是在已经安装的远程hadoop集群上运行Junit测试。我希望将单元测试保持为在集群之外运行的客户端。无法确定hadoop测试是否支持相同的测试。
浏览 3提问于2015-05-04得票数 2
回答已采纳
2回答
除了管理工作之外，是否有任何明确的理由不创建多个hadoop集群来处理不同的大数据内容？
例如PCI hadoop集群、安全集群和应用程序日志记录集群。
浏览 2提问于2012-10-11得票数 0
回答已采纳
5回答
我创建了一个hadoop集群。
我收到这个警告消息：$HADOOP_HOME is deprecated
我已经在hadoop-env.sh中添加了export HADOOP_HOME_WARN_SUPPRESS="TRUE"
当我启动集群时，我看不到任何警告消息。
但是，当我运行hadoop dfsadmin -report时，它再次显示。
浏览 0提问于2012-02-15得票数 30
从几个星期以来，我试图通过远程访问或连接到纱线集群的pyspark来提交python脚本。
我对HADOOP世界很陌生。我想要的是在外部HADOOP集群上的本地shell中提交火花脚本。
我的情况:外部hadoop纱线集群。可以进入重要的港口。我有Windows 7 64位/Python2.7.9 64位/Spark1.4.1。HADOOP集群运行时没有任何问题。
我的问题是:通过HADOOP集群上的远程访问提交python脚本不起作用。
如果我尝试火花-提交-主纱线-集群-num-执行器2-驱动器-内存512 m-执行器-内存512 m-执行器-核心4.example.py
上面写着
Err
浏览 2提问于2015-08-21得票数 2
我在寻找如何更方便地监控Hadoop集群，然后我遇到了一个叫做Ambari的东西。
我想将Ambari应用于运行中的Hadoop集群。是否可以将Apache应用于运行中的Hadoop集群？如果这是不可能的，是否有任何未来的补丁计划？
浏览 6提问于2020-11-12得票数 0
回答已采纳
我知道cassandra集成了hadoop，但它似乎是使用cassandra自己的模仿来组合cassandra/hadoop集群的。
但是，在单独的hadoop集群中，是否有可以与pig一起使用的加载器，可以向/从单独的cassandra集群加载/存储？这看起来实际上并不存在，但想要确认。
浏览 0提问于2014-10-07得票数 0
我列举了与安巴里有关的几个问题如下：
我可以通过ambari的UI配置多个hadoop集群吗？(注:我使用Ambari 1.6.1进行hadoop集群部署，我知道这可以通过Ambari API完成，但无法通过ambari门户找到)
如果配置了hadoop集群w/ command，我们可以通过“jps”命令检查每个节点上的服务状态。有没有类似于“jps”的方法从后端检查hadoop集群的设置是否从后端成功？(注:我可以看到服务正在安巴里门户网站上显示)
帮助欣赏!！
如果需要更多的信息，请告诉我。
谢谢
浏览 2提问于2014-11-27得票数 0
管理多个Hadoop集群的客户端配置的最佳实践是什么？所谓“客户端”，指的是一台机器，它不是集群的一部分，而是被某些人用来向其提交作业。
我可以想到两种可能性:不同的虚拟机，每台虚拟机都为一个集群配置，或者只是在同一台机器上的不同目录中提取和配置工具。但我不确定其中一种是否明显优于另一种，或者是否有其他选择。
对于很多使用Hadoop的人来说，这似乎是一个普遍的问题，但我将以我的具体情况为例。我可以访问一个大型Hadoop集群和一个更小的测试/实验Hadoop集群。它们有一些Hadoop工具的不同版本，因为测试集群有一个工具(Shark)，它需要安装在主集群上的另一个工具(Hive)的不同版本
浏览 3提问于2014-06-05得票数 1
回答已采纳
resource "aws_emr_cluster" "cluster" {
name = "emr-test-arn"
release_label = "emr-4.6.0"
applications = ["Spark", "Hadoop"]
如上所示在applications参数中提到Hadoop -这会在电子病历上安装Hadoop和Spark吗？
或者它只是以某种方式"prepare"集群来使用Hadoop和Spark (我们应该执行额外的步骤
浏览 20提问于2021-02-17得票数 0
我正在定义我的Hadoop集群的体系结构，我还希望在其中包括Hbase，因此也包括Zookeeper。但是，我不知道相对于hadoop节点，我必须将Zookeeper节点安装在哪里。以下是我的两种可能性
第一种可能性：(我的hadoop集群之外的zookeeper集群)
第二种可能性：(我的hadoop集群中的zookeeper集群)
你能告诉我，关于这两种可能性，用HBase部署Zookeeper的正确方式是什么？
我还有一个额外的问题: journalNodes和JobHistory服务器是否在正确的位置？
我将非常感谢任何帮助，谢谢！
浏览 0提问于2017-03-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
