本文主要讲述如何在虚拟机(VM)上部署Hadoop，因为虚拟化技术很多家都有，但本文讨论的是VMware。建议阅读人群为：系统管理员，架构师或者开发人员。
由于 Hadoop 是为集群设计的软件，所以我们在学习它的使用时难免会遇到在多台计算机上配置 Hadoop 的情况，这对于学习者来说会制造诸多障碍，主要有两个：
vim /etc/udev/rules.d/70-persistent-net.rules
1. docker 是什么2. docker 解决什么问题1. 解决虚拟机资源消耗问题。2. 快速部署。3. 提供一次性的环境。4. 提供弹性的云服务。5. 组建微服务架构。3. docker 安装部署与使用1. 安装 docker 引擎2. 使用 docker1. 理解 docker 的架构2. docker 命令3. 卷的概念4. 自制镜像并发布4. docker 网络6. docker pipework7. docker 网络端口映射4. 总结
得出结论, 如果计算 260G 的数据, 可能和计算 60G 的数据, 所需要的内存一样, Spark 会逐个取数据, 逐个计算, 计算完成后抛弃, 再取下一条
根据文章内容，总结为：本文主要介绍了如何从零开始搭建一个Hadoop集群，包括安装、配置、集群部署等步骤，并提供了可能出现的问题和解决方法。同时，本文还介绍了如何格式化节点，以及使用Hadoop进行集群部署的一些常见问题和解决方法。
Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。它的目的是从单一的服务器扩展到成千上万的机器，将集群部署在多台机器，每个机器提供本地计算和存储。Hadoop 框架最核心的设计是 HDFS 和 MapReduce。
本文介绍了大数据技术生态从Hadoop到Spark的演进，重点介绍了Hadoop、Spark、Hive、HBase、Kafka等大数据组件的架构原理、应用场景、最佳实践，以及基于云原生技术的大数据解决方案。
2、更改 /etc/hosts 中的 master 对应的 ip （这个一定要写对啊）
云计算在出现16年后，已经成为IT领域的标配模式。它易操作、存储量惊人、对用户来说几乎无处不在。它不仅成就了世界上最大的公司，同时也给小公司提供支持。云改变了服务供给双方的经济模式，同时带来更多新的机遇。
一般而言，一个集群上很少只跑一个业务，大多数情况都是多个业务共享集群，实际上就是共享系统软硬件资源。
分布式并行编程可以大幅提高程序性能，实现高效的批量数据处理。分布式程序运行在大规模计算机集群上（廉价的服务器），可以并行执行大规模数据处理任务，从而获得海量的计算能力。因此目前常用的大数据软件都可以部署在分布式计算环境种。
年复一年，关于”Java消亡了？”的疑问频繁涌现，然而，通过所有外部表现来看，Java仍活着，并且在发展。尽管许多新语言各领风骚，开发语言排行榜(TIOBE)上Java在2015年仍居榜首，并比2014年增长了5%的使用量,远远超过其他语言。
1：Keepalived的官方网址：http://www.keepalived.org/ 2：Keepalived：可以实现高可靠； 高可靠的概念： HA(High Available), 高可
最近一直在参加安徽省大数据与人工智能应用竞赛，因此学习了很长一段时间的大数据，也积攒了一些大数据的开发经验；工欲善其事，必先利其器，所以想要给准备学习大数据的同学总结一下自己在大数据开发中所用到的工具。
早在2013年的时候，docker就已经发行，然而那会还是很少人了解docker。一直到2014年，Martin Fowler提出了微服务的概念，两个不相干的技术终于走在了一起，创造了今天的辉煌
docker，编排，调度这些都是PaaS里面的经典概念。前面写了一篇文章《Docker和hadoop》，直言docker并不是Hadoop体系的关键技术，当前阶段只是作为大数据体系的一个很小的补充，更适合在应用领域的开发、应用和部署。 1 历史： 说到docker，两家公司不得不提，这也是docker领域的核心玩家： 1）Docker Inc. 轻量级虚拟化技术其实存在已经很多年，07年cgroup就进入了Linux内核，Docker是PaaS提供商dotCloud（最近已经正式改名为Docker
作者：白宁超 成都信息工程大学硕士 原文：http://www.cnblogs.com/baiboy/p/4639474.html hadoop集群配置系列文档，是笔者在实验室真机环境实验后整理而得。以便随后工作所需，做以知识整理，另则与博客园朋友分享实验成果，因为笔者在学习初期，也遇到不少问题。但是网上一些文档大多互相抄袭，里面错误百出。笔者结合自学书籍视频等资料，完成这一套配置资料。实验结果和过程经过反复测试无误后方整理出来的。配置过程中，初学者若有实验环境，可以在真机环境下完成，若无条件，可补习下
早在2013年的时候，docker就已经发行，然而那会还是很少人了解docker。一直到2014年，Martin Fowler提出了微服务的概念，两个不相干的技术终于走在了一起，创造了今天的辉煌！ 近几年来，很多互联网关系开始跟风，构建docker+微服务的架构体系。然而，根据笔者观察发现，有些童鞋在使用过程中，只是会用，而根本不了解为什么使用docker，反正对他们来说，公司让用就用！而某些公司呢，虽然用上了docker，然而运维方式并没有发生改变，白白浪费了docker的大好性能！ 因此，才有了本文的诞生。本文不会教你怎么去用什么docker的api，毕竟官网document很全面，而是去讲解docker的优点，进而说明为什么适合微服务的架构！
这一步完成后，最好重启一次系统，以便生效。然后可以用ping master(或slave01、slave02)试下，正常的话，应该能ping通
1、虚拟机安装 首先需要在windows上安装vmware和ubuntu虚拟机，这里就不多说了 vmware下载地址：直接百度搜索，使用百度提供的链接下载，这里附上一个破解码 5A02H-AU243-
长期专注于kubernetes, OpenStack、Hadoop、Docker、Lucene、Mesos等开源软件的企业级应用及产品化。曾出版《Lucene应用开发揭秘》。
注：本文的主要目的是为了记录自己的学习过程，也方便与大家做交流。转载请注明来自：
“ Hypervisor、KVM、OpenStack、Docker、K8S...这些热词相信你或多或少的听到过，这些都属于云计算范畴。今天我将从宏观的角度看这几个名词和它们之间的关系，简单分享企业云上常见架构。让我们开始吧！”
在业务系统上云的过程中，业务部署的高可用和容灾是一个要考虑的关键因素。如今很多系统都采用分布式的架构，从架构层面避免单点故障。分布式系统中，任意一个节点故障，其他节点可以快速接管业务，避免整个业务系统宕机。 这就对IaaS层资源提出了要求，即单节点故障，不影响其他节点。 由于公有云是一个多租户的环境，一台物理机上会运行多个虚拟机，如果分布式系统的多个虚拟机落到了同一台物理机上，当物理机发生故障时，多个分布式节点同时故障，就有可能造成整个系统宕机。 那么在公有云的IaaS层，如何才能保证分布式系统部署的高可用呢？ 使用腾讯云的分散置放群组可以解决这个问题。
系统： Ubuntu 14.04 64bit Hadoop版本： Hadoop 2.5.2 (stable) JDK版本： JDK 1.6 虚拟机及Ubuntu安装 1. 下载并安装 VMware w
git clone https://github.com/hepyu/docker-ambari-2.7.git
本篇文章将从头开始介绍Hadoop大数据平台的一系列搭建工作，主要是搭建的具体操作步骤，思想方面涉及甚少，可以自行补充 虚拟机下载安装 我使用的是VMware station12，下载地址为链接：http://pan.baidu.com/s/1geX11pL 密码：uylp 本软件为注册软件现提供一个注册码AV5R2-8LW53-484RP-H5YQZ-XU8RF，大家也可以自行百度。 centos下载 因为工作中常用的为不带可视化界面的版本，现提供一个centos6.8_64下载，地址点我 cento
前两天看到有人留言问在什么情况下需要部署hadoop，我给的回答也很简单，就是在需要处理海量数据的时候才需要考虑部署hadoop。关于这个问题在很早之前的一篇分享文档也有说到这个问题，数据量少的完全发挥不了hadoop的优势，所以也没必要部署。但对于正在学习hadoop的朋友来说，hadoop运行环境部署真的是件非常头疼的事情。
早在十年前，市场上就出现了很多和云计算相关的岗位，当时正是云计算技术最火热的时代，不管是BAT还是华为等企业都开始布局云计算，于是OpenStack研发、容器研发、底层开发等相关岗位相应地也越来越多，虽然这几年大数据和AI的风头已经完全压过了云计算，但是这一门技术仍然在现如今的技术体系中占有很重要的位置。那么，到底什么是云计算，就是我们每一个要学习云计算技术的朋友要了解的事情了，根据百度百科的介绍
---- 环境准备 服务器集群 我用的CentOS-6.6版本的4个虚拟机，主机名为hadoop01、hadoop02、hadoop03、hadoop04，另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的) 关于虚拟机的安装可以参考以下两篇文章： 在Windows中安装一台Linux虚拟机 通过已有的虚拟机克隆四台虚拟机 服务器集群中已经搭建了hadoop集群(完全分布式和HA集群都可以) 参考 Hadoop完全分布式集群搭建 Hadoop高可用(HA)集群
好多人问我，这种「基于大数据平台的xxxx」的毕业设计要怎么做。这个可以参考之前写得关于我大数据毕业设计的文章大数据方向毕业设计，选题和实现思路。这篇文章是将对之前的毕设进行优化。
安装VMware，使用三台 Ubuntu18.04 虚拟机进行集群搭建，下面是每台虚拟机的规划：
我们看到“Java 死了吗？” 这个问题，年年都被抛出来，然而至今为止，从所有的第三方统计来看，Java 不仅活的很好，还在保持增长。虽然不断有新的语言面世，TIOBE 仍将 Java 评选为 2015 年度最热门语言，目前显示它相比 2014 年，用户增加了 5%，高于其他所有编程语言。
ZooKeeper 是一个分布式应用程序协调服务，主要用于解决分布式集群中应用系统的一致性问题。ZooKeeper 的应用场景包括但不限于统一命名服务、集群管理 和 分布式锁 等。其架构图大致如下：
2) Xshell（可选）：用于在本地访问虚拟服务器，也可选择其他远程工具，如SecureCRT
虽然我们在虚拟机客户端上能很快通过shell命令，进行执行一些已经封装好实例程序，但是在应用中还是是自己写程序，然后部署到服务器中去，下面，我通过程序进行浅谈一个程序的部署过程。
这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下：
狭义的理解，云计算是分布式计算的集中，可以将一个复杂的计算任务分解后分配给“云”上的多台设备上。目前，在广义上讲，云计算是一种全新的概念，而不是一种全新的技术。所谓“云计算”，就是把计算资源、存储资源、网络资源等抽象为一个“云”，并且能够对外提供服务。之所以说云计算不是全新的技术，就是因为这种“云”的实现没有使用全新的技术，而是将之前的技术进行了整合，最终退出的一项互联网网络服务。
本文详细介绍搭建4个节点的完全分布式Hadoop集群的方法，Linux系统版本是CentOS 7，Hadoop版本是2.7.7，JDK版本是1.8。
所谓Kafka伪分布式，就是一个节点启动多个Kafka服务，只需要新增加server.properties配置文件，并按照新的配置文件再启动一个服务即可，当然数量可以看自己心情，我这里就再启动一个kafka服务
在使用 Linux 虚拟机 需要敲击命令时，当只有一台虚拟机还好，不用来回切换；但如果我们有多台虚拟机同时使用呢？
大数据平台的开发环境搭建，我们前面已经说过了，需要搭建Hdfs，Yarn，Spark，HBase，Hive，ZK等等，在开发环境下搭建是用于开发测试的，全部部署在VM 虚拟机里面，小数据量小运算量还可以，数据量运算量一旦上来，虚拟机是玩不转的，这就牵涉到生产环境的Hadoop的生态搭建，难道也需要我们一步一步来搭建吗？ 几台还可以，那么上百台呢？ 难道也需要一台台搭建吗？ 显然不可以，有没有什么好的Hadoop生态的搭建工具呢？ 国外有俩家企业做了这些事，hortonworks公司推出的Ambari+HDP套件 和 Cloudrea公司推出的 CM+CDH 套件，不过这俩家公司 18年底合并了,不过这并不影响我们的使用。 2. CM+CDH介绍 CM是Cloudrea Manager的简称，是Cloudrea 提供的生产环境的Hadoop 生态部署工具，工具套件为CM+CDH,CM负责监控动态管理及部署Hadoop生态服务，CDH里面包含了绝大多数的Hadoop生态中的服务，包含Hdfs，Yarn，ZK，Hive，Hbase，Flume，Sqoop，Spark等。整体上与前面说所得Ambari + HDP类似。 CM+CDH有免费版和收费版，收费版当然功能更加强悍，比如支持回滚，滚动升级，支持Kerberos，SAML/LDAP支持，SNMP支持，自动化备份和灾难恢复，不过在我们看来，免费版已经够我们使用了。 这里简单和Ambari + HDP对已一下，CDH在部署Hadoop生态上，整体与HDP类似，通过WEB端动态部署Hadoop生态， Name Web Server Tools hortonworks Ambari HDP HDP-Util Cloudrea CM CDH CDH-Util CM+CDH套件组成 CM：WEB应用程序，后台为Ambari Server，负责与HDP部署的集群工作节点进行通讯，集群控制节点包括Hdfs，Spark，Zk，Hive，Hbase等等。 CDH：HDP包中包含了很多常用的工具，比如Hadoop，Hive，Hbase，Spark等 CDH-Util：包含了公共包，比如ZK等一些公共组件。 3. CM+CDH 部署
刚接触大数据的朋友最容易产生以下误解，下面就让我把这些误解分别介绍一下，看看你有没有进入这些误区。
为了解决上面的问题，这里给引入一共自动化部署的工具Vagrant，Vagrant是一个基于Ruby的工具，用于创建和部署虚拟化开发环境。它 使用Oracle的开源VirtualBox虚拟化系统，使用 Chef创建自动化虚拟环境。使用Vagrant我们可以通过自己编写的脚本来一键自动化部署虚拟机并安装操作系统。其中一共很大的好处就是，例如我们需要搭建一套大数据的框架，并给多位同时一起使用，但是要保证环境一致，如果手动安装将要耗费大量时间。所以我们可以创建一个项目，之后写上框架搭建的脚本，这样需要运行项目的时候，让同事执行一下脚本即可快速进行环境搭建部署，这样就可以大大节省时间，不用考虑虚拟机的安装问题。使用VirtualBox的原因是这个软件是开源免费的，不同于VMware需要进行付费使用，他与vagrant可以达到很好的配合。
root@linuxidc:~# egrep -o '(vmx | svm)' /proc/cpuinfo
这些前置技能就是仅供参考，等到学习大数据时，搭建Hadoop环境等的，能够很好的帮助理解。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
