改用户名，administrator改为hadoop，即改为linux集群的用户名，我的为hadoop
大数据实时处理之美：参与问答活动获得实时计算书籍（活动时间：10月18日-24日）（点击“阅读原文”即可参与）
In 1994, the first Beowulf Cluster was built at NASA, using Linux, as an alternative to the very expensive HPC supercomputers. “Beowulf Clusters are scalable performance clusters based on commodity hardware, on a private system network, with open-source software (Linux) infrastructure. The designer can improve performance proportionally with added machines. The commodity hardware can be any of a number of mass-market, stand-alone compute nodes as simple as two networked computers, each running Linux and sharing a file system, or as complex as 1,024 nodes with a high-speed, low-latency network.” 1994年，在NASA,使用Linux建立了第一个Beowulf集群，作为昂贵的HPC超级计算机的一种替代品。 “Beowulf集群是基于商用硬件的可扩展的高性能集群，建立在专用的系统网络和开源软件（Linux）基础设施上。设计者可以通过按比例添加机器来提高性能。硬件可以是简单的只需两台联网计算机组成的计算节点，每个节点都运行Linux,并共享一个文件系统，或复杂的像具有高速，低延迟的1,024节点的网络。“
有hadoop01-04 四个节点，现在只开hadoop01，只用master 修改master节点的 /etc/local/hadoop/etc/hadoop/slaves文件 将hadoop01加入，即之前没有hadoop01，表明master节点只有namenode，没有datanode， 现在将datanode让之启动，就可以使master有双重身份 其他配置，其他节点的配置，均不改 以上类似伪分布式，但是更灵活，本身为完全分布式状态，只运行hadoop01时即为节点缺省状态，当其他节点运行时，不用任何改动即可以成为一个集群。 完。
我在 hadoop01、hadoop02、hadoop03 和 hadoop04 这4台节点上启动 HBase，其中 hadoop01、hadoop02 为 HMaster，hadoop02、hadoop03、hadoop04 为 HRegionServer，在 hadoop01 上执行启动命令：
Linux集群主要分成三大类：高可用集群(High Availability Cluster)、负载均衡集群(Load Balance Cluster)、科学计算集群(High Performance Computing Cluster)。
LVS是一个开源的软件，可以实现LINUX平台下的简单负载均衡。LVS是Linux Virtual Server的缩写，意思是Linux虚拟服务器。
本书把企业内常用的服务部署方式做了较为详尽的介绍，其中有很多服务都是企业内的核心服务，如：apache、FTP、DHCP等，读者需要详尽的把各个实验多做多练，把理论原理理解透彻，以便于在实际工作中使用。
根据百度的解释： 集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。
Linux集群概述 根据功能划分为两大类：高可用和负载均衡 高可用集群通常为两台服务器，一台工作，另外一台作为冗余，当提供服务的机器宕机，冗余将接替继续提供服务 - 高可用衡量标准，4个九，就是99.99%，表示一个比例，在一年时间内99.99%的时间都是在线的，不允许宕机，不允许服务不可用。另外还有的是5个九，6个九 实现高可用的开源软件有：heartbeat、keepalived heartbeat软件，在centos6中有很多bug，而且很久没有更新版本了，不建议继续使用 keepalived软
随着linux系统的成熟和广泛普及，linux运维技术越来越受到企业的关注和追捧。在一些中小企业，尤其是牵涉到电子商务和电子广告类的网站，通常会要求作负载均衡和高可用的Linux集群方案。 那么如何实施linux集群架构，才能既有效保证网站健康运行，又能节省运维成本呢？ 下面依据近几年的运维经历，简单梳理下自己的一点感悟。 （1） 机房的选择 如果有自己公司的机房那是再好不过的了；如果没有，建议放在BGP机房内托管，如果有选择的话，最好是选择带有硬件防火墙的机房，这样在安全方面也有保障； 网站如若是放在ID
通过Docker EE 2.0, Docker现在支持跨多个操作系统的Kubernetes和Docker Swarm容器环境。
HACMP，全称为IBM High Availablity Cluster Multiprocessing。
集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象是一个服务实体，但事实上集群由一组服务实体组成。与单一服务实体相比较，集群提供了以下两个关键特性：
Linux HA将整个集群虚拟成一个IP对外提供服务（在一个网口又申请一个物理网络中独立ip），当主节点挂了，会按照ha.cf中的配置节点顺序，进行切换，当主节点恢复时，又夺得集群ip，从而有效管理Linux集群。
Slurm是一个开源，容错，高度可扩展的集群管理和作业调度系统，适用于大型和小型Linux集群。主要有三个功能：
简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。
开发运维工具与软件开发领域的最佳实践密切相关，也与必要的规范密切相关。在整个开发生命周期涉及到一大批新旧工具，从规划、编码、测试、发布到监控。本文介绍你应该考虑添加到工具箱中的20种开发运维工具，供大
一、目前网站架构一般分成负载均衡层、web层和数据库层，我其实一般还会多加一层，即文件服务器层，因为现在随着网站的PV越来越多，文件服务器的压力也越来越大;不过随着moosefs、DRDB+Heartbeat的日趋成熟，这问题也不大了.网站最前端的负载均衡层称之为Director，它起的是分摊请求的作用，最常见的就是轮询。 二、F5是通过硬件的方式来实现负载均衡，它较多应用于CDN系统，用于squid反向加速集群的负载均衡，是专业的硬件负载均衡设备，尤其适用于每秒新建连接数和并发连接数要求高的场景;L
发运维工具与软件开发领域的最佳实践密切相关，也与必要的规范密切相关。在整个开发生命周期涉及到一大批新旧工具，从规划、编码、测试、发布到监控。本文介绍你应该考虑添加到工具箱中的20种开发运维工具，供大家参考。
集群是一组协同工作的服务实体，用以提供比单一服务实体更具扩展性与可用性的服务平台。在客户端看来，一个集群就象是一个服务实体，但事实上集群由一组服务实体组成。与单一服务实体相比较，集群提供了以下两个关键特性： image.png 先说区别： 一句话：分布式是并联工作的，集群是串联工作的。 1：分布式是指将不同的业务分布在不同的地方。 而集群指的是将几台服务器集中在一起，实现同一业务。 分布式中的每一个节点，都可以做集群。 而集群并不一定就是分布式的。 举例：就比如新浪网，访问的人多了，他可以做一个群集，前
修改ntp server (仅在master即可) 的/etc/ntp.conf
一.用搭建好的两台虚拟机做演示，A机器：192.168.200.129，B机器：192.168.200.128
在搭建Linux集群服务的时候，主服务器需要启动从服务器的服务，如果通过手动启动，集群内服务器几台还好，要是像阿里1000台的云梯Hadoop集群的话，轨迹启动一次集群就得几个工程师一两天时间，是不是很恐怖。如果使用免密登录，主服务器就能通过程序执行启动脚步，自动帮我们将从服务器的应用启动。而这一切就是建立在ssh服务的免密码登录之上的。所以要学习集群部署，就必须了解linux的免密码登录。
随着移动互联网、O2O、云计算、大数据的发展，Linux运维岗位越来越火爆，薪资不比开发低，学习起来比开发容易很多，许多从事IT行业的朋友纷纷转行，甚至一些小白也开始进行Linux运维培训，通过几个月的学习，进军IT行业。
上述问题解决：开启historyserver服务 mr-jobhistory-daemon.sh start historyserver
A comparison of single-cell trajectory inference methods[1](Saelens et al., 2019)的作者做了一个R包--dyno为终端用户提供完整的TI分析流程，dyno特点如下：
作为后端程序员如果你只觉得只要把业务代码写完，功能实现，项目上线后就万事大吉，后期的运维完全不用关心那你就大错特错了。高级的后端程序员不仅要能高效的开发，还要会高效的运维，在遇到线上问题的时候能快速响应并定位修复。
导语： 今天与大家一起探讨如何基于Python构建一个可扩展的运维自动化平台，也希望能与大家一起交流，共同成长。 此次分享将通过介绍OMServer、OManager具备的功能、架构设计、模块定制、安
SQLContext sqlContext = new SQLContext(sc);
Webmin是功能强大的基于Web的Unix/linux系统管理工具。管理员通过浏览器访问Webmin的各种管理功能并完成相应的管理操作。除了各版本的linux以外还可用于: AIX、 HPUX、Solaris、 Unixware、Irix 和FreeBSD等系统
python在Linux集群运维时需要统一python版本，简单的编写python安装脚本，以便统一安装，需要机器有安装包源环境（网络源/本地源）python源码包（下载到本地或在线），源码包国内推荐sohu python源包。 此脚本无任何技术可言，用os.syetem 调用Linux命令，根据返回值判断是否成功执行 仅input_timeout_python 问题 在stackoverflow上寻求的答案。
大海是我多年老友，六七年前我们因OpenStack而相识，然后一起北上创业。创业结束后，他加入了某大厂，成为一名运维骨干。他做事负责，为人靠谱；勤于学习，从OpenStack运维，到K8S和云原生应用运维，不断更新自己的技术栈；喜欢写代码，笃信“能用代码做的事情就不人工做”，经常说“嗨，你看看我新写的这个工具...”；还喜欢分享，写过不少技术文章，我们也常夜聊技术。技术一直在变，我们对技术的热情不变，我们的友情也不变。
而要使用容器把后者运行起来，单通过Docker把一个Cassandra镜像run是没用的。
本文介绍了机器学习的概念、应用、理论和技术，包括监督学习、无监督学习、半监督学习、强化学习等，还介绍了机器学习工具和编程语言以及机器学习面试题和参考复习资料。
中间件：nginx、tomcat、apache、mysql、redis、memcache
集群中只有mapred-site.xml.template，可以从这个文件进行复制
运维工种对于自动化的强烈需求已经显露无疑——作为一个古老的技术工种，在几台、几十台服务器时尚可人肉维护，面对云计算时代动辄上百上千的服务器，单凭人肉维护显然束手无策。想像一下诸如谷歌、阿里云的上万台服务器，如果单凭人工维护恐怕运维就会成为人员需求量最高的工种，没有之一。 在Devops备受推崇的时代，即使开发也难免要接触到一些运维工作。所以今天为大家整理了一些自动化运维的学习资源，希望能够给大家提供一些帮助。作为一名运维工程师，这些只是可能是你的必备，作为一名非运维技术人员，不妨记录下来，有需求之后再行
现在，我们将提交另一个依赖于先前作业的作业。 有许多方法可以指定依赖条件，但是“singleton ”是最简单的。 Slurm -d singleton 参数告诉Slurm在之前所有具有相同名称的作业完成之前不要调度此作业。
随着技术的发展，DBA所做的工作不仅仅是对数据库的维护，所需要的知识可能更多，本文从开发语言、硬件、运维工具、关联软件，网络知识、Linux技能、数据库类型和数据库技能等八个方面对DBA技术栈进行总结，每种分类的简要内容如下： 开发语言： 开发语言可以分为四类，运维开发语言，数据库运维，大数据开发语言，数据库内核开发，牵扯的语言主要是Python，Shell和Go等 硬件方面： RAID卡，SSD固态硬盘，网卡等 运维工具： 包含运维部署工具，监控报警工具，日常运维工具以及一系列压测工具。 关联软件： 包括消息队列，缓存，搜索，服务发现，审计和版本控制等 网络方面： 包含TCP/IP，ethtool，iptables，DNS以及网络硬件 Linux技能： 常用命令，文件系统，系统层命令，IO管理层命令 数据库种类： 关系型（MySQL，SQL server，Oracle），新型数据库（mongodb），大数据（Hbase）。 数据库技能： 数据库开发规范，事务，锁，索引，存储引擎，备份恢复，中间件，优化，高可用，SQL审核 后续随着技术的进步，可能还需要进行一系列的补充。
Lefse软件是宏组学物种研究常用软件，一般大家用在线版本即可。但要搭建在Linux集群环境中有点烦，记录一下折腾过程。
云计算的体系结构由5部分组成，分别为应用层，平台层，资源层，用户访问层和管理层，云计算的本质是通过网络提供服务，所以其体系结构以服务为核心。 如下图： 1，资源层 资源池层是指基础架构屋面的云计算服务
忙了一个月，经历了一段连续工作周末午休的奋斗时光，终于保障了产品的按时发版，也正式的松了口气。睡了几天，让疲劳的身体得以恢复，准备下一次战斗。
CODING 持续部署用于把控构建之后的项目发布与部署交付流程，能够无缝对接上游 Git 仓库、制品仓库以实现全自动化部署。同时还支持 Webhook 等外部对接能力，高效集成各种开发、运维工具。在稳定的技术架构、运维工具等基础上，具备蓝绿发布，灰度发布（金丝雀发布），滚动发布，快速回滚等能力。
摘要：HBase自带许多运维工具，为用户提供管理、分析、修复和调试功能。本文将列举一些常用HBase工具，开发人员和运维人员可以参考本文内容，利用这些工具对HBase进行日常管理和运维。
运维工程师这个岗位不同于后端开发岗位，到底运维工程师平时做什么？老司机告诉你：正规的运维工作是什么的?。而且这个岗位对技能要求是越来越高，不仅仅要求需要知识的深度，还要求要有一定的广度，深度就是需
scp可以实现服务器与服务器之间的数据拷贝（from server1 to server2）
2020 年以来，随着国家在 “新基建” 领域的政策导向，推动云计算自 2017 年后再次迎来了新一轮的发展机遇。同时，由于新冠疫情黑天鹅从根本上冲击了企业的业务模式乃至经营安全，促进企业加速完成数字化转型，也对云计算的应用效能提出了新的需求。
ansible是一种自动化运维工具,基于paramiko开发的,并且基于模块化工作，Ansible是一种集成IT系统的配置管理、应用部署、执行特定任务的开源平台，它是基于python语言，由Paramiko和PyYAML两个关键模块构建。集合了众多运维工具的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能.ansible是基于模块工作的,本身没有批量部署的能力.真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架.ansible不需要在远程主机上安装client/agents，因为它们是基于ssh来和远程主机通讯的.
在管理 Linux 内核时，开发者常常面临着很多问题，比如定位 TCP 协议栈中导致数据包丢失的环节，这些问题可能需要专业的知识和经验才能解决。还有些场景缺乏必要的工具来解决问题，甚至有时即使有相应的工具，也很难使用。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
