jps位于jdk的bin目录下,其作用是显示当前系统的java进程情况,及其id号。 jps相当于Solaris进程工具ps。不象”pgrep java”或”ps -ef grep java”,jps并不使用应用程序名来查找JVM实例。因此,它查找所有的Java应用程序,包括即使没有使用java执行体的那种(例如,定制的启动 器)。另外,jps仅查找当前用户的Java进程,而不是当前系统中的所有进程。
Hadoop,zookeeper,HBase,Spark集群环境搭建【面试+工作】
在linux环境下显示一个进程的信息大家可能一直都在使用ps命令,比如用以下命令来显示当前系统执行的java进程:
前言:在网上有好多说是以 root 身份 vi /etc/profile,然后在下面加一行 export PATH="usr/java/jdk160_05/bin:$PATH"(其中 jdk160_05 是你的安装目录,依你自己的安装情况所决定),然后 source /etc/profile 即可解决。
在上篇博客中简单介绍了Zookeeper的特点和应用场景,详情可参考:《Zookeeper简介(一)》,那么这篇博客我们介绍一下关于Zookeeper的单机模式安装步骤与配置。
本文详细介绍搭建4个节点的完全分布式Hadoop集群的方法,Linux系统版本是CentOS 7,Hadoop版本是2.7.7,JDK版本是1.8。
HBase 需要依赖 JDK 环境,同时 HBase 2.0+ 以上版本不再支持 JDK 1.7 ,需要安装 JDK 1.8+ 。JDK 安装方式见本仓库:
我们在大数据的日常生产当中会经常使用到jps命令,如果问起很多人他们都会知道jps命令是用来干什么的,查看java相关的进程。但是这个命令是属于哪个组件提供的呢?最起码可以肯定不是linux系统自带的。
准备至少3台机器(通过克隆虚拟机;配置好网络JDK 时间 hosts,保证节点间能互ping通)
1.环境前置说明: MAC电脑:自带的ssh终端 ssh hadoop@hadoop-machine ssh hadoop@192.168.21.166 Windws系统:CRT,XShell客户端 远程服务器:CentOS 6.7 hadoop-machine(192.168.21.166)是远程服务器的hostname 如果想在本地通过ssh hadoop@hadoop-machine远程登录, 那么本地的hosts肯定要添加ip和hostname的映射 192.168.21.16
node0、node1、node2三台机器之间要设置SSH免密码登录,详细的设置步骤请参考《Linux配置SSH免密码登录(非root账号)》;
Zookeeper 是一个开源的分布式的,为分布式框架提供协调服务的 Apache 项目。
第一步 上传1.8jdk的压缩包,并解压 文件上传的路径为/export/soft jdk解压的路径是/export/install 第二步:配置环境变量 在/etc/profile.d目录下创建一个java.sh文件,在该文件内编辑环境变量 export JAVA_HOME=/export/install/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin 说明: JAVA_HOME=/export/install/jdk1
修改HOSTANME vi /etc/sysconfig/network 修改HOSTNAME和IP的映射 vi /etc/hosts 关闭防火墙 service iptables stop 关闭防火墙的开机启动 chkconfig iptables off 重启linux服务器 reboot
jps 查看进程是正常的,但是 zkServer.sh status 查看的时候报错。
本文的目的是为当前最新版本的Hadoop 2.4.0提供最为详细的安装说明,以帮助减少安装过程中遇到的困难,并对一些错误原因进行说明。本文的安装只涉及了hadoop-common、hadoop-hdfs、hadoop-mapreduce和hadoop-yarn,并不包含HBase、Hive和Pig等。
集群中只有mapred-site.xml.template,可以从这个文件进行复制
Apache Hadoop是一个开源框架,用于分布式存储以及在商用硬件上运行的计算机集群上的大数据的分布式处理。 Hadoop将数据存储在Hadoop分布式文件系统(HDFS)中,并使用MapReduce完成这些数据的处理。 YARN提供用于在Hadoop集群中请求和分配资源的API。
生产环境中直接排查 JVM 的话,最简单的做法就是使用 JDK 自带的 6 个非常实用的命令行工具来排查。它们分别是:jps、jstat、jinfo、jmap、jhat 和 jstack,它们都位于 JDK 的 bin 目录下,可以使用命令行工具直接运行,其目录如下图所示:
第二步: 在你的根目录下创建一个有父级目录的文件夹 命令: mkdir -p /export/soft
这篇博客小菌为大家带来的是如何在Linux的CentOS上如何安装jdk?
首先献上Hadoop下载地址: http://apache.fayea.com/hadoop/core/ 选择相应版本,点一下,直接进行http下载了。 对原来写的一篇文章,相当不满意,过于粗糙了,于是删除重新再来。言归正传: 题前说明: 我一共三台机器,机器名分别是: master slave1 slave2 登录名统一是:master 我先在master机器上执行以下操作: 一、解压缩 这里需要说明下,根据网上的教程,解压缩后,把文件copy到/usr/目录下。在master机器启动的时候,一直提示,
1:输入命令ssh-keygen 四个回车 生成公钥和私钥 2: 输入命令ssh-copy-id 把本地主机的公钥复制到远程主机的authorized_keys文件上 3: ssh 主机名或者ip地址 注: 无密码登录先要关闭防火墙和selinux
1.安装前提条件 (1)首先安装jdk,最好安装1.7及1.7以上版本,并且安装jdk的环境变量 vi ~/.bashrc export JAVA_HOME=/usr/local/software/jdk1.8.0_141 export PATH=$JAVA_HOME/bin:$PATH (2)检查ssh和sshd是否安装,如果没有安装, ubuntu下面安装ssh和sshd: $ sudo apt-get install ssh $ sudo apt-
Apache NiFi可以基于Linux和Window安装,这里建议基于Linux安装。安装NiFi的节点需要安装JDK8,NiFi0.x版本需要JDK7。NiFi安装可以单节点安装,也可以分布式安装。我们这里安装NiFi的1.13版本,需要JDK8。
Hadoop是Apache的一个伪分布式文件系统的开源项目。作者名为Doug Cutting,Hadoop项目是他通过Google的发布三篇论文所启发,分别为GFS、MapReduce和BigTable。Hadoop最受欢迎是致力于搜索大量数据进行分类工具。
输出java版本 虽然默认已经将Java的路径配置到了系统环境变量中,但由于后续需要使用JAVA_HOME,我们最好将JAVA_HOME显式写入到系统的配置文件中。参考链接:https://segmentfault.com/a/1190000007950960
简介 Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System),简称 HDFS。HDFS 有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。 Hadoop的框架最核心的设计就是:HDFS
Linux下 安装好了jdk,输入jps时,系统提示“-bash: jps: command not found”。
上学期在Mac上搭建好了Hadoop,因为这学期开学重装了系统就没了,以为不会再折腾,结果大数据作业又要整hadoop,于是乎,爱折腾的程序猿又来折腾咯,有过上一次安装的经历,这次简单多了,下面简单的列举主要步骤。
根据网上的文章搭建了Hadoop 2.2.0的环境,具体内容如下,备用后续自己做参考。
ZooKeeper可以独立搭建集群,HBase本身不能独立搭建集群需要和Hadoop和HDFS整合。
Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。 Hadoop官方网站:http://hadoop.apache.org/
10、服务器集群:192.168.0.110(master),192.168.0.111(slave1),192.168.0.112(slave2)
先参考:《Hadoop-2.3.0-cdh5.1.0伪分布安装(基于CentOS)》 http://www.linuxidc.com/Linux/2014-09/106372.htm
在使用jps命令之前,可以先使用jps -help来查看jps命令相关的使用方法,包括有哪些参数等~
---- 软件准备 一台Linux虚拟机 我用的CentOS-6.6的一个虚拟机,主机名为repo 参考在Windows中安装一台Linux虚拟机 该虚拟机中安装了JDK 参考在Linux中安装JDK 该虚拟机可以免秘钥登录自身 参考配置各台虚拟机之间免秘钥登录 hadoop安装包 下载地址:https://mirrors.aliyun.com/apache/hadoop/common/ 我用的hadoop2.6.5 ---- 1. 把hadoop安装包上传到服务器并解压 [root@r
安装其实很简单,把下载下来的Hadoop文件拷贝到相应的目录下,然后接压缩即可,关键是先要安装好JDK,前期的Linux要配置好。
1、手动下载然后上传服务器 下载地址:https://hadoop.apache.org/releases.html
用来查看基于HotSpot JVM里面所有进程的具体状态, 包括进程ID,进程启动的路径等等。与unix上的ps类似,用来显示本地有权限的java进程,可以查看本地运行着几个java程序,并显示他们的进程号。使用jps时,不需要传递进程号做为参数。
jps是java提供的一个显示当前所有java进程pid的命令,适合在linux/unix平台上简单察看当前java进程的一些简单情况。
本文为大数据基础系列 4:伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析,以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例。本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章,我个人是很有自信的,一篇文章掌握一门课程核心技术点。
1.搭建Hadoop环境需要Java的开发环境,所以需要先在LInux上安装java
大数据基础学习四:伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤、易错点分析及需要注意的问题(以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例),本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章,我个人是很有自信的,一篇文章掌握一门课程核心技术点。
程序员免不了要与windows和linux打交道,在windows写启动脚本时要要用到bat,而在linux时则要使用到shell脚步。shell脚步具有严格的格式,稍不注意就会出问题,今天分享一个小经验,但是受益程序员终身。下面是网上找来的一段shell脚本:
本篇引用文章地址: https://blog.csdn.net/u014454538/article/details/81103986
jps(JVM Process Status) 命令类似 UNIX 的 ps 命令。
hadoop 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。云计算大数据到现在是越来越火,而hadoop成为大数据不可或缺的分布式大数据计算平台。 Ha
可知 2T 挂载在 data 目录下,所以接下来的部署主要在 data 目录下进行。
领取专属 10元无门槛券
手把手带您无忧上云