大数据技术之_24_电影推荐系统项目_07_工具环境搭建(具体实操)
第2章 工具环境搭建(具体实操)2.1 MongoDB（单节点）环境配置2.2 Redis（单节点）环境配置2.3 ElasticSearch（单节点）环境配置2.4 Azkaban（单节点）环境配置2.4.1 安装 Git2.4.2 编译 Azkaban2.4.3 部署 Azkaban Solo2.5 Spark（单节点）环境配置2.6 Zookeeper（单节点）环境配置2.7 Flume-ng（单节点）环境配置2.8 Kafka（单节点）环境配置2.9 Apache 环境配置2.10 Tomcat 环境配置2.11 开发环境配置2.11.1 安装IDEA（略）2.11.2 Postman 安装2.11.3 安装 nodejs2.11.4 安装AngularJS CLI
第2章 工具环境搭建(具体实操)
2.1 MongoDB（单节点）环境配置
[atguigu@hadoop102 software]$ pwd
/opt/software
// 通过 wget 下载 Linux 版本的 MongoDB
[atguigu@hadoop102 software]$ wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.4.3.tgz
// 将压缩包解压到指定目录 /opt/module 下
[atguigu@hadoop102 software]$ tar -zxf mongodb-linux-x86_64-rhel62-3.4.3.tgz -C /opt/module/
// 将解压后的文件重命名为 mongodb
[atguigu@hadoop102 module]$ mv mongodb-linux-x86_64-rhel62-3.4.3/ mongodb
// 在安装目录下创建 data 文件夹用于存放数据和日志
[atguigu@hadoop102 mongodb]$ mkdir /opt/module/mongodb/data
// 在 data 文件夹下创建 db 文件夹，用于存放数据
[atguigu@hadoop102 mongodb]$ mkdir /opt/module/mongodb/data/db
// 在 data 文件夹下创建 logs 文件夹，用于存放日志
[atguigu@hadoop102 mongodb]$ mkdir /opt/module/mongodb/data/logs
// 在 logs 文件夹下创建 mongodb.log 文件
[atguigu@hadoop102 mongodb]$ touch /opt/module/mongodb/data/logs/mongodb.log
// 在 data 文件夹下创建 mongodb.conf配 置文件
[atguigu@hadoop102 mongodb]$ touch /opt/module/mongodb/data/logs/mongodb.conf
// 在 mongodb.conf 文件中输入如下内容
[atguigu@hadoop102 data]$ pwd
/opt/module/mongodb/data
[atguigu@hadoop102 data]$ vim mongodb.conf
#端口号
port = 27017
#数据目录
dbpath = /opt/module/mongodb/data/db
#日志目录
logpath = /opt/module/mongodb/data/logs/mongodb.log
#设置后台运行
fork = true
#日志输出方式
logappend = true
#开启认证（为了开发方便，不用输入用户名和密码）
#auth = true完成 MongoDB 的安装后，启动 MongoDB 服务器：
// 启动 MongoDB 服务器
[atguigu@hadoop102 mongodb]$ sudo /opt/module/mongodb/bin/mongod -config /opt/module/mongodb/data/mongodb.conf
about to fork child process, waiting until server is ready for connections.
forked process: 4854
child process started successfully, parent exiting
// 查看 MongoDB 的启动情况
[atguigu@hadoop102 mongodb]$ ps -ef | grep mongo
root 4854 1 1 10:47 ? 00:00:00 /opt/module/mongodb/bin/mongod -config /opt/module/mongodb/data/mongodb.conf
atguigu 4875 4336 0 10:48 pts/0 00:00:00 grep mongo
[atguigu@hadoop102 mongodb]$
// 访问 MongoDB 服务器
[atguigu@hadoop102 mongodb]$ /opt/module/mongodb/bin/mongo
// 停止 MongoDB 服务器
[atguigu@hadoop102 mongodb]$ sudo /opt/module/mongodb/bin/mongod -shutdown -config /opt/module/mongodb/data/mongodb.confMongoDB 的安装小结：
1、MongoDB 如果没有可视化客户端，可以使用 bin/mongo 直接连接。
2、MongoDB 在关闭的时候，也需要通过 -config 来指定启动时指定的文件。
3、MongoDB 不需要安装在 /usr 目录下，可以是任何的目录。
4、启动：bin/mongod -config ./data/mongodb.conf
5、连接：bin/mongo
6、关闭：bin/mongodb -shutdown -config ./data/mongodb.conf2.2 Redis（单节点）环境配置
// 通过 wget 下载 Redis 的源码
[atguigu@hadoop102 software]$ wget http://download.redis.io/releases/redis-4.0.2.tar.gz
// 将源代码解压到指定目录 /opt/module 下
[atguigu@hadoop102 software]$ tar -zxf redis-4.0.2.tar.gz -C /opt/module
// 进入 Redis 源代码目录，编译安装（因为 redis 是用 C 语言写的）
[atguigu@hadoop102 module]$ cd redis-4.0.2/
// 安装 GCC
[atguigu@hadoop102 module]$ sudo yum install gcc
// 编译源代码
[atguigu@hadoop102 redis-4.0.2]$ make MALLOC=libc
// 编译安装
[atguigu@hadoop102 redis-4.0.2]$ sudo make install
// 创建配置文件，放入指定的目录
[atguigu@hadoop102 redis-4.0.2]$ sudo cp /opt/module/redis-4.0.2/redis.conf /opt/module/redis-4.0.2/myredis
// 修改配置文件中以下内容
[atguigu@hadoop102 redis-4.0.2]$ sudo vim /opt/module/redis-4.0.2/myredis/redis.conf
bind 0.0.0.0 #69行 #绑定主机 IP，默认值为127.0.0.1，我们是跨机器运行，所以需要更改
daemonize yes #136行 #是否以后台 daemon 方式运行，默认不是后台运行
pidfile /var/run/redis/redis_6379.pid #158行 #redis 的 PID 文件路径（可选）
logfile "/opt/module/redis-4.0.2/myredis/redis.log" #171行 #定义 log 文件位置，模式 log 信息定向到 stdout，输出到 /dev/null（可选）
dir "/opt/module/redis-4.0.2/myredis" #263行 #本地数据库存放路径，默认为./（可选）
// 编译安装默认存在在 /usr/local/bin 目录下，如下
[atguigu@hadoop102 redis-4.0.2]$ cd /usr/local/bin/
[atguigu@hadoop102 bin]$ ll
总用量 9572
-rw-r--r-- 1 root root 83 5月 8 01:27 dump6379.rdb
-rw-r--r-- 1 root root 83 5月 8 01:27 dump6380.rdb
-rw-r--r-- 1 root root 83 5月 8 01:27 dump6381.rdb
lrwxrwxrwx 1 root root 6 4月 28 17:17 nc -> netcat
-rwxr-xr-x 1 root root 103479 4月 28 17:17 netcat
-rwxr-xr-x 1 root root 290454 5月 23 12:37 redis-benchmark
-rwxr-xr-x 1 root root 2971304 5月 23 12:37 redis-check-aof
-rwxr-xr-x 1 root root 45443 5月 6 17:27 redis-check-dump
-rwxr-xr-x 1 root root 2971304 5月 23 12:37 redis-check-rdb
-rwxr-xr-x 1 root root 419907 5月 23 12:37 redis-cli
lrwxrwxrwx 1 root root 12 5月 23 12:37 redis-sentinel -> redis-server
-rwxr-xr-x 1 root root 2971304 5月 23 12:37 redis-server在安装完 Redis 之后，启动 Redis
// 启动 Redis 服务器
[atguigu@hadoop102 redis-4.0.2]$ redis-server /opt/module/redis-4.0.2/myredis/redis.conf
// 连接 Redis 服务器
[atguigu@hadoop102 redis-4.0.2]$ redis-cli -h 192.168.25.102 -p 6379
// 查看 Redis 的启动情况
[atguigu@hadoop102 redis-4.0.2]$ ps -ef | grep redis
atguigu 6033 1 0 13:08 ? 00:00:00 redis-server 0.0.0.0:6379
atguigu 6046 4336 0 13:12 pts/0 00:00:00 grep redis
// 停止 Redis 服务器
[atguigu@hadoop102 redis-4.0.2]$ redis-cli shutdownRedis 的安装小结：
1、对于源码包，安装三部曲：
1) ./configure 检查依赖环境
2) make 编译
3) make install 编译安装
2、启动：redis-server ./redis.conf
3、连接：redis-cli
4、关闭：redis-cli shutdown2.3 ElasticSearch（单节点）环境配置
// 通过 wget 下载 ElasticSearch 安装包
[atguigu@hadoop102 software]$ wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.2.tar.gz配置 ElasticSearch：
// 解压 ElasticSearch 到安装目录
[atguigu@hadoop102 software]$ tar -zxf elasticsearch-5.2.2.tar.gz -C /opt/module/
在 /opt/module/elasticsearch-5.2.2 路径下创建 data 和 logs 文件夹
// 创建 ElasticSearch 数据文件夹 data
[atguigu@hadoop102 elasticsearch-5.2.2]$ mkdir data
// 创建 ElasticSearch 日志文件夹 logs
[atguigu@hadoop102 elasticsearch-5.2.2]$ mkdir logs
// 修改 ElasticSearch 配置文件
[atguigu@hadoop102 config]$ pwd
/opt/module/elasticsearch-5.2.2/config
[atguigu@hadoop102 config]$ vim elasticsearch.yml
# ---------------------------------- Cluster -----------------------------------
cluster.name: my-application #设置集群的名称
# ------------------------------------ Node ------------------------------------
node.name: node-102 #修改当前节点的名称
# ----------------------------------- Paths ------------------------------------
path.data: /opt/module/elasticsearch-5.2.2/data #修改数据路径
path.logs: /opt/module/elasticsearch-5.2.2/logs #修改日志路径
# ----------------------------------- Memory -----------------------------------
bootstrap.memory_lock: false #设置ES节点允许内存交换
bootstrap.system_call_filter: false #禁用系统调用过滤器
# ---------------------------------- Network -----------------------------------
network.host: 192.168.25.102 #设置当前主机名称
# --------------------------------- Discovery ----------------------------------
discovery.zen.ping.unicast.hosts: ["hadoop102"] #设置集群的主机列表修改 Linux 配置参数：
// 使用 root 用户，修改文件数配置，在文件末尾添加如下配置
[root@hadoop102 elasticsearch-5.2.2]# vim /etc/security/limits.conf
添加如下内容:
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
// 使用 root 用户，修改* soft nproc 1024 为 * soft nproc 2048
[root@hadoop102 elasticsearch-5.2.2]# vim /etc/security/limits.d/90-nproc.conf
修改如下内容：
* soft nproc 1024
#修改为
* soft nproc 2048
// 使用 root 用户，在文件末尾添加：
[root@hadoop102 elasticsearch-5.2.2]# vim /etc/sysctl.conf
添加下面配置：
vm.max_map_count=655360
// 执行命令以下命令，使配置生效
[root@hadoop102 elasticsearch-5.2.2]# sysctl -p在完成 ElasticSearch 的配置以及 Linux 的配置后，启动 ElasticSearch
// 启动 ElasticSearch 服务
[atguigu@hadoop102 elasticsearch-5.2.2]$ ./bin/elasticsearch -d # -d 表示后台启动
// 访问 ElasticSearch 服务
[atguigu@hadoop102 elasticsearch-5.2.2]$ curl http://hadoop102:9200/
{
"name" : "node-102",
"cluster_name" : "my-application",
"cluster_uuid" : "yb29ijbJQ2mBzCHTOjyUGw",
"version" : {
"number" : "5.2.2",
"build_hash" : "f9d9b74",
"build_date" : "2017-02-24T17:26:45.835Z",
"build_snapshot" : false,
"lucene_version" : "6.4.1"
},
"tagline" : "You Know, for Search"
}
// 停止 ElasticSearch 服务
[atguigu@hadoop102 elasticsearch-5.2.2]$ jps
8514 Elasticsearch
8908 Jps
[atguigu@hadoop102 elasticsearch-5.2.2]$ kill -9 8514Elasticsearch head 插件安装（图形化界面）
方式一：参考链接：https://www.cnblogs.com/chenmingjun/p/10817378.html#_label1_3
方式二：安装 Chrome 浏览器插件：Elasticsearch head
Elasticsearch 的安装小结：
1、配置 Linux 的参数，配置完成之后，执行 sudo sysctl -p，使配置生效
2、配置 yml 的时候，value 之前要有个空格
3、启动：bin/elasticsearch -d
4、访问：安装 elasticsearch-head 插件，或者安装 Chrome 插件
5、关闭：kill -9 xxx2.4 Azkaban（单节点）环境配置
2.4.1 安装 Git
// 安装 git
[atguigu@hadoop102 software]$ sudo yum install git
// 通过 git 下载 Azkaban 源代码
[atguigu@hadoop102 software]$ git clone https://github.com/azkaban/azkaban.git
// 进入 azkaban 目录
[atguigu@hadoop102 software]$ cd azkaban/
// 切换到 3.36.0 版本
[atguigu@hadoop102 azkaban]$ git checkout -b 3.36.02.4.2 编译 Azkaban
详细请参照：https://github.com/azkaban/azkaban
// 安装编译环境
[atguigu@hadoop102 azkaban]$ sudo yum install gcc
[atguigu@hadoop102 azkaban]$ sudo yum install -y gcc-c++*
// 执行编译命令
[atguigu@hadoop102 azkaban]$ ./gradlew clean build
// 最终我们在 azkaban/azkaban-solo-server/build/distributions 目录下我们得到 azkaban-solo-server-3.36.0.tar.gz 2.4.3 部署 Azkaban Solo
// 将编译好的 azkaban 中的 azkaban-solo-server-3.36.0.tar.gz 拷贝到指定目录
[atguigu@hadoop102 azkaban]$ cp ./azkaban-solo-server/build/distributions/azkaban-solo-server-3.36.0.tar.gz /opt/software
// 解压 azkaban-solo-server-3.36.0.tar.gz 到指定目录
[atguigu@hadoop102 software]$ tar -zxf azkaban-solo-server-3.36.0.tar.gz -C /opt/module/
// 进入到 /opt/module/ 目录，重命名 azkaban-solo-server-3.36.0 为 azkaban
[atguigu@hadoop102 module]$ mv azkaban-solo-server-3.36.0/ azkaban
// 启动 Azkaban Solo 单节点服务
[atguigu@hadoop102 azkaban]$ bin/azkaban-solo-start.sh
// 访问 Azkaban 服务，通过浏览器打开 http://ip:8081，通过用户名：azkaban，密码：azkaban 登录。
// 关闭 Azkaban 服务
[atguigu@hadoop102 azkaban]$ bin/azkaban-solo-shutdown.shAzkaban Solo 的安装小结：
1、需要将 azkaban 源代码进行编译，编译之前需要注意版本的选择 git checkout -b version
2、获取到 azkaban-solo-server.tar.gz
3、启动：bin/azkaban-solo-start.sh
4、访问：通过 http://IP:8081 默认的用户名和密码是：azkaban
5、停止：bin/azkaban-solo-shutdown.sh2.5 Spark（单节点）环境配置
注意：本次安装在一台 Linux 机器上，安装的模式是单节点 Standalone 模式，所以 Master 和 Worker 在同一台机器上。
// 通过 wget 下载 spark 安装包
[atguigu@hadoop102 software]$ wget https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bin-hadoop2.7.tgz
// 将 spark 解压到安装目录（注意：解压 .tgz 文件需要 root 权限）
[atguigu@hadoop102 software]$ sudo tar –zxf spark-2.1.1-bin-hadoop2.7.tgz –C /opt/module/
// 进入 spark 安装目录
[atguigu@hadoop102 module]$ cd spark-2.1.1-bin-hadoop2.7/
// 复制 slave 配置文件
[atguigu@hadoop102 spark-2.1.1-bin-hadoop2.7]$ cp ./conf/slaves.template ./conf/slaves
// 修改 slave 配置文件
[atguigu@hadoop102 spark-2.1.1-bin-hadoop2.7]$ vim ./conf/slaves
hadoop102 #在文件最后将本机主机名进行添加（注意：是单节点安装）
// 复制 spark-env 配置文件
[atguigu@hadoop102 spark-2.1.1-bin-hadoop2.7]$ cp ./conf/spark-env.sh.template ./conf/spark-env.sh
SPARK_MASTER_HOST=hadoop102 #添加 spark master 的主机名
SPARK_MASTER_PORT=7077 #添加 spark master 的端口号安装完成之后，启动 Spark
// 启动 Spark 集群
[atguigu@hadoop102 spark-2.1.1-bin-hadoop2.7] sbin/start-all.sh
// 访问 Spark 集群，浏览器访问 http://hadoop102:8080
// 关闭 Spark 集群
[atguigu@hadoop102 spark-2.1.1-bin-hadoop2.7] sbin/stop-all.shSpark 的安装小结：
1、需要配置 slaves 文件
2、需要配置 spark-env.sh 文件
3、启动：sbin/start-all.sh
4、访问：http://IP:8080
5、停止：sbin/stop-all.sh2.6 Zookeeper（单节点）环境配置
// 通过 wget 下载 Zookeeper 安装包
[atguigu@hadoop102 software]$ wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
// 将 Zookeeper 解压到安装目录
[atguigu@hadoop102 software]$ tar –zxf zookeeper-3.4.10.tar.gz –C /opt/module/
// 进入 Zookeeper 安装目录
[atguigu@hadoop102 module]$ cd zookeeper-3.4.10/
// 创建 data 数据目录
[atguigu@hadoop102 zookeeper-3.4.10]$ mkdir data/
// 复制 Zookeeper 配置文件
[atguigu@hadoop102 zookeeper-3.4.10]$ cp ./conf/zoo_sample.cfg ./conf/zoo.cfg
// 修改 Zookeeper 配置文件
[atguigu@hadoop102 zookeeper-3.4.10]$ vim conf/zoo.cfg
dataDir=/opt/module/zookeeper-3.4.10/data #将数据目录地址修改为创建的目录
// 启动 Zookeeper 服务
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start
// 查看 Zookeeper 服务状态
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: standalone
// 关闭 Zookeeper 服务
[atguigu@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh stopZookeeper 的安装小结：
1、修改 zoo.cfg 中的数据路径
2、启动：bin/zkServer.sh start
3、检查：bin/zkServer.sh status
4、停止：bin/zkServer.sh stop2.7 Flume-ng（单节点）环境配置
// 通过 wget 下载 Flume 安装包
[atguigu@hadoop102 software]$ wget http://www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
// 将 Flume 解压到安装目录
[atguigu@hadoop102 software]$ tar –zxf apache-flume-1.8.0-bin.tar.gz –C /opt/module/
// 将 flume/conf 下的 flume-env.sh.template 文件修改为 flume-env.sh，并配置 flume-env.sh 文件，如下：
[atguigu@hadoop102 conf]$ mv flume-env.sh.template flume-env.sh
[atguigu@hadoop102 conf]$ vim flume-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_1442.8 Kafka（单节点）环境配置
// 通过 wget 下载 Kafka 安装包
[atguigu@hadoop102 software]$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz
// 将 Kafka 解压到安装目录
[atguigu@hadoop102 software]$ tar –zxf kafka_2.12-0.10.2.1.tgz –C /opt/module/
// 修改解压后的文件名称
[atguigu@hadoop102 module]$ mv kafka_2.11-0.11.0.2/ kafka
// 修改 Kafka 配置文件
[atguigu@hadoop102 kafka]$ vim config/server.properties
host.name=hadoop102 #修改主机名
port=9092 #修改服务端口号
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181 #修改 Zookeeper 服务器地址
// 启动 Kafka 服务 !!! 启动之前需要启动 Zookeeper 服务 !!!
[atguigu@hadoop102 kafka]$ bin/kafka-server-start.sh -daemon ./config/server.properties &
// 关闭 Kafka 服务
[atguigu@hadoop102 kafka]$ bin/kafka-server-stop.sh
// 创建 topic
[atguigu@hadoop102 kafka]$ bin/kafka-topics.sh --create --zookeeper hadoop102:2181 --replication-factor 1 --partitions 1 --topic recommender
// kafka-console-producer
[atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic recommender
// kafka-console-consumer
[atguigu@hadoop102 kafka]$ bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic recommender2.9 Apache 环境配置
// 安装 httpd
[bigdata@linux ~]$ sudo yum install httpd
// 启动 httpd
[bigdata@linux ~]$ sudo service httpd start 或者 /etc/init.d/httpd start
// 关闭 httpd
[bigdata@linux ~]$ sudo service httpd stop 或者 /etc/init.d/httpd stop
// 访问 Apache 服务器，通过浏览器访问：http://ip:80
// 默认的安装目录是：/var/www ，我们的页面放在目录 /var/www/html 中
[atguigu@hadoop102 www]$ ll
总用量 16
drwxr-xr-x. 2 root root 4096 6月 19 2018 cgi-bin
drwxr-xr-x. 3 root root 4096 3月 4 10:12 error
drwxr-xr-x. 2 root root 4096 6月 19 2018 html
drwxr-xr-x. 3 root root 4096 3月 4 10:12 icons2.10 Tomcat 环境配置
// 通过 wget 下载 tomcat 服务器安装包
[atguigu@hadoop102 software]$ wget http://mirror.bit.edu.cn/apache/tomcat/tomcat-8/v8.5.23/bin/apache-tomcat-8.5.23.tar.gz
// 将 tomcat 安装包解压到安装目录下
[atguigu@hadoop102 software]$ tar -xf apache-tomcat-8.5.23.tar.gz -C /opt/module/
// 启动 tomcat 服务
[atguigu@hadoop102 apache-tomcat-8.5.23]$ bin/startup.sh
// 关闭 tomcat 服务
[atguigu@hadoop102 apache-tomcat-8.5.23]$ bin/shutdown.sh
// 访问 tomcat 服务，浏览器打开：http://ip:8080 Tomcat 的安装小结：
1、直接解压即可
2、启动：bin/startup.sh
3、访问：浏览器访问：http://IP:8080
4、停止：bin/shutdown.sh
5、日志：tail -f logs/catalina.out2.11 开发环境配置
2.11.1 安装IDEA（略）
参考链接：https://cloud.tencent.com/developer/article/1388199
2.11.2 Postman 安装
主要用于 REST API 的测试。下载 windows 安装版本，双击默认安装。
2.11.3 安装 nodejs
主要用于前端的开发支持。
在 https://nodejs.org/en/download/ 中下载对应版本的 NodeJS，并安装：
1、点击 Next
2、选择 同意
3、选择安装目录
4、点击 Next
5、点击 Install
6、点击 Finish
验证安装结果：
2.11.4 安装AngularJS CLI
在命令行执行：npm install -g @angular/cli
安装完成
验证安装：
安装完成之后，请重新启动操作系统。
本文参与 腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。
原始发表：2019-05-23 ，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读
目录
相关产品与服务
云数据库 MongoDB
腾讯云数据库 MongoDB（TencentDB for MongoDB）是腾讯云基于全球广受欢迎的 MongoDB 打造的高性能 NoSQL 数据库，100%完全兼容 MongoDB 协议，支持跨文档事务，提供稳定丰富的监控管理，弹性可扩展、自动容灾，适用于文档型数据库场景，您无需自建灾备体系及控制管理系统。
腾讯云开发者
