配置Hive实验环境（二）本地部署

原创

esse LL

修改于 2024-03-10 16:41:00

3560

修改于 2024-03-10 16:41:00

文章被收录于专栏：操作系统实验

hive setup with mysql

1. 安装JDK 8

yum -y install java-1.8.0-openjdk*

2. 安装配置Hadoop

2.1 下载压缩档

cd ~ # 如果切到别的目录了就先切换到家目录
# wget "http://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz" --no-check-certificate
wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.10.2/hadoop-2.10.2.tar.gz

2.2 解压缩

假设 /opt 是所有程序的安装路径

tar -xzvf ~/hadoop-2.10.2.tar.gz -C /opt
mv /opt/hadoop-2.10.2 /opt/hadoop # 重命名

2.3 配置SSH

ssh-keygen -t rsa
# 按回车，密码留空不用输入
passwd # 重置密码，如果记得密码的话可以跳过这个命令
ssh-copy-id localhost
# 输入yes进入下一步，输入刚刚设定的密码

设置完毕后，ssh localhost 不提示输入密码就表示已经设置好了公钥验证登陆

2.4 设置环境变量

# export JAVA_HOME="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.402.b06-1.el7_9.x86_64"
echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile
echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.402.b06-1.el7_9.x86_64" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.402.b06-1.el7_9.x86_64" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

2.5 使用vi编辑配置文件

vim /opt/hadoop/etc/hadoop/core-site.xml

按G定位光标到最后一行，然后按k上移一行，然后按小写字母o新建一行开始粘贴：

    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

按esc输入:wq保存（没有进到底行模式的话多按几次冒号）

按ESC会光标变成空心，就用鼠标点一下光标附近，让光标变成实心就可以按冒号了，注意使用英文冒号如果不小心粘错了，舍弃掉修改（按esc输入:q!按回车）然后重新用vi打开

第二个文件的配置方式相同：

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

按G定位光标到最后一行，然后按k上移一行，然后按小写字母o新建一行开始粘贴：

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>

按esc输入:wq保存（没有进到底行模式的话多按几次冒号）

2.6 启动HDFS

初始化HDFS名称节点：

hdfs namenode -format

启动必要的进程：

start-dfs.sh
start-yarn.sh

jps 查看进程：

2.7 在HDFS中创建目录

hadoop fs -mkdir       /tmp
hadoop fs -mkdir -p    /user/hive/warehouse
hadoop fs -chmod g+w   /tmp
hadoop fs -chmod g+w   /user/hive/warehouse

3. 安装MySQL数据库

3.1 安装MySQL5.7

wget http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server --nogpgcheck

使用 mysqld -V 查看是否安装完成（显示5.7.44）

3.2 启动MySQL

启动服务进程：

systemctl start mysqld.service
systemctl status mysqld.service # 出现绿色的active就可以继续了

查看临时密码：

grep "password" /var/log/mysqld.log
# 最后的随机字符串就是临时密码
# 复制的时候字母数字符号都要选上，两边的空格不要

使用临时密码登录：

mysql -uroot -p # 粘贴上临时密码，按回车继续

因为密码不回显，所以失败的话多试几次

修改密码：

set global validate_password_policy=0;  #修改密码安全策略为低（只校验密码长度，至少8位）
set global validate_password_length=4; #密码最少4位
ALTER USER 'root'@'localhost' IDENTIFIED BY '123456'; # 修改密码
-- GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456';

完成设置后输入exit或者quit退出

4. 安装配置Hive

4.1 下载解压、设置环境变量

wget https://mirrors.bfsu.edu.cn/apache/hive/hive-2.3.9/apache-hive-2.3.9-bin.tar.gz
tar -xzvf apache-hive-2.3.9-bin.tar.gz -C /opt/
mv /opt/apache-hive-2.3.9-bin/ /opt/hive
echo 'export HIVE_HOME=/opt/hive/' >> /etc/profile
echo 'export PATH=$PATH:$HIVE_HOME/bin' >> /etc/profile
source /etc/profile
echo "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.402.b06-1.el7_9.x86_64" >> /opt/hive/conf/hive-env.sh

运行 hive --version 命令验证程序是否已安装

4.2 使用vi编辑配置文件

alias vi=vim # 取个别名，使用带语法高亮的vim替代vi
cd /opt/hive
# 这里不用本地部署中的拷贝操作，而是建一个新的文件使用
vi conf/hive-site.xml

按i后粘贴代码，需要注意的是代码里面的密码需要跟刚刚设置的MySQL登录密码相同

<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
        <description>JDBC connect string for a JDBC metastore</description>    
    </property>   
    <property> 
        <name>javax.jdo.option.ConnectionDriverName</name> 
        <value>com.mysql.jdbc.Driver</value> 
        <description>Driver class name for a JDBC metastore</description>     
    </property>               
    <property> 
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>username to use against metastore database</description>
    </property>
    <property>  
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
        <description>password to use against metastore database</description>  
    </property>          
</configuration>

4.3 设置JDBC驱动

cd ~
wget https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql-connectors-community-el7-x86_64/mysql-connector-java-8.0.30-1.el7.noarch.rpm
rpm2cpio mysql-connector-java-8.0.30-1.el7.noarch.rpm | cpio -idmv
cp ./usr/share/java/mysql-connector-java.jar $HIVE_HOME/lib

4.4 使用MySQL初始化元数据库

# 初始化元数据库：
schematool -initSchema -dbType mysql

成功后会提示completed：

5. 使用Hive

# 新建连接：
beeline -u jdbc:hive2:// -n scott -p tiger

使用SQL语法查看已有的数据库：

show databases;

操作数据库：

create database if not exists z3;
-- 查看已有的数据库：
show databases;
-- 查看某个数据库的信息：
desc database z3; -- 或者 desc schema z3;
-- 删除某个数据库：
drop database z3;

建库建表：

create database if not exists z3;
create table if not exists z3.client(
    id int,
    name string,
    phone_number string,
    vip_rank int,
    balance int
) comment '张三的客户表，用来存在张三的网站上充了会员的账户，有手机号码、会员等级、账户余额等信息'
row format delimited fields terminated by ',';

查看表：

use z3;
-- 查看z3库内的表：
show tables;
-- 查看某个表的表结构：
desc client;

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

apache hive

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

apache hive

登录后参与评论

0 条评论

热度