首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Hive基本使用——命令行

    基本使用 Hive 用户接口主要有三个:命令行(CLI),客户端(Client) 和 Web界面(WUI)。其中最常用的是 CLI,启动的时候,会同时启动一个 Hive 服务。...Client 是 Hive 的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出 Hive Server 所在节点,并且在该节点启动 Hive Server。...WUI 是通过浏览器访问 Hive的Web工具 这里介绍Hive命令行的一个基本使用 注意:hive命令行语句后面一定要加分号 库操作 创建数据库 hive> create database...zwctest; 查看数据库 hive> show databases; 切换数据库 hive>use database_name; 删除数据库 hive> drop database if exists...database_name; 表操作 创建表:创建一个外部表,表字段有name,sex,age,comment后面内容为字段描述信息 hive> create external table if

    94630

    知乎 Hive Metastore 实践:从 MySQL 到 TiDB

    Hive Metastore 是 Hive 的元信息管理工具,它提供了操作元数据的一系列接口,其后端存储一般选用关系型数据库如 Derby、 MySQL 等。...长此以往,MySQL 在未来的某一天一定会不堪重负,因此优化 Hive 的元数据库势在必行。...迁移流程 将 TiDB 作为 MySQL 的从库,实时同步数据; Metastore 缩容至 1 个,防止多个 Metastore 分别向 MySQL 及 TiDB 写入,导致元数据不一致; 选取业务低峰期...运行概况 1.我们从 Hive 层面对数据库进行了测试,模拟业务高峰期,多并发对百万分区级别的表增删分区,所执行的 Hive SQL 如下: ``` ALTER TABLE '${table_name}...3.数据同步平台上的 Hive 元数据库内的 SDS 表的同步任务时间从 90s 降低到 15s。

    3.4K1816

    如何使用StreamSets从MySQL增量更新数据到Hive

    提示:代码块部分可以左右滑动查看噢 1.文档编写目的 ---- 在前面Fayson介绍了《如何在CDH中安装和使用StreamSets》,通过StreamSets实现数据采集,在实际生产中需要实时捕获MySQL...测试环境 1.StreamSets版本为3.1.2.0 2.CM和CDH版本为5.13.1 3.MariaDB版本为5.5.44 2.环境准备 ---- 1.准备测试表和数据 [root@cdh4 ~]# mysql...5.将Hive Metadata 输出到 HiveMetastore 将Hive Metadata的 Metadata 链接到Hive Metastore ? 修改配置 ?...去HUE 页面查看hive 表中的数据,发现已经更新进来 ? 4.Pipeline流程测试 ---- 1.去mysql 中增加数据并查看 ? 查看管道流信息发现输入输出数量变成了4 ?...去HUE 中查看hive 表的数据,跟mysql 中同步,说明增量更新成功 ?

    16.2K130

    Hive初步使用、安装MySQL 、Hive配置MetaStore、配置Hive日志《二》

    一、Hive的简单使用     基本的命令和MySQL的命令差不多     首先在 /opt/datas 下创建数据 students.txt     1001  zhangsan     1002  ...string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';        显示表的结构 : desc student; 从外部导入数据...查看系统是否自带Mysql,将系统上的MySQL卸载 ?    然后首先安装Mysql-Server 其中有个重要的目录要查看 里面记录着Mysql的随机密码 ? ?    ...OK,退出Mysql之后在重新登录一下,登录成功! 三、Hive配置metastore    首先进入到Hive的安装目录中 /opt/moudles/hive-.....    ...配置好后执行一下 bin/hive 在mysql数据库中可以看见 hive给自动创建的数据库 ?   查看一下这个数据库中的表 ?

    1.5K40

    MySQL 的几种进入方式

    (下载入口) 1 Windows系统  1.1  程序安装版(msi)   根据上面的链接入口,进入官网下载页面后,找到下图中对应的下载位置 。...从三个版本 zip 包的解压目录结构可以看到很大的区别,其实只有 5.6.x 版本才称得上是真正的绿色版,解压后运行 bin 目录下的 mysqld.exe ,你就可以从任务管理器中找到 mysql 的进程了...通常,要将MySQL添加到Windows服务,您应该使用具有管理员权限的帐户登录。为避免冲突,建议从命令行执行添加或删除服务操前先关闭已经在运行的MySQL"服务"程序。...官方文档是这样表述的:从MySQL 5.7.18开始,my-default.ini不再包含在分发包中或由分发包安装...如果没有配置文件,服务器只会以其默认设置启动。...附:配置文件(my.ini或my.cnf)信息: [mysql] 命令行登录默认设置

    4.8K30

    从MySql 导数 到Hive数据不一致问题

    从MySql 导数 到Hive数据不一致问题 作者:幽鸿     最近在使用Sqoop的时候,发现从MySql导入到Hive的数据莫名其妙会多少好多,并且没有任何规律可循。...最后观察发现是由于MySql中存储的一个大字段中含有若干干扰字符导致而成: ?     而Hive在碰到\n\r等的时候,会被默认识别为换行,即一条数据可能被拆分成多条数据。...而sqoop显然考虑到了这个问题,只需在sqoop中加上--hive-delims-replacement "#"参数就可避免这种问题,但是该字段却不可还原了。...我们可以现将数据导入到HDFS,使用-z命令: sqoop import --connect "jdbc:mysql://$ip:$port/$DBName?...delete-target-dir -m 1 --null-string '\\N' --null-non-string '\\N' -z --where "1=1"     导入数据成功以后,我们可以将数据从/

    1.9K10

    Apache-Hive 使用MySQL存储Hive的元数据

    但是这样就会出现一个情况:Derby是单例的,当你在一个终端打开了hive时,在另外一个终端打开hive命令行会报错。所以使用MySQL来存储元数据能够解决这个问题,并且也更方便迁移和备份。...-8.0.21.jar,将jar包移动至 /opt/apache-hive-1.2.2-bin/lib 下 配置Hive中MySQL的连接 第一步,在Hive的conf目录中新建文件hive-site.xml...://localhost:3306/hive_metastore?...2、配置MySQL后,第一次打开hive的时候Cli无响应: 这个问题查阅了很多资料并没有找到更加详细的信息,但是经过DEBUG初步判断还是MySQL数据库的问题,导致Hive第一次启动时无法正常完成Metastore...的数据表的初始化,按照上述第三步,在启动Hive前初始化下数据表即可:使用 schematool -dbType mysql -initSchema 命令进行初始化。

    3.6K30

    Hive基础01、安装MySQL

    Hive基础01、安装MySQL 目录 1、安装需要的包 2、卸载不需要的包 3、安装MySQL服务端 4、安装MySQL客户端 5、登录MySQL 6、修改密码 7、分配master权限 8、刷新权限...登录测试  ---- 1、安装需要的包 前置位置有【MySQL-server-5.1.73-1.glibc23.x86_64.rpm】和【MySQL-client-5.1.73-1.glibc23.x86...Perl一种功能丰富的计算机程序语言,运行在超过100种计算机平台上,适用广泛,从最初是为文本处理而开发的,现在用于各种任务,包括系统管理,Web开发,网络编程,GUI开发等。...ypdomainname同domainname. 2、卸载不需要的包 yum remove mysql-libs -y 3、安装MySQL服务端 rpm -ivh MySQL-server-5.1.73...-1.glibc23.x86_64.rpm 4、安装MySQL客户端 rpm -ivh MySQL-client-5.1.73-1.glibc23.x86_64.rpm 5、登录MySQL mysql

    1.1K10
    领券