我们在用 Nacos 做配置中心时配置文件是需要持久化保存的，否则重启之后配置文件不久丢失了吗。我们发现就算没有配置持久化，我们添加的配置文件重启之后依然存在，那么这些文件是存在那里的呢？翻阅文档发现 Nacos 使用嵌入式数据库实现数据的存储，翻阅源码在 pom 中发现其使用的是 derby 嵌入式的数据库，所以当我们在 Nacos 进行相关配置之后，其数据会保存在该数据库中，我们在 Nacos 安装目录中发现有一个 derby-data 的文件夹，这里存放的就是 derby 中的数据。
3.1数据库URL 在连接数据库时必须使用各种与数据库类型相关的参数，比如主机名、端口号和数据库名。JDBC使用了一种与普通URL相类似的语法来描述数据源。 e.g. 常用数据库URL Derby: jdbc:derby://localhost:1527/COREJAVA;create=true PostgreSQL: jdbc:postgresql:COREJAVA MySQL: jdbc:mysql://host:port/database Oracle: jdbc:oracle:thin:@host:port:databse JDBC URL的语法一般为: jdbc:subprotocol:other stuff subprotocol用于指明连接到数据库的特定驱动程序。 other stuff参数的格式随所使用的subprotocol不同而不同。 3.2 驱动程序JAR文件 在运行访问数据库的程序时，需要将驱动程序的JAR文件包括到类路径中（编译时并不需要整个JAR文件） 从命令行启动时，只需要使用下面的命令 java -classpath .;driverJar ProgramName 通过;分号，将当前路径(由 . 字符标示的路径)与驱动程序的JAR文件分隔开。 3.3 启动数据库 数据库服务器在连接之前需要先启动 Derby数据库的启动步骤 (1)打开命令shell(linux)或cmd(windows)窗口C:\"Program Files"\Sun\JavaDB\lib (2)找到derbyrun.jar,一般在JavaDB中(C:\Program Files\Sun\JavaDB\lib) (3)启动服务 : java -jar derbyrun.jar server start (4)配置文件db.properties ij.driver=org.apache.derby.jdbc.ClientDriver ij.protocol=jdbc:derby://localhost:1527/ ij.database=DBNAME;create=true 注意 : 只有配置文件名和database可以使用任意名 (5)在另一个shell/cmd窗口中运行Derby的交互式脚本执行工具 : java -jar derbyrun.jar ij -p db.properties 注意 : 打开交互式执行脚本工具之后，会在derbyrun.jar所在目录下创建以配置文件中ij.database的值命名的文件夹。 (6)在打开的窗口中可以输入SQL语句，以;分号结尾。 (7)退出编辑器EXIT; (8)关闭服务器 : java -jar derbyrun.jar server shutdown 3.4 注册驱动器类 情况一：某些JDBC的JAR文件将自动注册驱动器类(Java Standard Edition Service Provider)，包含META-INF/services/java.sql.Driver文件的JAR文件可以自动注册。 e.g.Derby中lib目录下JAR包derby.jar中包含java.sql.Driver文件。该文件中"org.apache.derby.jdbc.AutoloadedDriver"为Derby的JDBC驱动程序实现名字。 情况二：如果驱动程序JAR不支持自动注册，需要找出数据库提供商使用的JDBC驱动器的名字。 典型的名字如下: Oracle:oracle.jdbc.driver.OracleDriver SQLServer:com.microsoft.jdbc.sqlserver.SQLServerDriver MySQL:org.gjt.mm.mysql.Driver 或com.mysql.jdbc.Driver 注:这里实际上都是调用的com.mysql.jdbc.Driver，下面为org.gjt.mm.mysql.Driver源码
H2是一个采用java语言编写的嵌入式数据库引擎，只是一个类库（即只有一个 jar 文件），可以直接嵌入到应用项目中，不受平台的限制
Sqoop是一种用于在Apache Hadoop和结构化数据存储（如关系数据库）之间传输数据的开源工具。它允许用户在Hadoop分布式文件系统（HDFS）和外部结构化数据存储之间进行数据导入和导出操作。Sqoop的主要优势在于，它可以有效地将大量数据从关系数据库迁移到Hadoop环境中，以便进行大数据分析和处理。
一、HIVE架构 Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据
一个完整的大数据分析系统，必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题：
表在创建时，有分隔符属性，这个分隔符属性，代表在执行MR程序时，使用哪个分隔符去分割每行中的字段！ 查看表(实际在HDFS中也是一个文件)中的所有内容(包括分隔符)：
在安装hive之前，需要安装hadoop集群环境，如果没有可以查看：Hadoop分布式集群的搭建
database URL: 填写数据库ip、端口、dbname等，但是不同数据库URL地址写法不一样
不要使用此安装方式，讲述这种安装方式，仅仅用于测试hive默认使用derby数据库的缺陷。你可以在下面的安装步骤中看到，我连环境变量都没有配置。
要使用nacos，我们首先得下载它的服务端，下载地址https://github.com/alibaba/nacos/releases
默认情况下，Hive会使用Derby来存储元数据（主要是表、列、分区Partition的信息）。Derby是一个嵌入式的本地数据库，只能单进程进行访问，不允许多个连接。因此，Derby只适合本地测试，不适合用在生产环境。Hive支持使用单独的数据库来存储元数据，比如MySql、PostgreSql等，本文将介绍如何配置Hive使用MySql存储元数据。
Hive中搭建分为三中方式 a)内嵌Derby方式 b)Local方式 c)Remote方式 三种方式归根到底就是元数据的存储位置不一样。
将jaxb-impl-2.1.3.jar复制到apache-james-3.0-beta4-app.zip解压目录下的conf/lib目录下
第一种方式： derby版hive （不推荐） 默认使用derby（数据库）维护元数据 此版本，每个节点自己独立维护一个derby数据库，所以在节点1添加了数据库，在节点2 无法查看 第一步：查看
我们搞nacos集群的时候，需要改成mysql记得不？ 因为derby是每个实例独占的，无法共享数据，所以需要搞个外面的数据库
目标:Nacos的高可用部署 工具：XShell、云服务器（或者虚拟机）、Nacos安装包 学习目标:部署Nacos
Nacos使用的是内嵌数据库 Derby(Apache Derby)，目前Nacos仅支持Mysql数据库，且版本要求：5.6.5+
一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig不如使用hive。：）
DERBY_HOME=D:\ProgramFiles\Environment\javadb
Hive是为了解决hadoop中mapreduce编写困难，提供给熟悉sql的人使用的。只要你对SQL有一定的了解，就能通过Hive写出mapreduce的程序，而不需要去学习hadoop中的api。
MetaSore 是 Hive 元数据存储的地方。Hive 数据库、表、函数等的定义都存储在 Metastore 中。根据系统配置方式，统计信息和授权记录也可以存储在此处。Hive 或者其他执行引擎在运行时使用此数据来确定如何解析，授权以及有效执行用户查询。
Maven与Sonar配合使用 准备工作：下载sonarqube源码即可 步骤： 1）、安装sonar 解压，启动sonarqube-4.1\bin\windows-x86-32目录下的StartSonar.bat文件。 2）、安装插件 Quality Index Plugin 将sonar-quality-index-plugin-1.1.3.jar放到sonarqube-4.1\extensions\plugins目录下。 3）、数据库设置
hive是一个著名的离线处理的数据仓库，可以通过类SQL语言轻松的访问大量的数据集，也可以访问HDFS中的文件，但是其底层的实现是MapReduce,所以具有较高的可扩展性。但是hive不是RDBMS数据库。
Druid进程可以以任意方式进行部署，为了方便部署，建议分为三种服务器类型：主服务器（Master）、查询服务器（Query）、数据服务器（Data）。
默认情况下，Hive的元数据是存储到Derby中的，这是Apache的一个纯Java编写的小巧数据库，类似于Sqlite。但是这样就会出现一个情况：Derby是单例的，当你在一个终端打开了hive时，在另外一个终端打开hive命令行会报错。所以使用MySQL来存储元数据能够解决这个问题，并且也更方便迁移和备份。
sonqube下载地址：http://www.sonarqube.org/downloads/
较早的Hive版本，不会在MetaStore中写入版本号。所以升级到新版本之后，会报错：
大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说properties配置文件换行[creo配置文件config],希望能够帮助大家进步!!!
一、Hive 基本面试1、什么是 metastore2、metastore 安装方式有什么区别3、什么是 Managed Table 跟 External Table？4、什么时候使用 Managed Table 跟 External Table？5、hive 有哪些复合数据类型？6、hive 分区有什么好处？7、hive 分区跟分桶的区别8、hive 如何动态分区9、map join 优化手段10、如何创建 bucket 表？11、hive 有哪些 file formats12、hive 最优的 file formats 是什么？13、hive 传参14、order by 和 sort by 的区别15、hive 跟 hbase 的区别二、Hive 数据分析面试1、分组 TopN，选出今年每个学校、每个年级、分数前三的科目2、今年，北航，每个班级，每科的分数，及分数上下浮动 2 分的总和3、where 与 having：今年，清华 1 年级，总成绩大于 200 分的学生以及学生数三、Flume + Kafka 面试1、flume 如何保证数据的可靠性？2、kafka 数据丢失问题，及如何保证？3、kafka 工作流程原理4、kafka 保证消息顺序5、zero copy 原理及如何使用？6、spark Join 常见分类以及基本实现机制
Hive可以将结构化的数据映射为一张数据表 而默认hive进行存储的数据库是derby 启动我们的hadoop服务 当我们安装好hive后，要将mysql-connector-java-xx.jar的文件包放到hive目录下的lib文件夹下：
上回我们说到Nacos的注册中心，我们讲了注册中心的一致性协议，订阅和注册的原理，有兴趣的可以看一下上一篇文章：你应该了解的Nacos注册中心。在Nacos中还有一个功能特别重要那就是配置中心，在这里先不具体介绍配置中心是什么，先来忆苦思甜一波。
本次使用docker方式，所以你首先需要有docker和docker-compose环境，没有请自行安装，本节不做介绍
直接通过MapReduce来对存储在Hadoop HDFS上的数据进行查询和分析比较繁琐而且还需要编程。Hive是一个数据仓库系统，构建在HDFS之上，它提供了类似SQL的语法（HQL），可以将HQL翻译成MapReduce作业进行查询，使得对数据的管理和检索更为便利。
介绍 Hive 是一个基于 Hadoop 的数据仓库工具，它可以将结构化数据文件映射成一张表，然后通过类似 SQL 的查询语句来执行查询。这些查询语句在Hive中被称作HQL，这些 HQL 会被翻译成 MapReduce 作业来执行。 Hive 把表和字段转换成 HDFS 中的文件夹和文件，并将这些元数据保持在关系型数据库中，如 derby 或 mysql。 Hive 查询的数据存储在HDFS上，运行在Yarn上。 Hive 适合做离线数据分析，如：批量处理和延时要求不高场景。 安装 安装 Hadoop 由
经过前面几期内容的介绍，相信大家已经把Hadoop的环境搭建好了吧。正如前几期所说，Hadoop的搭建实际上最核心的就是HDFS（文件存储系统）、Map-Reduce（运算系统）和Yarn（资源调配系统）三个组间。
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
在实际工作中，我们经常会听到数据库的性能和稳定性等等，这些有时候也需要测试工程师去评估和测试，上一篇文章宏哥主要介绍了jmeter连接和创建数据库测试计划的过程,宏哥在文中通过示例和代码非常详细地介绍给大家，希望对各位小伙伴和童鞋们的学习或者工作具有一定的指导和参考学习价值,遇到类似的问题脑子一片空白的童鞋们可以参考一下。这一篇宏哥就以MySQL数据为例结合上一篇的理论知识在这里带领小伙伴和童鞋们实战一下。这里宏哥为了增加小伙伴们的学习兴趣和便于记忆理解，因此列举了一个谍战剧中执行刺杀任务的场景，首先组成刺杀任务的小队，然后通过接头暗号建立联系，其次就开始执行刺杀任务，期间有核查组员的人物背景、其他组员支援、以及自己组员的牺牲、任务的变更等等，最后确认暗杀任务是否执行成功。
Nacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集，帮助您实现动态服务发现、服务配置管理、服务及流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。 Nacos 是构建以“服务”为中心的现代应用架构(例如微服务范式、云原生范式)的服务基础设施。
1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
使用命令 sh startup.sh-m standalone启动的时候，出现如下报错：
如果您已经有一个独立服务器的部署实例，并且希望在整个迁移过程中保留数据，请在对元数据进行迁移之前先阅读：
这里由于小编的这里在安装hive时，由于出现了启动hive时出现了和hadoop的版本不一致的原因，并且始终没有解决，所以就改变策略使用cdh版本的hadoop和hive.因为cdh版本的比较系统，兼容性好。因此要重新安装了。
2、获取读锁，如果获取成功，进行下一步，否则返回失败（小于表示正在写入（写锁），等于0表示没有配置数据，因为读锁可以重复获取）；
在利用数据仓库进行数据处理时，通常有这样一个业务场景，为一个Hive表新增一列自增字段（比如事实表和维度表之间的"代理主键"）。虽然Hive不像RDBMS如mysql一样本身提供自增主键的功能，但它本身可以通过函数来实现自增序列功能：利用row_number()窗口函数或者使用UDFRowSequence。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
