Logstash与Elasticsearch的安装就不多说了，我之前有两篇文章写的比较详细了ElasticSearch + Logstash + Kibana 搭建笔记 和 Filebeat+Logstash+ElasticSearch+Kibana搭建Apache访问日志解析平台。
记录WildFly 14 增加MySQL 8.0.11 数据源的过程，希望对大家有所帮助。
Sonar 是一个用于代码质量管理的开放平台。通过插件机制，Sonar 可以集成不同的测试工具，代码分析工具，以及持续集成工具。与持续集成工具（例如 Hudson/Jenkins 等）不同，Sonar 并不是简单地把不同的代码检查工具结果（例如 FindBugs，PMD 等）直接显示在 Web页面上，而是通过不同的插件对这些结果进行再加工处理，通过量化的方式度量代码质量的变化，从而可以方便地对不同规模和种类的工程进行代码质量管理。
但是目前MyCat仍主要面对MySQL 5.5, 5.6, 5.7版，对最新的MySQL 8尚未完全支持，需要用户对MySQL 8和MyCat的配置进行一系列的修改。
客户的一些应用系统使用的JDK1.7版本，在将数据库迁移到MySQL8.0的过程中，发现有些MySQL connector/J的版本无法连接到MySQL8.0。本文描述了在Linux JDK1.7环境下，测试不同版本Connector/J的方法，也可用于为MySQL接口的国产数据库产品选择Connector/J版本。
在 使用Spark读取Hive中的数据 中，我们演示了如何使用python编写脚本，提交到spark，读取并输出了Hive中的数据。在实际应用中，在读取完数据后，通常需要使用pyspark中的API来对数据进行统计或运算，并将结果保存起来。本节将演示这一过程。
前两篇文章分别讲了 Linux 和 Windows 环境安装 Elasticsearch，有兴趣可以点击以下链接查看： 《windows10 安装 ElasticSearch》 《Linux 下安装 Elasticsearch》
1、将db2数据库驱动db2java.jar、db2jcc.jar放入jmeter的lib/下，同时也要放入本地jdk目录下例如：C:\Program Files\Java\jdk1.7.0_751\jre\lib\ext
上一篇文章已经详细介绍了如何使用Canal中间件将MySQL数据同步至ElasticSearch。然而，由于Canal已经很久没有得到维护，使用过程中可能会遇到许多问题。因此，在尝试Canal的同时，我们还可以考虑使用Logstash来实现类似的功能。本章将重点介绍如何使用Logstash将MySQL数据同步至ElasticSearch，如果你已经掌握了上一篇关于Canal的教程，可以直接从环境准备中的Logstash部分开始阅读。
3.1数据库URL 在连接数据库时必须使用各种与数据库类型相关的参数，比如主机名、端口号和数据库名。JDBC使用了一种与普通URL相类似的语法来描述数据源。 e.g. 常用数据库URL Derby: jdbc:derby://localhost:1527/COREJAVA;create=true PostgreSQL: jdbc:postgresql:COREJAVA MySQL: jdbc:mysql://host:port/database Oracle: jdbc:oracle:thin:@host:port:databse JDBC URL的语法一般为: jdbc:subprotocol:other stuff subprotocol用于指明连接到数据库的特定驱动程序。 other stuff参数的格式随所使用的subprotocol不同而不同。 3.2 驱动程序JAR文件 在运行访问数据库的程序时，需要将驱动程序的JAR文件包括到类路径中（编译时并不需要整个JAR文件） 从命令行启动时，只需要使用下面的命令 java -classpath .;driverJar ProgramName 通过;分号，将当前路径(由 . 字符标示的路径)与驱动程序的JAR文件分隔开。 3.3 启动数据库 数据库服务器在连接之前需要先启动 Derby数据库的启动步骤 (1)打开命令shell(linux)或cmd(windows)窗口C:\"Program Files"\Sun\JavaDB\lib (2)找到derbyrun.jar,一般在JavaDB中(C:\Program Files\Sun\JavaDB\lib) (3)启动服务 : java -jar derbyrun.jar server start (4)配置文件db.properties ij.driver=org.apache.derby.jdbc.ClientDriver ij.protocol=jdbc:derby://localhost:1527/ ij.database=DBNAME;create=true 注意 : 只有配置文件名和database可以使用任意名 (5)在另一个shell/cmd窗口中运行Derby的交互式脚本执行工具 : java -jar derbyrun.jar ij -p db.properties 注意 : 打开交互式执行脚本工具之后，会在derbyrun.jar所在目录下创建以配置文件中ij.database的值命名的文件夹。 (6)在打开的窗口中可以输入SQL语句，以;分号结尾。 (7)退出编辑器EXIT; (8)关闭服务器 : java -jar derbyrun.jar server shutdown 3.4 注册驱动器类 情况一：某些JDBC的JAR文件将自动注册驱动器类(Java Standard Edition Service Provider)，包含META-INF/services/java.sql.Driver文件的JAR文件可以自动注册。 e.g.Derby中lib目录下JAR包derby.jar中包含java.sql.Driver文件。该文件中"org.apache.derby.jdbc.AutoloadedDriver"为Derby的JDBC驱动程序实现名字。 情况二：如果驱动程序JAR不支持自动注册，需要找出数据库提供商使用的JDBC驱动器的名字。 典型的名字如下: Oracle:oracle.jdbc.driver.OracleDriver SQLServer:com.microsoft.jdbc.sqlserver.SQLServerDriver MySQL:org.gjt.mm.mysql.Driver 或com.mysql.jdbc.Driver 注:这里实际上都是调用的com.mysql.jdbc.Driver，下面为org.gjt.mm.mysql.Driver源码
系统环境及相关安装包： CentOS6.5 64位系统 tomcat6 :apache-tomcat-6.0.39.tar.gz mysql5.1.17 :rpm包 jdk1.6 :jdk-6u29-linux-x64.bin jdbc :mysql-connector-java-3.1.13-bin.jar
◆ 概述 RazorSQL是适用于 Windows、macOS、Mac OS X、Linux 和 Solaris 的 SQL 查询、数据库浏览器、SQL 编辑的数据库管理工具。 RazorSQL 支持40 多个数据库，可以通过 JDBC或ODBC连接到数据库： ◆ 增强功能 增强了暗模式。可以通过 View -> Dark Mode 菜单选项选择暗模式。现在可以通过 View -> Legacy Dark Mode 菜单选项选择以前的暗模式。 添加了可以通过 View -> Light Mode 菜单选项
Hitachi Data Systems于2017年改名为Hitachi Vantara 了.
spark SQL经常需要访问Hive metastore，Spark SQL可以通过Hive metastore获取Hive表的元数据。从Spark 1.4.0开始，Spark SQL只需简单的配置，就支持各版本Hive metastore的访问。注意，涉及到metastore时Spar SQL忽略了Hive的版本。Spark SQL内部将Hive反编译至Hive 1.2.1版本，Spark SQL的内部操作(serdes, UDFs, UDAFs, etc)都调用Hive 1.2.1版本的class。
tabix支持通过浏览器直接连接 ClickHouse，不需要安装其他软件，就可以访问ClickHouse。有两种使用方式，一种是直接浏览器访问配置。另一种是使用ClickHouse内嵌方式。tabix具有以下特点：
可以与Kylin结合使用的可视化工具很多，例如： ODBC：与Tableau、Excel、PowerBI等工具集成 JDBC：与Saiku、BIRT等Java工具集成 RestAPI：与JavaScript、Web网页集成 Kylin开发团队还贡献了Zepplin的插件，也可以使用Zepplin来访问Kylin服务。
1、电脑安装jdk（我这里是jdk1.7.0_80） 2、电脑安装tomcat（我这里是apache-tomcat-7.0.92） 3、电脑安装mysql，并启动mysql服务（我这里是mysql 5.5） 4、我这里用intellij idea写代码
最近在家里捣鼓一个公司自己搭建的demo的时候，发现程序一启动就会出现CommunicationsException: Communications link failure错误，经过一番排查最后发现是数据库url写错造成的，这个过程中也对出现这个错误的解决思路有了一些自己的理解，现和大家分享。该错误的具体信息如下：
需求是，使用spark程序读用户表，统计用户个数，保存到结果表user_count：
本文描述在CentOS 7.2上安装和运行Kettle 8.3的步骤。
备注：想学oracle的同学，建议在Linux、Unix平台下进行学习，如果觉得安装麻烦，可以加全国软件性能测试交流群：7156436，免费获取Oracle_11g_R2 linux虚拟机及官方英译汉安装教程(该资料由授客提供)。
HIVE的UDF以及JDBC编程 一、UDF UDF是用来对HIVE函数库进行扩展的，可以利用java代码进行自定义的功能需求。 1、步骤 1.新建java工程。 2.导入HIVE相关包，jar包在HIVE安装程序的lib目录下，只需要拷贝jar包即可。 3.创建类继承UDF类。 4.自己编写一个名为evaluate方法，返回值和参数任意，但是方法名字必须是evluate。 为了能让mapreduce处理，String要用Text处理。 5.将写好的类
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行， 数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。
对于数据访问层，无论是SQL还是NOSQL，springboot默认采用整合spring data方式进行统一处理，添加大量自动配置，屏蔽了许多设置，引入各种xxxTemplate，xxxRepository来简化我们对数据访问层的操作。对我们来说只需要进行简单的设置即可。
前言 我们在上一篇 Kylin 的入门级介绍（👉第一个“国产“Apache顶级项目——Kylin，了解一下！）中，就已经谈到了有很多可以与 Kylin 结合使用的可视化工具，例如 ODBC：与Tableau、Excel、Power BI等工具集成。 JDBC：与Saiku、BIRT等Java工具集成 REST API：与JavaScript、Web网页集成。 Kylin开发团队还贡献了 Zepplin 的插件，也可以使用Zepplin来访问Kylin服务 本期
本文讲解了如何使用 JDBC 连接 MySQL 数据库，并给出了样例代码。JDBC 是 Java 语言访问关系型数据库的一种标准 API，它提供了一组用于在 Java 程序中与数据库进行交互的接口和类
DBeaver是一个基于 Java 开发，免费开源的通用数据库管理和开发工具，使用非常友好的 ASL 协议。可以通过官方网站或者 Github 进行下载。
DBeaver 是一个基于 Java 开发，免费开源的通用数据库管理和开发工具，使用非常友好的 ASL 协议。可以通过官方网站或者 Github 进行下载。
H2 是一个用 Java 开发的嵌入式数据库，它本身只是一个类库，即只有一个 jar 文件，可以直接嵌入到应用项目中。H2 主要有如下三个用途：
第一步：下载keycloak安装包 https://www.keycloak.org/downloads
SonarQube 仅支持 JVM 11，SonarQube scanners 支持 JVM 8 或 11。
一、开源项目简介 bboss数据同步可以方便地实现多种数据源之间的数据同步功能，支持增、删、改数据同步，本文为大家程序各种数据同步案例。 二、开源协议 使用Apache-2.0开源协议 三、界面展示 四、功能概述 通过bboss，可以非常方便地采集 database/mongodb/Elasticsearch/kafka/hbase/本地或者Ftp日志文件源数据，经过数据转换处理后，再推送到目标库elasticsearch/database/file/ftp/kafka/dummy/logger。 数
这几天大家应该看过一个新闻，关于数据库管理工具Navicat Premium被投毒的事件。
2021-04-17 更新：DBeaver 提供了一个基于 Web 的浏览器版本：CloudBeaver。
最近一个数据分析朋友需要学习 Hive，刚好我也想学，便利用手头的服务器搭建一个学习环境，但是搭建过程中，发现网上的教程很多过时了，而且部署过程中，很多地方走不通，博主也没有给出对应的说明。花了大力气才从各种资料中完成 Hadoop、Mysql、Hive 三者的部署。
swappiness是Linux的一个内核参数，控制系统在使用swap虚拟内存时，内存使用的相对权重。
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。 最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。它用在好多不同的公司。例如，亚马逊使用它在 Amazon Elastic MapReduce。
jmeter是apache公司基于java开发的一款开源压力测试工具，体积小，功能全，使用方便，是一个比较轻量级的测试工具，使用起来非常简单。因为jmeter是java开发的，所以运行的时候必须先要安装jdk才可以。jmeter是免安装的，拿到安装包之后直接解压就可以使用，同时它在linux/windows/macos上都可以使用。 jmeter可以做接口测试和压力测试。其中接口测试的简单操作包括做http脚本（发get/post请求、加cookie、加header、加权限认证、上传文件）、做webservice脚本、参数化、断言、关联（正则表达式提取器和处理json-json path extractor）和jmeter操作数据库等等。
Mycat 目前还未全面支持MySQL 8以上的版本，可能会导致一些问题，例如Mycat连接MySQL 8时可能会报密码错误，因为新版的密码加密方式与旧版不一样。还有就是时区问题，新版的连接方式需要增加时区参数。除此之外，可能还会有一些其他问题。因此，我们需要更改Mycat的一些配置，让其能正常连接MySQL 8.x。
JMeter是apache公司基于java开发的一款开源压力测试工具，体积小，功能全，使用方便，是一个比较轻量级的测试工具，使用起来非常简单。而且JMeter拿到安装包之后直接解压就可以使用，同时它也可以在linux/windows/macos上使用。
本文主要针对于Linux环境讲解，读者如果使用的是Windows，遇到问题可以一起交流。
点击上方蓝色“程序猿DD”，选择“设为星标” 回复“资源”获取独家整理的学习资料！ 来源：blog.csdn.net/horses/article/details/89683422 在制作《SQL 入门教程》时，接触到了这款非常强大易用的数据库管理和开发工具：DBeaver，也就是上面这个可爱的小河狸。 DBeaver 是一个基于 Java 开发，免费开源的通用数据库管理和开发工具，使用非常友好的 ASL 协议。可以通过官方网站或者 Github 进行下载。 由于 DBeaver 基于 Java 开发，
最近有些网友问我如何自学 Java 后端，还有些是想从别的方向想转过来，但都不太了解 Java 后端究竟需要学什么，究竟要从哪里学起，哪些是主流的 Java 后端技术等等，导致想学，但又很迷茫，不知从何下手。我就以过来人的经历，写在这篇博客里，不一定都对，但都是我根据自己的经历总结出来的，供你们的参考。
下载地址：https://www.elastic.co/downloads/logstash
Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。
前言 表面看来，JMeter与本系列课程似乎关系不大，但实际上在后面的很多场景中起着重要作用：如何获知修改了某些代码或者设置之后系统性能是提升了还是下降了呢？商业的压力测试工具LoadRunner确实很高大上，但是据说费用也不便宜且体积也不小，而目前最高版本的开源免费压力测试工具JMeter3.2压缩包体积才不到53M，而且对于开发人员而非专业测试人员来说，JMeter提供的测试功能已经够强大了。要完整地介绍JMeter，即使把JMeter自带的文档翻译成中文就是一本厚厚的书了。但是在本篇只讲述如何利用JMeter来对Web网站和数据库进行压力测试，因为测试场景的复杂性，本篇实例讲述基于csv文件的参数化测试。 JMeter提供了对不同的协议、服务器及应用的测试支持，如下： Web – 各种开发语言开发出的网站，比如ASP/ASP.NET/JSP/PHP/Python/Perl等 SOAP / REST Webservices FTP Database via JDBC(基于JDBC对数据库进行压力测试) LDAP Message-oriented middleware (MOM) via JMS Mail - SMTP(S), POP3(S) and IMAP(S) Native commands or shell scripts TCP Java Objects 还是那句话：本篇只讲述对Web网站和基于JDBC对数据库进行压力测试。 软件准备 JMeter3.2：为保持与本文有比较好的对照，建议从官网下载3.2版本，下载地址：http://jmeter.apache.org/[preferred]/jmeter/binaries/apache-jmeter-3.2.zip 此软件解压后即可使用。 Tomcat8.5：本实例中的关于Web网站的压力测试都是基于Tomcat8.5的，下载地址：http://mirror.bit.edu.cn/apache/tomcat/tomcat-8/v8.5.15/bin/apache-tomcat-8.5.15.tar.gz 如果嫌麻烦，可以直接在上一篇《开发人员学Linux(3)：CentOS7中安装JDK8和Tomcat8》的环境中进行。 MySQL Community Server5.7:本篇中将以MySQL为例讲述如何对数据库进行压力测试，实际上本篇对MySQL版本没有要求，但后来今后，还是建议下载5.7版本，下载地址：https://dev.mysql.com/downloads/mysql/，同时请下载MySQL的JDBC驱动。 注意：本篇中JMeter在Windows下运行，MySQL数据库及Tomcat服务器均在CentOS7下运行。 使用JMeter对一般性网站进行压力测试 为便于演示，这里以上一篇《开发人员学Linux(3)：CentOS7中安装JDK8和Tomcat8》中搭建起来的环境进行压力测试，本人的虚拟机支持桥接模式，IP地址为：192.168.60.198，在Tomcat中有一个简单的提交表单，网址是：http://192.168.60.198:8080/examples/servlets/servlet/RequestParamExample，页面如下图所示：
继之前的文章讲述如何在Redhat中配置R环境和如何在Redhat中安装R的包及搭建R的私有源后，那我们如何使用R连接CDH集群中的Hive和Impala进行数据分析呢？本文档主要讲述如何使用R连接Hive和Impala，并分别通过命令行和CDSW进行演示。
元数据服务(metastore）作用是：客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。
首先下载Mycat的压缩包，Mycat1官网：http://www.mycat.org.cn/mycat1.html Mycat1.6.7.6官网下载地址：http://dl.mycat.org.cn/1.6.7.6/ 找到最新日期的下载即可
一、安装前准备 1. 安装配置Hadoop，见http://blog.csdn.net/wzy0623/article/details/50681554 2. 下载安装包 mysql-5.7.10-linux-glibc2.5-x86_64 apache-hive-1.2.1-bin.tar.gz mysql-connector-java-5.1.38.tar.gz 二、安装MySQL 1. 解压 tar -zxvf mysql-5.7.10-linux-glibc2.5-x86_64.tar.gz 2. 建立软连接 ln -s /home/grid/mysql-5.7.10-linux-glibc2.5-x86_64 mysql 3. 建立数据目录 mkdir /home/grid/mysql/data 4. 编辑配置文件~/.my.cnf内容如下 [mysqld] basedir=/home/grid/mysql datadir=/home/grid/mysql/data log_error=/home/grid/mysql/data/master.err log_error_verbosity=2 5. 初始化安装，并记下初始密码 mysqld --defaults-file=/home/grid/.my.cnf --initialize 6. 启动MySQL mysqld --defaults-file=/home/grid/.my.cnf --user=grid & 7. 登录MySQL，修改初始密码 mysql -u root -p mysql> ALTER USER USER() IDENTIFIED BY 'new_password'; mysql> exit; 8. 在/etc/profile中添加环境变量 export PATH=$PATH:/home/grid/mysql/bin 三、安装配置hive 1. 解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz 2. 建立软连接 ln -s /home/grid/apache-hive-1.2.1-bin hive 3. 建立临时目录 mkdir /home/grid/hive/iotmp 4. 建立配置文件hive-site.xml cp ~/hive/conf/hive-default.xml.template ~/hive/conf/hive-site.xml 5. 新建配置文件hive-site.xml，内容如下：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
