这里我提供了MySql 5.6和Redis的下载方式，另外两种就需要大家自行百度下载了。
实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传统的离线数仓会存在差异，但是关于数仓建设的基本方法论是一致的。本文会分享基于Flink SQL从0到1搭建一个实时数仓的demo，涉及数据采集、存储、计算、可视化整个处理流程。通过本文你可以了解到：
在MySQL数据库中，有一个内置的database叫做information_schema, 该数据库中的tables表包含了数据库中所有表的基本信息,tables表结构如下：
小明都想好跑路的国家了，小董出手相助，祭出今天要介绍的工具ra，github地址：https://github.com/DHBin/raopen in new window
（1）数字类型最大支持位数：int 9 位，bigint 18 位，flat 38 位，double 82 位，char 255 位、varchar 255 位
最近某套MySQL因为磁盘挂载问题，异常宕机，拉起后，数据库能正常访问了，但是在error.log一直提示这个错误，
商品信息聚合的最小单元，一组可复用、易检索的标准化信息集合，该集合描述了一个产品的特性。
持久化：管理的配置信息持久化。 注意：默认nacos存在配置信息持久化，默认的持久化方式为内嵌数据库derby(无法友好的展示数据)。
在运行安装脚本之前，首先，我们查看一下 Nacos 的版本分别有哪些使用 docker search nacos:
其实，涉及部门层级关系的问题在很多情形下都会遇到，特别是针对toB的应用开发场景。 但奇葩的是，在我们的项目里头，项目经理在前期需求调研时，预估的用户部门最大数为1k，于是相关的开发同事就按照最大数1k*4=4k的目标进行了设计实现，而真正交付到用户生产环境时同步的数据是1w。 What？也就是说，即使之前已经按照最大预估数进行了4倍数放大设计，但是现在是10倍。于是，各种问题接踵而至。 导致该问题出现的原因主要有一下几点：
对于mysql和Infobright等数据库，information_schema数据库中的表都是只读的，不能进行更新、删除和插入等操作，也不能加触发器，因为它们实际只是一个视图，不是基本表，没有关联的文件。MySQL的information_schema.tables存储了数据表的元数据信息，它详细表述了某个表属于哪个schema，表类型，表引擎，创建时间等信息。这里我们首先看看information_schame中的表tables的各个字段的含义（代码可左滑）：
本文使用datafaker工具生成数据发送到MySQL，通过flink cdc工具将mysql binlog数据发送到kafka，最后再从kafka中读取数据并写入到hudi中。
MySQL的 information_schema 数据库，保存着数据库的容量和使用信息。可查询数据库中每个表占用的空间、表记录的行数。
看到这个问题，我想起当初玩魔兽世界的时候，25H难度的脑残吼的血量已经超过了21亿，所以那时候副本的BOSS都设计成了转阶段、回血的模式，因为魔兽的血量是int型，不能超过2^32大小。
使用orm定义，然后使用cmd方式，自动建表，不过在实际生产中还是直接使用sql操作的，这种模型定义在生产环境中定义的比较少，基本上都是直接使用基本类型，一些特殊的，都是在数据库中定义的。
在使用Java JDBC时，你是否有过这样的疑问：MySQL里的数据类型到底该选择哪种Java类型与之对应？本篇将为你揭开这个答案。
二级分区的情况，相比一级分区复杂一些。下面我们来看下不同的组合情况。（其中，一级hash的情况是比较特殊的，我们先来看下）
创建maxwell用户和maxwell数据库，是maxwell用户会往maxwell数据库写入一些默认配置，具体配置如下
当索引字段 `phone` 为字符串类型时，字符串查询时候使用了索引`idx_phone`，而数值类型查询时候竟无法使用索引`idx_phone`。
通过github下载安装包：https://github.com/seata/seata/releases/tag/v1.3.0 seate中文文档：http://seata.io/zh-cn/docs/overview/what-is-seata.html
在MySQL中，存在各种各样的临时文件，其存放位置是五花八门，且不同版本也不尽相同，主要包括以下：
MySQL 5.7.8版本支持原生JSON数据类型，可以更有效地存储和管理JSON文档。
datax内置的enumType数据类型与不同数据库间都有些差异，本文整理出相应的映射关系，在配置自定义json时可以参考做一些类型转换
insert ignore会忽略数据库中已经存在的数据(根据主键或者唯一索引判断)，如果数据库没有数据，就插入新的数据，如果有数据的话就跳过这条数据.
最近在做灾备数据从库， 从库版本使用的是5.7.25， 主库版本是5.7.22. 配置完主从同步后，瞄了一眼从库的错误日志里面，突然蹦出一堆的下面这种：
昨天有个项目 一直登陆不上去，查看日志报错信息：ERROR 1205 (HY000): Lock wait timeout exceeded; try restarting transaction
表就相当于文件，表中的一条记录就相当于文件的一行内容，不同的是，表中的一条记录有对应的标题，称为表的字段
上篇文章中，我们提到了shardingJdbc中的五种分片策略和四种分片算法。 其中最简单的分片策略就是inline行内表达式分片策略。只需要在配置文件中通过几行简单的配置就可以实现分库分表的操作。这边文章我们就来介绍如何使用分片表达式实现分库分表。
这个系列属于个人学习网易云课堂MySQL数据库工程师微专业的相关课程过程中的笔记，本篇为其“MySQL数据库对象与应用”中的MySQL数据类型相关笔记。
2、使用show create table语法。除了可以看到表定义之外，还可以看到engine和charset等信息。
https://gitee.com/mnzp/seata-server-1.4.2
对于从事互联网开发的同学来说，mysql可谓是再熟悉不过的了。无论是DBA、开发或测试，基本上天天要跟它打交道，很多同学可能已经身经百战了。但是，笔者遇到过的这些坑不知道你们都经历过没？
Seata 是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。
问题出现是因为 之前 把 mysql/data/ ibdata1 , ib_logfile0, ib_logfile1, ib_logfile2 文件 删除了，mysql重启之后会自动生成 这些文件的。但是之前的innodb引擎,就不能再 访问了。
clone 项目之后，安装依赖时你会发现阿里VOD依赖是下载不了的，别慌我们手动安装一下就可以了。
注：使用nacos配置，需要在对应分组(SEATA_GROUP)下针对配置项目逐条配置文本值，而不是创建包含所有配置的properties文件，可以使用官方源码中的脚本导入 全部可用配置参考
老早就计划着这件事了，知道长期使用第三方提供的数据服务可能那天就会挂掉的几率（比如之前的leancloud限制云引擎及域名回收事件），放在第三方或多或少会影响到部分使用其免费服务的群体，但毕竟人家是免费提供到的服务，我们白嫖的就不要在这里说三道四了，只是就事论事来讲数据还是存放在自己的手中最安全可靠。
本篇文章介绍了利用docker技术，进行SpringCloud脚手架项目的基础环境（mysql、reids、nacos）搭建，后面会持续更新脚手架搭建相关的文章
注意： 子路径挂载，配置修改后，k8s不会对其Pod内的相关配置文件进行热更新，需要自己重启Pod
在前面：微服务调用链追踪中心搭建 一文中我们利用 Zipkin 搭建了一个微服务调用链的追踪中心，并且模拟了微服务调用的实验场景。利用 Zipkin 的库 Brave，我们可以收集一个客户端请求从发出到被响应 经历了哪些组件、哪些微服务、请求总时长、每个组件所花时长 等信息。
这篇博文源于公司一个批处理的项目异常而起的。先简单描述下发生背景。一个基于spring batch开发的批处理应用，线上运行了9个多月后，某一天突然跑批任务失败了，检查日志得知，是因为一个mysql异常导致的：Lock wait timeout exceeded。msyql事务锁等待超时这个异常虽然不常见，但随便一搜就会看到大量的相关的信息。导致这个异常的原因就是mysql数据库事务锁等待超时，默认超时时间是50S。但我们的批处理业务从逻辑上讲不会出现这种事务排他锁等待的情况，不得其解。故通过以下这些实例来捋一捋mysql事务内隔离级别和锁等知识点，看看是否如我们了解的这样，同时加深下印象。
TDSQL集群支持创建集中式实例和分布式实例。在使用分布式实例的时候，可以创建以下几种类型的表：
0.9.0版本的hudi在适配hive3时，其hudi/package/hudi-flink-bundle/pom.xml文件使用的flink-connector-hive版本有问题，所以需要修改pom文件。
🌊 关注我不迷路，如果本篇文章对你有所帮助，或者你有什么疑问，欢迎在评论区留言，我一般看到都会回复的。大家点赞支持一下哟~ 💗
虽然重启之后 , 数据库会自动创建一个 ibdata1 文件 , 但是上述系统表也是 innodb 引擎 , 所以不能访问了 .
Paimon目前支持Flink 1.17, 1.16, 1.15 和 1.14。本课程使用Flink 1.17.0。
Java 常用的数据类型： https://blog.csdn.net/zhangyong01245/article/details/101310236
https://github.com/seata/seata-go是https://github.com/seata/seata的golang客户端，目前支持at和tcc两种分布式事务的实现。虽然官方的文档给的例子描述了如何处理分布式事务，但是如何部署和使用语焉不详。下面介绍下两种部署方式file、db
InnoDB与MyISAM的最大不同有两点：一是支持事务（TRANSACTION）；二是采用了行级锁。行级锁与表级锁本来就有许多不同之处，innodb正常的select ID from table where id=1；不会上任何锁，接下来详细讨论InnoDB的锁问题;
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
