MySQL里的数值类型分得很细，光整型数据就有多种数据类型。tinyint,smallint,mediumint,int(integer),还有范围最大的bigint，它们对应的数值范围也大大不同，大体来说就是下面的数值范围，从有符号数和无符号数来区别对待。 类型名称有符号数（signed)无符号数(Unsigned)tinyint-129~1270~255smallint-32768~327670~65535mediumint-8388608~83886070~16777215int(intege
在MySQL中时间类型的选择有很多，比如：date、time、year、datetime、timestamp...
在使用Java JDBC时，你是否有过这样的疑问：MySQL里的数据类型到底该选择哪种Java类型与之对应？本篇将为你揭开这个答案。
mysql和hive中的数据类型存在差异，在mysql集成数据到hive中这样的场景下，我们希望在hive中的数据是贴源的，所以在hive中希望创建和mysql结构一致的表。
最稳妥的方案是通过备份恢复重新建立从库；当然，修改slave_type_conversions参数也可以恢复同步：
现在信创是搞得如火如荼，在这个浪潮下，数据库也是从之前熟悉的Mysql换到了某国产数据库。
存储字符串时指定的类型 VARCHAR(50) 中可接收一个数字作为长度，其实除了字符串类型，数字类型也是可指定该参数的，比如 INT(10)，BIGINT(20)。假设后续讨论中这个参数使用字母 M 来表示，即上面提到的。该参数被用在不同类型上时，其表示的意思不一样。
数据采集时如果使用datax的话，必须先手工建好表之后才能进行数据采集；使用sqoop的话虽然可以默认建表，但是每次还要手工配置命令。表数量不多的话还好，如果多库多表需要批量采集的话工作量会很大，因此需要一个批量生成建表语句的功能来节省人力。
在我们项目开发中，数据库及表的设计可以说是非常重要，我遇到过很多库表设计比较杂乱的项目，像表名、字段名命名混乱、字段类型设计混乱等等，此类数据库后续极难维护与拓展。我一直相信只有优秀的库表设计才能发挥出MySQL最大的性能，前面有篇文章也分享了数据库的使用规范，本篇文章主要讲几个库表设计的小技巧，希望对大家有所启发。
在数据库的世界里，数据的连接操作是至关重要的。但在处理关联表的字段的数据类型不同时，得到的结果经常会出乎预料。
datax内置的enumType数据类型与不同数据库间都有些差异，本文整理出相应的映射关系，在配置自定义json时可以参考做一些类型转换
这个系列属于个人学习网易云课堂MySQL数据库工程师微专业的相关课程过程中的笔记，本篇为其“MySQL数据库对象与应用”中的MySQL数据类型相关笔记。
mysql数据库分多钟数据类型，大类可以分为三种：数值类型、时间（日期）和字符（串）类型。
1. 对整数类型, MySQL 还支持类型名称后面的小括号内指定的显示宽度，例如int(5) 表示宽度小于5位时填满宽度，如果不显示指定宽度默认是int(11),一般配合zerofill使用下面来描述下
hive是基于Hadoop的一个数据仓库工具，用来进行数据的ETL，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive SQL是一种类SQL语言，与关系型数据库所支持的SQL语法存在微小的差异。本文对比MySQL和Hive所支持的SQL语法，发现相同的SQL语句在Hive和MySQL中输出结果的会有所不同。
1、使用可以存下你的数据的最小的数据类型。（时间类型数据：可以使用varchar类型，可以使用int类型，也可以使用时间戳类型） 2、使用简单的数据类型，int要比varchar类型在mysql处理上简单。（int类型存储时间是最好的选择） 3、尽可能的使用not null定义字段。（innodb的特性所决定，非not null的值，需要额外的在字段存储，同时也会增加IO和存储的开销） 4、尽量少用text类型，非用不可时最好考虑分表。
来，考考大家一个问题，在 MySQL 中当某一列设置为 int(0) 时会发生什么 ？
个人习惯用MySQL workbench EER数据建模，然后生成SQL语句到数据库中执行，这样表之间的关系比较直观。
本篇博客将深入讨论在MySQL数据库中选择合适的时间类型：datetime、bigint和timestamp。通过比较它们的特性和适用场景，您将更好地理解何时应该选择哪种时间类型，以满足不同的数据存储需求。
下面会用到一个perl脚本来做数据格式的转换： https://github.com/ahammond/mysql2pgsql
上面表格中有符号和无符号写反了，[]包含的内容是可选的，默认是无符号类型的，无符号的需要在类型后面跟上unsigned
这是为什么呢？ 原因： 现在使用MySQL基本默认指的InnoDB引擎，InnoDB是聚集索引表，所有的数据按主键排序存储。所以对于从小到大的数据做主键插入不会引起数据页的拆分，可以实现数据高效的写入，另一方面普通索引包含主键存储，所以要求主键尽可能的短小，减少空间的浪费。 对于使用自增列(int 4byte,bigint 8byte）,如果使用uuid产生的是一个无序的36byte的字符（前面是乱的），造成写入的性能会越来越差，表的数据量在1000万以内，可能性能差别还不大。
在PG中日志名是一串数字，刚开始接触PG的朋友对名字都有些疑惑，在PG中日志名是由16进制命名总共24个字符由三部分组成:
HIVE内置函数 一、内置函数 HIVE除了提供了类似mysql的sql的语法外，还提供了大量内置的函数，方便开发者来调用，编写功能丰富的处理程序。 1、内置运算符 1．关系运算符 运算符 类型 说明 A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSE A == B 无 失败，因为无效的语法。 SQL使用”=”，不使用”==”。 A <> B 所有原始类型 如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”，结果返回”NULL”。 A < B 所有原始
还有就是VCNEGER是部署在windows系统上的，后面一般是SQL SERVER 数据库。sql2008 R2可以用于小型部署（最多5个主机和 50 个虚拟机）的捆绑数据库。
数据库列字段都是有类型的，不同的数据库有不同的类型。为了表示这些数据类型，Java源码是采用枚举来定义的：
在MySQL的数据类型中，Tinyint的取值范围是：带符号的范围是-128到127。无符号的范围是0到255(见官方《MySQL 5.1参考手册》http://dev.mysql.com/doc/refman/5.1/zh/column-types.html#numeric-types)。
其实，涉及部门层级关系的问题在很多情形下都会遇到，特别是针对toB的应用开发场景。 但奇葩的是，在我们的项目里头，项目经理在前期需求调研时，预估的用户部门最大数为1k，于是相关的开发同事就按照最大数1k*4=4k的目标进行了设计实现，而真正交付到用户生产环境时同步的数据是1w。 What？也就是说，即使之前已经按照最大预估数进行了4倍数放大设计，但是现在是10倍。于是，各种问题接踵而至。 导致该问题出现的原因主要有一下几点：
1、先查看了一下慢日志中的内容，发现慢日志中没有具体的记录。这个问题比较好解决，其实他的本质是设定的慢日志的阈值是1s，只有超过1s的SQL语句才会被记录，这里我把参数long_query_time的值设置成为0.4，这样，就可以把查询超过0.4s的SQL都记录到慢日志里面了。
Integer Types (Exact Value) - INTEGER, INT, SMALLINT, TINYINT, MEDIUMINT, BIGINT
首先，我是一个标题党^_^，写这样的标题就是为了吸引你们来看的。标题中说的磁盘临时表消失，并不是真的消失了，而是在MySQL默认配置下，从8.0.15到8.0.27的版本都不会产生磁盘临时表(8.0.15之前的版本没有做个测试，就不妄下结论了)，在8.0.28及之后的版本中，默认配置又放开了磁盘临时表(文章中未特殊说明时都指内部临时表，非用户创建临时表)的使用，这是什么情况？请容我慢慢道来。
我在网上也搜过很多，就是想知道在数据库中的建表语句的字段类型对应Java实体类中属性的类型是什么。
实时数仓主要是为了解决传统数仓数据时效性低的问题，实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传统的离线数仓会存在差异，但是关于数仓建设的基本方法论是一致的。本文会分享基于Flink SQL从0到1搭建一个实时数仓的demo，涉及数据采集、存储、计算、可视化整个处理流程。通过本文你可以了解到：
注：定点数以字符串形式存储，对精度要求高时使用decimal较好；尽量避免对浮点数进行减法和比较运算。
出处：www.cnblogs.com/YangJiaXin/p/10933458.html
谁在消耗cpu? 用户+系统+IO等待+软硬中断+空闲 祸首是谁？ 用户 用户空间CPU消耗，各种逻辑运算 正在进行大量tps 函数/排序/类型转化/逻辑IO访问… IO等待 等待IO请求的完成 此
使用orm定义，然后使用cmd方式，自动建表，不过在实际生产中还是直接使用sql操作的，这种模型定义在生产环境中定义的比较少，基本上都是直接使用基本类型，一些特殊的，都是在数据库中定义的。
要想db操作的性能足够高，巧妙的设计很重要，事务的操作范围要尽量的小。一般情况下我们都是使用某个orm框架来操作db，这一类框架多数的实现方式都是夸网络多次交互来开启事务上下文和执行sql操作，是个黑盒子，包括对 autocommit 设置的时机也会有一些差异，稍微不注意就会踩坑。
本篇博客，博主为大家带来的是大数据实战【千亿级数仓】阶段二的内容。
本文使用datafaker工具生成数据发送到MySQL，通过flink cdc工具将mysql binlog数据发送到kafka，最后再从kafka中读取数据并写入到hudi中。
（1）数字类型最大支持位数：int 9 位，bigint 18 位，flat 38 位，double 82 位，char 255 位、varchar 255 位
最近使用mysql数据库的时候遇到了多种数字的类型，主要有int,bigint,smallint和tinyint。其中比较迷惑的是int和smallint的差别。今天就在网上仔细找了找，找到如下内容，留档做个总结： 使用整数数据的精确数字数据类型。 bigint 从 -2^63 (-9223372036854775808) 到 2^63-1 (9223372036854775807) 的整型数据（所有数字）。存储大小为 8 个字节。 P.S. bigint已经有长度了，在mysql建表中的length，只是用于显示的位数 int 从 -2^31 (-2,147,483,648) 到 2^31 – 1 (2,147,483,647) 的整型数据（所有数字）。存储大小为 4 个字节。int 的 SQL-92 同义字为 integer。 smallint 从 -2^15 (-32,768) 到 2^15 – 1 (32,767) 的整型数据。存储大小为 2 个字节。 tinyint 从 0 到 255 的整型数据。存储大小为 1 字节。
CREATE TABLE `user_man` ( `manid` bigint(20) NOT NULL AUTO_INCREMENT, `manname` varchar(32) DEFAULT NULL, `manage` int(6) DEFAULT NULL, `upd_time` timestamp NOT NULL DEFAULT ‘2000-01-01 00:00:00’ ON UPDATE CURRENT_TIMESTAMP, `blacklist` bigint(20) DEFAULT ‘-1’ COMMENT ‘-1，1’, PRIMARY KEY (`manid`), KEY `IDX_MN` (`manname`) USING BTREE, KEY `IDX_MID` (`manid`) USING BTREE ) ENGINE=InnoDB AUTO_INCREMENT=23 DEFAULT CHARSET=utf8;
InnoDB与MyISAM的最大不同有两点：一是支持事务（TRANSACTION）；二是采用了行级锁。行级锁与表级锁本来就有许多不同之处，innodb正常的select ID from table where id=1；不会上任何锁，接下来详细讨论InnoDB的锁问题;
TDSQL集群支持创建集中式实例和分布式实例。在使用分布式实例的时候，可以创建以下几种类型的表：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
