在公司实习的时候，导师分配了SQL慢查询优化的任务，任务是这样的：每周从平台中导出生产数据库的慢查询文件进行分析。进行SQL优化的手段也主要是修改SQL写法，或者新增索引。
两表使用nest loop（以下简称NL）方式进行连接，小表驱动大表效率高，这似乎是大家的共识，但事实上这是有条件的，并不总是成立。这主要看大表扫描关联字段索引后返回多少数据量，是否需要回表，如果大表关联后返回大量数据，然后再回表，这个代价就会很高，大表处于被驱动表的位置可能就不是最佳选择了。
数据库通过锁机制来解决并发场景-共享锁（读锁）和排他锁（写锁）。读锁是不阻塞的，多个客户端可以在同一时刻读取同一个资源。写锁是排他的，并且会阻塞其他的读锁和写锁。简单提下乐观锁和悲观锁。
前言 本文主要针对的是关系型数据数据库MySql。键值类数据库可以参考最简大数据Redis。先简单梳理下Mysql的基本概念，然后分创建时和查询时这两个阶段的优化展开。 1.0 基本概念简述 1.1
select ...from table where exist (子查询)；
索引是数据库优化最常用也是最重要的手段之一, 通过索引通常可以帮助用户解决大多数的MySQL
不管是数据挖掘、运维、建站还是爬虫都广泛运用。Python和其他编程语言相比，具有语法清晰、开发效率高的特点。
索引(index)是帮助htysQL高效获取数据的数据结构(有序)。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法，这种数据结构就是索引。
上篇文章我们说了索引排序和排序注意事项，排序不要用复杂的函数，范围查找的时候，左边的列有索引效果，后面的列没有，除非指定特定值，like模糊查询时候，前面不要用%，asc desc不要混用。索引排序之所以快，因为b+树里面的双向链表和单向链表数据结构原本就是按索引从小到大排序好的，所以直接取出数据就好，不需要在磁盘和内存中排序。
开发中我们经常会利用SparkStreaming实时地读取kafka中的数据然后进行处理，在spark1.3版本后，kafkaUtils里面提供了两种创建DStream的方法:
当前很多应用都适用字符串char(15)来存储IP地址（占用16个字节），利用INET_ATON和INET_NTOA函数，来存储IP地址效率很高，使用unsigned int 就可以满足需求，不需要使用bigint/字符型，只需要4个字节，节省存储空间，效率高
MySQL中的索引可以使用多种数据结构实现,包括B+树、哈希表、红黑树等。本文将对几种常见的数据结构进行对比分析。
表中只有一个字段时 count(*) 效率最高，count(列名) 当列名是主键时，它的效率高于 count(1)，其他情况 count(1) 效率更高。
本文实例讲述了php使用mysqli和pdo扩展，测试对比连接mysql数据库的效率。分享给大家供大家参考，具体如下：
PS：MySQL索引底层数据结构详细分析过程参考这篇深入分析MySQL索引底层原理
工具准备：Mysql（数据库）、 MyEclipse（开发工具）、Navicat（数据库管理工具） 对应的mysql驱动jar包(我的mql是8.0，所以用mysql-connector-java-8.0.13.jar)
比如:多事务的执行方法,当不止一个请求到来时候,前面都还没执行以及有许多工作需要完成这时候常常是串行执行、交叉并发执行、同时并发执行；
hbase表中的数据按照行键的字典顺序排序 hbase表中的数据按照行的的方向切分为多个region 最开始只有一个region 随着数据量的增加 产生分裂 这个过程不停的进行 一个表可能对应一个或多个region region是hbase表分布式存储和负载均衡的基本单元 一个表的多个region可能分布在多台HRegionServer上 region是分布式存储的基本单元 但不是存储的基本单元 内部还具有结构 一个region由多个Store来组成 有几个store取决于表的列族的数量 一个列族对应一个store 之所以这么设计 是因为 一个列族中的数据往往数据很类似 方便与进行压缩 节省存储空间 表的一个列族对应一个store store的数量由表中列族的数量来决定 一个store由一个memstore 和零个或多个storefile组成 storefile其实就是hdfs中的hfile 只能写入不能修改 所以hbase写入数据到hdfs的过程其实是不断追加hfile的过程
最好采用思维导图工作来完成，按功能大小，逐步拆分，直到很细小的功能点。可按功能体划分，也可以按功能页面划分，直到将全部功能点覆盖为止。早期直接采用纸笔，将功能细化下来，最后再腾挪到设计稿中。
前段时间在跟其他公司DBA交流时谈到了mysql跟PG之间在多表关联查询上的一些区别，相比之下mysql只有一种表连接类型:嵌套循环连接(nested-loop),不支持排序-合并连接(sort-merge join)与散列连接(hash join)，而PG是都支持的，而且mysql是往简单化方向去设计的，如果多个表关联查询（超过3张表）效率上是比不上PG的。
索引index：是帮助 Mysql 高效获取数据 的 有序的数据结构，在数据之外，数据库系统维护着的满足特定查找算法的数据结构，这些数据结构以某种方式引用(指向)数据，这样就可以在这些数据结构上实现高级查找算法，这种数据结构就是索引
mysql查询过程： 客户端发送查询请求。 服务器检查查询缓存，如果命中缓存，则返回结果，否则，继续执行。 服务器进行sql解析，预处理，再由优化器生成执行计划。 Mysql调用存
如果在阅读文章之前你不知道adodb或者pdo，希望还是先去百度谷歌搜索下，了解下他们两个的优劣势，然后继续阅读下文。
当今有很多高级语言：Java、C#、Python、Javascript、Go等，为什么还要学C/C++呢？其实，C/C++语言无处不在，桌面操作系统（Windows、Linux、Mac）、移动操作系统（Android、iOS）、浏览器（Chrome、FireFox）、游戏引擎（Unity3D、cocos-2d）、数据库（mysql、sqlite）、高级语言的编译器和解析器、跨平台框架（QT、Flutter）等，它们的底层都是用C/C++开发。接下来，我将介绍下C/C++语言具有的四大优势。
MySQL是目前最流行的关系型数据库管理系统之一，它的体系结构和存储引擎是MySQL性能和功能的重要组成部分。了解MySQL的体系结构和存储引擎，可以帮助开发人员更好地理解MySQL的工作原理，并在实际开发中优化数据库性能。
平时存储大量数据的时候我们一般会使用数据库对数据进行存储，但是大部分人只是处于“ 用 ”的层次，并没有往深层次的了解它的内部结构。相当于给你一个工具，你只是根据说明书使用这个工具，但是不了解这个工具的原理。那这样就不能更好的发挥工具的潜在价值所以本文就来简单的介绍一下MYSQL数据库的基本架构
结构化查询语言(Structured Query Language)简称SQL，是一种数据库查询语言。
1.性能优越:快速！在适量级的内存的 MongoDB 的性能是非常迅速的，它将热数据存储在物理内存中，使得热数据的读写变得十分快，
MPP (Massively Parallel Processing)，即大规模并行处理。
索引是帮助MySQL高效获取数据的数据结构（有序）。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查找算法，这种数据结构就是索引。
对于一些数据量较大的系统，面临的问题除了是查询效率低下，还有一个很重要的问题就是插入时间长。我们就有一个业务系统，每天的数据导入需要4-5个钟。这种费时的操作其实是很有风险的，假设程序出了问题，想重跑操作那是一件痛苦的事情。因此，提高大数据量系统的MySQL insert效率是很有必要的。
schema就是数据库对象的集合，这个集合包含了各种对象如：表、视图、存储过程、索引等。为了区分不同的集合，就需要给不同的集合起不同的名字，默认情况下一个用户对应一个集合，用户的schema名等于用户名，并作为该用户缺省schema。所以schema集合看上去像用户名。
MyBatis最初是Apache的一个开源项目iBatis, 2010年6月这个项目由Apache Software Foundation迁移到了Google Code。随着开发团队转投Google Code旗下， iBatis3.x正式更名为MyBatis。代码于2013年11月迁移到Github。iBatis一词来源于“internet”和“abatis”的组合，是一个基于Java的持久层框架。 iBatis提供的持久层框架包括SQL Maps和Data Access Objects（DAO）。
哈希索引就是采用一定的hash算法，将键值换算成新的hash值，映射到对应的槽位上，然后存储在hash表中。
通过子查询不难看出，可以根据employee_id查到department_id,然后根据deparment_id查到location_id然后查city字段就行了
mysql支持的分区类型包括Range、List、Hash、Key，其中Range比较常用：
云数据库可帮助需求者进行信息存储，同时也可进行同类信息的整合与分类，提升工作效率，时下可被大家选择的云数据库种类相对较多。云数据库哪个划算一直都是一个问题。
1、mysql主从复制（类型）： 1）基于语句的复制，将执行的命令复制。默认采用此法，效率高。 2）基于行的复制。将改变的内容复制。 3）混合类型的复制 复制过程：master在日志中记录改变，并通知存储引擎提交，slave将maser的日志复制到中继日志，slave从中继日志读取事件并更新，使其与master一致。 2、mysql读写分离：只在主服务器上写，只在从服务器上读 分类： 1）基于程序代码内部实现： 2）基于中间代理层实现：客户端是mysql间通过代理连接。amoeba是代表性产品。基于java
使用 mysql 很多年了，但也没怎么深入研究过，准备最近了解下 mysql 的相关知识点。看看这款程序界里的神器是怎么运转的。
此时cg_bidid的类型是bigint 在 MySQL 中，字符串和数字做比较的话，是将字符串转换成数字。
表示唯一的，不允许重复的索引，如果该字段信息保证不会重复例如身份证号用作索引时，可设置为unique
本周赠书《性能之巅》第2版 前段时间在跟其他公司DBA交流时谈到了mysql跟PG之间在多表关联查询上的一些区别，相比之下mysql只有一种表连接类型:嵌套循环连接(nested-loop)，不支持排序-合并连接(sort-merge join)与散列连接(hash join)，而PG是都支持的，而且mysql是往简单化方向去设计的，如果多个表关联查询（超过3张表）效率上是比不上PG的。 1. 摘要 不超过3层是为了效率。 更通用 ，更好为了分布式做准备。 下面也对mysql多表关联这个特性简单探讨下~
索引是帮助 MySQL 高效获取数据的数据结构（有序）。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向）数据，这样就可以在这些数据结构上实现高级查询算法，这种数据结构就是索引。
在 InnoDB 中如果没有定义主键，会选择第一个非空唯一索引来代替。如果没有这样的索引，InnoDB 会自动生成一个不可见的列名为 ROW_ID，索引名为 GEN_CLUST_INDEX 的聚簇索引，该列是一个 6 字节的自增数值，随着插入而自增。
其语句，也称为“数据检索语句”，用以从表中获得数据，确定数据怎样在应用程序给出。保留字SELECT是DQL（也是所有SQL）用得最多的动词，其他DQL常用的保留字有WHERE，ORDER BY，GROUP BY和HAVING。这些DQL保留字常与其他类型的SQL语句一起使用。
（1）hash 索引仅仅能满足=，<=>，IN，IS NULL或者IS NOT NULL查询，不能使用范围查询。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
