这几天在读《MySQL技术内幕 InnoDB存储引擎》，对 Innodb逻辑存储结构有了些了解，顺便也记录一下；
有一天看到了一个开发同学提的问题，感觉蛮有意思，就稍花了些时间总结了下，问题描述如下：
索引条件下推，也叫索引下推，英文全称Index Condition Pushdown，简称ICP。
mysql和hive版本： mysql版本：5.6.17 hive版本：2.1.1
前两天碰到了一个问题，MySQL的一张表，1220万数据量，需要删除1200万数据，仅存储20万数据，讨论了三种方案，
binlog 顾名思义就是一种二进制日志，是一种与innodb引擎中redo/undo log完全不同的日志。它主要是用来记录对mysql数据更新或潜在发生更新的SQL语句，并以”事务”的形式保存在磁盘中。
本文中%INSTDIR%指teleport服务端安装目录，默认位于/usr/local/teleport/。
数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。
写python项目时，需要用到日志类，需求为：日志信息可配置，提供几种类型不同的配置，并且日志既可以写到文本也可以写到数据库中。 实现时日志类直接使用python的logging，配置信息写到配置文件logging_data.conf，并使用logging.config.fileConfig(log_config_path)加载配置。写日志到数据库参考了log4mongo-1.6.0.tar.gz的写法，同时每当在数据库写日志时，同时需要插入一些额外信息，比如：projectId runningId algorithmId，所以使用了python的logging.LoggerAdapter把额外信息添加进去。
通常，涉及到敏感信息时用户需要使用审计日志。不仅仅是在表上运行Select，还包括访问表中的特定单元格。通常，这类数据将包含一个分类级别作为行的一部分，定义如何处理、审计等策略。
在认识binlog日志三种模式前，先了解一下解析binlog日志的命令工MySQLbinlog。mysqlbinlog工具的作用是解析mysql的二进制binlog日志内容，把二进制日志解析成可以在MySQL数据库里执行的SQL语句。binlog日志原始数据是以二进制形式存在的，需要使用mysqlbinlog工具转换成SQL语句形式。
在MySQL数据库管理系统中，默认情况下，事务是自动提交的，也就是说，只要执行一条DML语句，开启了事务，并且提交了事务。
使用敏感信息时您需要拥有审计日志。通常，此类数据将包含一个分类级别作为行的一部分，定义如何处理、审计等策略。在之前的博客中，我讨论了如何审计分类数据查询。本篇将介绍如何审计对机密数据所做的数据更改。
Hadoop的安装略，JDK的安装略。安装在192.168.33.33这台机器上。
一个朋友接到一个需求，从大数据平台收到一个数据写入在20亿+，需要快速地加载到MySQL中，供第二天业务展示使用。
今天在一个QQ群看到有同学做http://redtiger.labs.overthewire.org/上的题目。随手做了几题，发现还有点意思，有的题目我也一时想不到思路。工作忙，没有时间一一测试，搜索发现了 http://blog.spoock.com/2016/07/25/redtiger-writeup/，这篇文章的作者对10个题目做了解答。 答案没有做验证，原题目有可能已经更新，不过思路都可以做参考。 同时要说的是，很多同学拿到答案就失去了思考，没有学习思路，也没有探讨这些注入技巧和思路的本质。这样你
在实现一个多级菜单功能时，发现 Laravel 从 MySQL 获取的整型数据被转换成了 string 类型, 导致使用 collection filter 无法得到对应的数据。但是并不是在所有机器上都能出现，只有在服务器上才会
关闭数据库,呵呵,看上去没有什么可以说的,或者说没有什么技术含量,属于只要脖子上有一双带眼睛的脑袋就可以进行操作. 事实是这样的吗? 关闭数据库看似简单的事情也能给评出个 3 6 9 等的LEVE
#ifndef _M_LOGGER_H_ 和 #define _M_LOGGER_H_是预处理器指令，用于防止头文件被重复包含。如果头文件已经被包含了，那么这对指令将会被跳过。
原文地址： http://mysql.taobao.org/monthly/2017/12/09/
在并发的场景中，为了保证数据的一致性我们会在数据库中使用事务。然而在强一致性与性能上则需要根据具体业务来取舍，所以一般数据库提供了四种事务隔离级别： 读未提交（Read Uncommitted） 读提交（Read Committed） 可重复读（Repeatable Read） 序列化（Serializable） 由于日常工作中使用事务比较频繁，遂在此作一下总结 在了解这四种事务隔离级别之前，需要了解如下概念： 更新丢失（Lost Update）: 两个事务同时修改一行数据，其中一个事务的更新被另外一个事
Maxwell允许您将数据“引导”到流中。这将执行 select * from table和将结果输出到您的流中，从而允许您从头开始播放流来重新创建整个数据集。
说起在线 DDL，最常见的操作莫过于在线加一个字段或者索引，不过如果数据量比较大的话，伴随而来的往往是长时间的等待，更要命的是系统在操作期间很可能会出现不可用的情况，所以一般只能等到凌晨操作，简直就是梦魇一般的存在。
本文简要介绍 binlog 原理及其在恢复、复制中的使用方法，更多深入分析可参考 mysql 官方文档。
项目中使用NLog记录日志，很好用，之前一直放在文本文件中，准备放到db中，方便查询。 项目使用了Mysql，所以日志也放到Mysql上，安装NLog不用说，接着你需要安装Mysql.Data安装包： Install-Package MySql.Data 接着打开你的NLog，新增一个target： <target xsi:type="Database" name="mysqlDb" dbProvider="MySql.Data.MySqlClient.MySqlConnection, My
本文简要介绍 binlog 原理及其在恢复、复制中的使用方法。
转自《對於 MySQL Repeatable Read Isolation 常見的三個誤解》
InnoDB一棵B+树可以存放多少行数据？这个问题的简单回答是：约2千万。为什么是这么多呢？因为这是可以算出来的，要搞清楚这个问题，我们先从InnoDB索引数据结构、数据组织方式说起。
最近跟在粉丝群先聊到一个问题，数据库的写入方式，最多能写入多少行数据。经过一些网络搜索和查询，据悉MySQL单表插入极限是3w~5w。
MySQL的历史可以追溯到1979年，它的创始人叫作Michael Widenius，他在开发一个报表工具的时候，设计了一套API，后来他的客户要求他的API支持sql语句，他直接借助于mSQL（当时比较牛）的代码，将它集成到自己的存储引擎中。但是他总是感觉不满意，萌生了要自己做一套数据库的想法。一到1996年，MySQL 1.0发布，仅仅过了几个月的时间，1996年10月MySQL 3.11.1当时发布了Solaris的版本，一个月后，linux的版本诞生，从那时候开始，MySQL慢慢的被人所接受。1999年，Michael Widenius成立了MySQL AB公司，MySQL由个人开发转变为团队开发，2000年使用GPL协议开源。2001年，MySQL生命中的大事发生了，那就是存储引擎InnoDB的诞生！直到现在，MySQL可以选择的存储引擎，InnoDB依然是No.1。2008年1月，MySQL AB公司被Sun公司以10亿美金收购，MySQL数据库进入Sun时代。Sun为MySQL的发展提供了绝佳的环境，2008年11月，MySQL 5.1发布，MySQL成为了最受欢迎的小型数据库。在此之前，Oracle在2005年就收购了InnoDB，因此，InnoDB一直以来都只能作为第三方插件供用户选择。2009年4月，Oracle公司以74亿美元收购Sun公司，MySQL也随之进入Oracle时代。2010年12月，MySQL 5.5发布，Oracle终于把InnoDB做成了MySQL默认的存储引擎，MySQL从此进入了辉煌时代。然而，从那之后，Oracle对MySQL的态度渐渐发生了变化，Oracle虽然宣称MySQL依然尊少GPL协议，但却暗地里把开发人员全部换成了Oracle自己人，开源社区再也影响不了MySQL发展的脚步，真正有心做贡献的人也被拒之门外，MySQL随时都有闭源的可能……
mysqld_exporter启动的时候需要读取mysql授权用户的一个配置文件，所以我们要先创建一下这个配置文件。
近年来，不少程序员在吹捧MariaDB，抛弃MySQL。本文总结了一些 MariaDB强过MySQL的地方，分享给大家！
https://github.com/moiot/gravity是摩拜单车开源的一款mysql同步工具：它是由一系列简单插件组成的同步工具，提升了足够的可扩展性的同时，也保证了架构的简洁性。下面先分析下它的原理以及如何使用，然后分析下它的源码。
笔者有个好习惯就是喜欢做笔记，即使当时没来来得及弄懂，之后也可以慢慢研究。今天就选取出一些之前所做笔记里的个人认为比较有趣的，关于 SQL 注入/ SQL 方面的小东西，以及它们带给我的思考，简单来说就是笔者的一些点滴的成长过程。这些东西也并不怎么高深，比较适合入门的看看。另外就是由于可能比较敏感，所以就尽量不放图了。
由于在写项目的时候经常要配置，所以整理了下，方便查找 application.properties是SpringBoot框架中的一个全局的配置文件，是核心配置文件。这个配置文件主要用来配置数据库的连接,日志相关配置，以及以下功能： 1)自定义属性与加载: [在配置文件中自定义属性后,可以通过@Value("${属性 名}")注解加载对应的配置属性] 2)参数间的引用: 可以通过${属性名称}来调用属性值] 3)使用随机数:可以通过${random.int}类似的写法赋予属性随机数的特性 4)
今天在处理一个问题的时候，需要根据其他部门提供的sql语句对一个表中的数据进行了筛查。 语句类似下面的形式 > SELECT MAX_LEVEL,LOGOUT_TIME,CURRENT_DATE AS NOWTIME,cn_master FROM t_test_october_back_a WHERE ID in ( 100, 200, 300, 400, 500) ; +-----------+---------------+------------+-----------+ | MAX_LEVEL |
本文从简单到复杂，将前面的查询关键字都用起来，并给出在mysql中的语句样式，方便对比理解。 1.简单条件查询 mysql: SELECT * FROM policy_file WHERE LEVEL = '国家级' AND web_source = '浙江省人民政府' AND launch_department != '浙江省工商局' Elasticsearch: curl -XGET "http://10.1.1.28:9200/policy_document/policy
MySQL 事务具有四个特性：原子性、一致性、隔离性、持久性，这四个特性简称 ACID 特性
1千万，2千万，或者上亿条数据？具体的答案不重要，当然肯定也不会是一个固定的数目，今天我们就一起来探讨探讨这个问题。
前两天朋友提了一个和SQL有关的问题，准确地说，是和字符串转换有关的，首先我们创建测试表，用模拟数据进行说明，
数据库存储引擎是数据库底层软件组织，数据库管理系统（DBMS）使用数据引擎进行创建、查
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
