SQL审核工具发布的思考 关于SQL审核发布 今天将前段时间做的SQL审核工具做了一场发布，邀请了一些后台和前端的开发同事，他们平时可能没有机会坐下来仔细的去审核自己写的SQL，今天通过SQL...审核工具的发布，大家一起聊了聊在写SQL的方面的一些经验和积累，总体来讲效果还是不错的。...由于我们的SQL审核工具具有打分的功能，可以根据当前这个SQL的执行情况，按照公司的开发规范给出一定的分数值，这种直观的反馈还是很吸引人的。...第三、在SQL审核工具的发布会上，大家还是找出了工具中存在的一些问题，可能确实存在一些语句，我们审核的不到位，比如说一个字段的注释是“电话号”，但是实际上字段类型给定的是char（256），这种情况除了人工...，恐怕没有工具能够这么智能的审核出来，所以，做好一间事情的最佳方案不是做完美了再拿出来，而是先做出来，再去迭代，再去完善它，可能这是更好的方法，大家也可以体会思考一下，毕竟，光说不做假把式。
1.2208.0-pre3 SQLE Release Notes SQL审核工具 SQLE 1.2208.0-pre3 于今天发布。以下对新版本的 Release Notes 进行详细解读。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...新增部分 MySQL 审核规则 （1） 禁止使用TIMESTAMP字段 背景：TIMESTAMP 有2038年限制 并且时区转换。...MySQL 审核场景化改造兼容事后审核模式 目前，SQLE的SQL审核在设计之初是为了满足SQL上线的审核，随着产品发展，我们支持了多场景下的事前事后审核。...SQLE的SQL审核在设计之初是为了满足SQL上线的审核，通过上下文关联和基础对象验证满足上线SQL的正确性校验，这些在事后审核的场景下过于严格且审核的SQL是已执行过的（慢日志的SQL），导致部分SQL
1.2207.0-pre1 SQLE Release Notes SQL审核工具 SQLE 1.2207.0-pre1 于今天发布。以下对新版本的 Release Notes 进行详细解读。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...支持OceanBase MySQL模式审核插件【企业版】 SQLE通过插件的形式支持OceanBase MySQL模式的审核，我们调研了MySQL与OceanBase的部分差异，在OceanBase-MySQL...插件内引入了大部分MySQL的审核规则，并去掉OceanBase MySQL模式不兼容的场景，使得SQLE审核能完全兼容OceanBase MySQL模式。...[#666] 修复MySQL的lower_case_table_names配置为2时，部分审核进行库表检查不符合预期的问题； [#667] 修复当MySQL审核语句包含系统表时，SQLE审核会提示表不存在的问题
Inception的安装 1.https://github.com/mysql-inception/inception 下载包 gitclonehttps://github.com/mysql-inception.../configure make&& make install 安装其他依赖项 yuminstall gcc gcc-c++ cmake openssl-devel ncurses-devel MySQL-python...Wwrite-strings-Wno-strict-aliasing -Wdeclaration-after-statement" # make && make install 4.启动方式： 启动有两种方式，和MySQL...所在目录/Inception --port=6669 登陆方法： 启动成功之后，可以简单试一下看，通过MySQL客户端 mysql-uroot -h127.0.0.1 -P6669 登录上去之后，再执行一个命令
技术圈已经有了很大的变化，在SQL审核领域，开源工具SQL Advisor中也看到了雪刚的贡献。 GitHub上来看下这个项目的情况，star有2000多，还是比较高的了。...在工具的更新和活跃度上，貌似有了停滞的进度。 ?...对于SQL审核，一直以来我觉得审核的价值是性能和潜在问题，语法问题严格意义上来说不属于审核的范畴，但是让我捉急的是，我们却需要花很多的工具在权限，语法上，希望这款工具能给我一些新的视角。...port=3306 dbname=testdb sqls=select * from t2 where id=3; 整个SQL审核后的结果如下： [root@dev01 sqladvisor]# ....对于SQL审核，源码文档中也给出了一些很细致的流程说明，还有更多的流程说明图，对于我们后续来定制和使用也是一种很不错的参考借鉴。 ?
1.2208.0-pre1 SQLE Release Notes SQL审核工具 SQLE 1.2208.0-pre1 于今天发布。以下对新版本的 Release Notes 进行详细解读。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...SQLE OceanBase for MySQL 新增了部分审核规则【企业版】 本周我们为 OceanBase for MySQL 新增了6条特定的审核规则，规则的选型来自于OceanBase 的官方文档...SQLE PostgreSQL 审核插件支持SQL分析【企业版】 在之前的MySQL 审核中，我们新增了SQL 下钻分析的功能， 本周PostgreSQL插件也支持了该功能，下面是产品的功能体验： 首先在...审核插件支持SQL分析【企业版】； OceanBase for MySQL 审核插件添加部分审核规则【企业版】； 优化 [#698] 工单名称默认在页面上使用自动生成工单号； [#712] 创建的扫描任务的审核周期建议默认设置久一点
目录 前⾔ DDL语句审核 DCL语句审核 DML语句审核 DDL与DML上下⽂关联 结论 前⾔ SQLE 是由爱可⽣开发并开源、⽀持SQL审核、标准化上线流程等丰富功能的可扩展SQL审核⼯具（https...测试create table 建表语句⼆ 下⾯2条SQL示例，⼀条为语法⽆误、⼀条为语法错误（含MySQL保留关键字）。...测试alter table禁⽤索引 下⾯2条SQL示例，⼀条为创建索引，⼀条为将索引修改为不可⻅（禁⽤）状态。 如下图审核结果，其实不符合预期。...少数MySQL8.0 新特性涉及的SQL⽬前SQLE可能还不能兼容，例如 建表时存在 MySQL 8.0 新的保留字，如窗⼝函数相关的RANK、ROW_NUMBER等。...语法 JSON_TABLE函数等 总之，瑕不掩瑜，不兼容的点毕竟⽇常SQL开发审核上线中极少使⽤，相信后续SQLE版本将进⾏优化。 本文关键字：#SQLE# #SQL审核#
--- 目录 前⾔ DDL语句审核 DCL语句审核 DML语句审核 DDL与DML上下⽂关联 结论 前⾔ SQLE是由爱可⽣开发并开源、⽀持SQL审核、标准化上线流程等丰富功能的可扩展 SQL 审核⼯具...测试create table 建表语句⼆ 下⾯2条SQL示例，⼀条为语法⽆误、⼀条为语法错误（含MySQL保留关键字）。...[renzhongyusqle-20.png] 审核结果如下图。 [renzhongyusqle-21.png] ⼩结 审核结果基本没啥问题，SQLE将不符合SQL开发规范的问题正常甩出。...少数MySQL8.0 新特性涉及的SQL⽬前SQLE可能还不能兼容，例如 建表时存在 MySQL 8.0 新的保留字，如窗⼝函数相关的RANK、ROW_NUMBER等。...语法 JSON_TABLE函数等 总之，瑕不掩瑜，不兼容的点毕竟⽇常SQL开发审核上线中极少使⽤，相信后续SQLE版本将进⾏优化。
最近在做一些SQL审核的事情，这里讲SQL审核的前期工作简单总结一下，做的一些测试的结果，希望对大家认识这两个自动化审核工具有所帮助。...Advisor审核建议： 2018-07-26 17:34:49 53989 [Note] 第1步: 对SQL解析优化之后得到的SQL:select from dual where 1 having..._testdb execute_time : 0 sqlsha1 : Sql审核发现无法找到id这一列，无法进行删除操作，此时查看数据库中的元素，发现数据库的字段中没有id字段，在sql审核测试界面手动添加...=10.3; SQL Advisor审核建议 2018-07-27 14:47:16 25393 [Note] 第1步: 对SQL解析优化之后得到的SQL:select from dual 2018-...2.3 Update审核 Update datatype set d_tinyint=99 where d_tinyint=100; SQL Advisor审核建议 2018-07-27 15:05
2.2306.0-pre2 SQLE Release Notes SQL 审核工具 SQLE 2.2306.0-pre2 于今天发布。以下对新版本的 Release Notes 进行详细解读。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...审核规则 根据业务需求，本期新增 3 条MySQL规则，分别为： 1....Bug 修复： 修复 OceanBase for MySQL TopSQL 存在空值导致智能扫描审核失败报错 "the node is empty after parse" 的问题； 修复智能扫描 MySQL...慢日志审核中 scanner 扫描慢日志文件时，当 SQL 存在换行则解析不完整的问题。
实现原理 SQL审核工具应该完全兼容 MySQL 的输入，及解析 MySQL 的语法。...我们改造 MySQL 源码的 Client 模块来实现SQL审核工具的输入，利用 MySQL 源码的语法分析模块来对 SQL 语法进行解析。...下图1为 SQL 审核工具与 MySQL 源码模块对应示例。 图1 SQL 审核工具与 MySQL 源码模块对应 SQL审核工具实现中最重要的两个模块：输入模块及语法分析模块，下面分别进行说明。...2.1 输入模块 SQL审核工具的输入模块是对 MySQL Client 源码进行了改造。...使用介绍 上面介绍了 SQL 审核工具的背景及实现，现在讲下SQL审核工具应如何使用。
作者：刘新旺 MySQL DBA，专注于 MySQL 数据库多年，现就职一家本地生活服务类互联网公司，负责数据库相关工作。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...需求分析 产品定位 互联网时代，一个 app 可能承载成百上千万用户的使用；其业务规模之大，更新迭代之快，众多业务线日常上线 SQL 之多；DBA 对上线 SQL 的审核和执行工作变得十分繁忙，如何高效的保障...用户细分 主要使用人员：开发人员和 DBA ；开发人员希望便捷、高效、自主可控的上线业务 SQL ；DBA 希望便捷、高效、安全、高质量的审核 SQL 上线。...创建SQL工单-SQL语句输入框高度过高，点击审核后不方便查看到结果，建议降低高度增加宽度 （4）创建SQL工单-工单不支持自定义上线时间，同时也不支持定时上线 表现层 平台整体以白灰色色调为主，配色稳重简约
2.2309.0-pre3 SQLE Release Notes SQL 审核工具 SQLE 2.2309.0-pre3 于今天发布。以下对新版本的 Release Notes 进行详细解读。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...支持快速审核 SQL 现在，您可以直接提交需要审核的 SQL，无需创建工单，即刻获得审核结果。这个全新的功能将带来更快速、更高效的审核体验。...SQL 语句审核 编辑好 SQL 之后点击编辑框下方的 “审核” 按钮，即可查看到审核结果。审核结束后，可以回到审核记录列表追溯到每次审核的信息。 审核结果 2....审核功能 [#1783] 新增 MySQL 审核规则 Bug 修复： [#1830][#1832] 修复 MySQL 审核时如果 SQL 内切换过 schema，导致审核异常的问题 # 企业版 优化
二、 功能介绍 SQLE 的开发阶段 SQL审核主要是通过 SQLE 的功能审核任务来完成的，该功能定位是应对全场景 SQL 质量管控解决方案，能够在应用开发、测试、上线、生产等不同阶段对 SQL 进行质量管控...将 SQL 采集与SQL审核结合对数据库进行长期审核，目前支持Mybatis 扫描，慢日志，库表元数据，TopSQL ，应用程序 SQL 抓取（java应用）的场景审核。...应用开发阶段可以通过审核任务的 Mybatis 扫描类型的任务对应用代码做实时审核，Mybatis 扫描的审核任务需要通过 SQLE 提供的 Scanner 工具进行SQL采集并推送到 SQLE 进行SQL...因此在开发阶段也可以将SQL审核作为一个检查模块集成进CI流程。将 SQL审核事宜前置到开发阶段能够减少后期SQL审核的压力。...SQLE Scanner 本质上是一个二进制命令行工具，该工具集成在 SQLE 内，可以在 SQLE 平台安装目录的 bin 下找到，具体的使用方式和命令行参数解释参考：https://actiontech.github.io
将 SQL 采集与SQL审核结合对数据库进行长期审核，目前支持Mybatis 扫描，慢日志，库表元数据，TopSQL ，应用程序 SQL 抓取（java应用）的场景审核。...应用开发阶段可以通过审核任务的 Mybatis 扫描类型的任务对应用代码做实时审核，Mybatis 扫描的审核任务需要通过 SQLE 提供的 Scanner 工具进行SQL采集并推送到 SQLE 进行SQL...因此在开发阶段也可以将SQL审核作为一个检查模块集成进CI流程。将 SQL审核事宜前置到开发阶段能够减少后期SQL审核的压力。...SQLE Scanner 本质上是一个二进制命令行工具，该工具集成在 SQLE 内，可以在 SQLE 平台安装目录的 bin 下找到，具体的使用方式和命令行参数解释参考：https://actiontech.github.io...本文关键字：#SQLE# #SQL审核# #事前审核#
1.2206.0-pre1 SQLE Release Notes SQL审核工具 SQLE 1.2206.0-pre1 于今天发布。以下对新版本的 Release Notes 进行详细解读。...文章主要分为以下三部分内容： 一、SQLE 项目介绍 二、新版本主要功能介绍 三、完整的release信息 一、SQLE 项目介绍 爱可生开源社区的 SQLE 是一款面向数据库使用者和管理者，支持多场景审核...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...支持TIDB审核插件【企业版】 SQLE通过插件的形式支持TiDB的审核，我们调研了MySQL与TiDB的部分差异，在TiDB插件内引入了大部分MySQL的审核规则，并去掉TiDB不兼容的场景，使得SQLE...支持TiDB专属审核规则【企业版】 group by语句必须包含select列表中的所有非聚合列 检查 SQL需要遵守 'MySQL的ONLY_FULL_GROUP_BY' 模式；例如：select a
如上文所述，PawSQL审核引擎的设计目标是使用尽量少的审核规则，覆盖尽可能全的SQL语法和结构，确保尽量高的审核正确率。...PawSQL，公众号：PawSQLPawSQL审核 | SQL审核引擎的设计目标 基于以上的三个目标，PawSQL设计了自己的SQL审核规则体系。...PawSQL的审核规则体系是以SQL对数据库的操作类型分成三大类，即对象设计、对象操作和数据操作。...对象设计的审核的审核对象虽然是SQL语句，但是其实它是对SQL操作的结果进行审核。...这些数据操作语句的不恰当写法可能会导致SQL在正确性、安全性、可维护性、性能方面的各种问题，PawSQL针对数据操作语句从这四个角度共设计了85个审核规则。
前言 经常可以看到市面上的SQL审核工具号称自己审核规则很多，支持的数据库类型很全。...实际使用了以后，就会发现审核规则确实很多，一个MySQL数据库类型近200个规则，实际可用、有用的可能就几十条；而对于其他类型数据库，譬如PostgreSQL或openGauss，规则一共可能就几十条。...稍微复杂一点的SQL就报语法错误；或是出现大面积的误报或漏报的情况。审查规则越多越好吗？市场上到底需要什么样的SQL审核引擎？看一下SQL优化领域的领先厂商PawSQL如何设计它的SQL审核引擎。...1.1 抽象化 想要审核规则尽量少，但是覆盖度却尽量广，就需要对审核规则的模式进行抽象化，这样才能用同一个规则覆盖不同的数据库类型的SQL，不同的SQL写法。...譬如对于`表连接缺少链接条件`这个审查规则，它既包括通过`JOIN`操作符显式的表连接（案例1），也包括FROM多张表，但是在`WHERE`里缺少连接条件的情况（案例2）；同时它也适用于MySQL/PostgreSQL
2.2307.0-pre2 SQLE Release Notes SQL 审核工具 SQLE 2.2307.0-pre2 于今天发布。以下对新版本的 Release Notes 进行详细解读。...，支持标准化上线流程，原生支持 MySQL 审核且数据库类型可扩展的 SQL 审核工具。...支持自定义审核规则 当用户根据业务需求需要创建新的审核规则时，可以使用平台的自定义规则功能。目前，用户可以在平台上通过正则表达式自定义 SQL 审核的规范，且新建的审核规则将作为全局资源使用。...调整了审核 SQL 和审核结果的页面布局，提升用户体验。 2. 增加了对 SQL 分析结果的展示，用户可以查看更完整的审核结果。...SQL 分析结果展示 [#1653] 支持自定义审核规则：正则匹配 优化： [#1627] 解决慢日志表扫描任务中，展示 SQL 语句报错的问题 社区版和企业版功能对比 详情页面：https://actiontech.github.io
现有的SQL审核工具很多，包括Yearning、goInception、Bytebase、爱可生的SQLE、云和恩墨的SQM等等，但是它们或者规则覆盖度、或者是在正确率等方面存在明显不足；导致企业在引入产品后难以进行落地...SQL审核工具现状与挑战 规则覆盖不足：现有SQL审核工具由于其在SQL解析、语句的结构化表达等核心能力的缺失，导致其只能对DDL和简单的DML语句进行审核，无力解决诸如SQL的高级特性、跨语句判断等复杂情况的审核...正确率较低：由于SQL解析能力的不足，无法正确理解复杂SQL的结构，导致审核工具容易产生大量误报和漏报，大大降低了可用性。...优化能力欠缺: 现有的SQL审核工具由于其在SQL解析、语句的结构化表达、优化建议等核心能力的不足，导致其对于SQL优化的建议缺失。 PawSQL审核平台的优势 1....总结 PawSQL作为新兴的企业级SQL审核工具，在设计理念和核心技术上实现了突破性创新。凭借高覆盖度、高正确率和优秀的可扩展性，PawSQL能够为企业提供全方位的SQL质量保障。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
