首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    GreatSQL5.7数据库DROP表后无法重建

    一、数据库信息: 数据库版本:5.7.21-log 某银行测试数据库,APP业务库内有一个含有大量(几百个)分区表的大表test_app。DROP该分区表的大表后导致无法重建该分区表。 二、问题描述: 客户使用“drop table test_app;”时,显示表删除成功。当重新执行该表的建表语句时,报错“Table 'app.test_app /* Partition p0 */' already exists” 三、问题分析: 3.1> 原因是GreatSQL 5.7数据库DDL没有原子性,drop表的删除动作没有执行完成; 3.2> 进入数据库“show tables”查看test_app表已不存在; 3.3> 进入数据库所在的目录下,查看test_app表的相关文件。test_app.frm文件已不存在,但是有大量的"test_app#P***.ibd"分区表文件存在。关闭数据库,移除这些分区表文件到其他目录,启动数据库;数据库无法启动,报“无法找到这些分区表文件”的错误; 3.4> 重新创建test_app表时,报“table already exists”错。 3.5> 感觉进入了死胡同,最先想到的直截了当方法是备份APP业务库内除这张表的其他表,删除该数据库后,进行APP业务数据库的恢复,该方法没有测试,觉得太麻烦。 四、问题处理(方法一,测试步骤): 4.1> 新建一个临时库test,依据app库目录里的数据文件名称,修改建表语句后,执行test_app表的建表SQL语句,生成test_app.frm文件; 4.2> 关闭数据库,修改数据库配置文件my.cnf文件的参数为“innodb_file_per_table=OFF”; 4.3> 把临时库test目录下的test_app.frm文件拷贝到业务数据库app目录下,启动数据库; 4.4> 进入业务数据库APP,可以看到test_app表; 4.5> 执行“drop table test_app;”语句,成功删除了表。关闭数据库; 4.6> 进入业务数据库app对应的目录下,test_app.frm文件已不存在,但是有个test_app#P***.ibd分区表文件存在。手工删除该ibd文件。 4.7>修改数据库配置文件my.cnf文件的参数为“innodb_file_per_table=ON”;启动数据库。 4.8> 重新执行test_app表的建表SQL语句。即可成功创建表。 五、问题处理(方法二,客户执行步骤): 5.1> 设置innodb_file_per_table=OFF:set global innodb_file_per_table='OFF'; 5.2> 执行test_app表的建表语句,建表成功。 5.3> 删除test_app表drop table test_app; 5.4> 重启数据库。 5.5> 再执行test_app表的建表语句,建表成功。

    01

    sql解析的一些计划

    关于sql解析的一些概述: 因为最近在研究如何将oracle的sql语句迁移到hive上去,前期是准备写一些udf函数去弥补hive缺失oracle函数的遗憾, 其次会使用python开始开发一套轮子去实现转换。目前是实现了DDL建表语句的迁移,之后会慢慢不上DML的迁移。 目前的整体架构和一般的sql解析引擎无异,有如下几个部分: Catalog:这部分相当于字典表,使用了pyhs2去检查hive是否存在这张表,后续的话,应该也会利用pyhs2直接建表。 DDL_parser:现在只是实现了建表语句的互换 sql_parser:打算是正常的select语句,不支持insert语句。解析关键字,生成一棵树。主要是对oracle语句和hive语句的join做出处理,变成一个逻辑执行计划。 analyzer:将逻辑执行计划,重新组装成hive sql语句。 具体细节如下: 逻辑执行计划主要是树的数据结构,分为三种节点: 一元节点:主要是存放Project,Sort,Limit,Filter这四种操作。一个子节点 二元节点:主要是Except(也就是类似于not in),Intersect(也就是join,这里目测实现难度会最大),两个子节点 parser的设计: 对于传入的语句将\r\n\t这些都替换为空格,设为空格标识符。 对sql语句进行拆分,会使用stack的结构,处理子查询。 DDL的解析:对create和table进行匹配,create table设为DDL标识符。表名就是identifier,再就是匹配括号,将括号里面的语句进行处理转换成hive的语句。 其中特别提到的是数据类型的转换,通常来讲是会全部转成string类型,number会转成decimal类型。 sql_parser:会对里面的函数进行匹配,使用字典的形式去匹配,赋值相应的标识符。将相应的字段名,处理到keyword的执行计划中,放入树中。会处理oracle的一些特殊表示连接 的方式 analyzer:目前再将sql_parser的数再拼接回来,将oracle简写的sql语句变成hive的。

    02
    领券