首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

自动化平台开发小结(五)

今天在睡觉前,突然想明白了一个问题,也就意味着之前困扰我的几个问题都有了解决的思路,算是取得了一个阶段性的成果吧。

接下来的事情就会相对快一些了,我来简单说下。

为了能够方便调试,自己先实现了一个基本功能,是基于Django的raw sql来实现的访问接口,传入sql或者数据库命令都可以。这样一来,我就可以很方便的查看数据库端的数据情况了。

当然这个带来的进一步改进就是我可以基于这个实现数据库层的访问接口。当然不是用Django,而是基于Python的MySQL驱动接口来做。

而在这个这个基础上,我可以马上得到一些福利,比如我可以很方便的对已有的环境进行初步的SQL分析,查看执行计划,查看优化器参数和关键数据库参数等等。

所以这个过程是并行的,元数据的部分有了初步的信息,把锁定一台服务器的粒度确定之后,就可以按照这个粒度来进行针对性的业务关联。

对此我准备先入手的就是备份恢复,备份的后台任务和备份脚本还没有接入进来,目前已有数据库的表来记录每天的备份情况,

对于备份数据的查询,我使用了如下的表格,基于时间和IP维度来查看备份的详细情况。

如果需要得到概览的信息,就需要重新定制看板。如下是一个测试环境的模拟数据。我可以根据这些关键指标来进行备份情况的摸底,有了这些数据之后要改进就有一个明确的方向了,比如备份时长太多,我们的备份优化就可以针对性的改进。

现在面临的一个实际问题是,我们暂时还不希望对已有的数据和流程造成影响,因为过年前做这个改动不是很合适,需要保持现状,但是还能够实现基本的需求。我就设计了一个备份数据同步的功能。目前的自动化平台中是设计了一个表来记录备份信息,这个数据是本地存储的,但是源数据是在另外一个数据库中,我就需要在一个事务里先从源端取到数据,然后把数据遍历,得到insert语句插入到当前的自动化平台库中。

在这个基础上,我沉淀了DAO层,设计了一些功能点,目前来看效果还不错。

下一篇
举报
领券