00:01
好,当我们能够啊启动使用air flow之后呢,接下来来修改两个官方推荐使用的一个问题,那首先第一个呢,我们是修改MY数据库啊为MYSQL,它默认使用的呢,是本地的一个SQL light,本地磁盘的一个库啊,使用效果呢并不好,那其实呢,不仅我们这边呢,自己想要去修改这个东西啊,其实官方啊,你进来之后他也说了啊,不要使用s light作为你的原数据库,在生产环境当中,如果你想看具体信息的话呢,你也可以点击这里啊,它会跳转到它的官方网站叫setup啊,Database back in啊,设置一个新的数据库后端啊,在这个里面,它推荐使用的数据库呢,还是比较多的,我们这里呢,可以使用MYSQL啊5.7或者是八版本,我这里使用的呢是MYSQL5.7啊,那如果你想要使用MYSQL5.7的话,诶,我们先退到这个页面啊,然后用新标签来打开啊,你如果想使用MYSQL5。
01:01
点七的话呢,你往下来找。这边有对吧?啊设呃,设置为MYSQL的一个database啊,那你首先呢,需要去创建一个库啊,需要去创建一个库啊,创建这个库呢,就叫air flow DB,然后你里面使用的是UTF杠八的MB4的这么一个字符集啊,先去创建一个库来用来存这些呃原数据信息,接下来怎么样去改呢?在下面有啊。两种方式,因为我们现在使用的语言呢,是Python啊,所以不再是大家习惯性看到的GDBC的MYSQL连接了,那一种方式呢,你使用MYCQ的客户端,然后你的连接地址这样写,一种方式呢,用my circleq的一个连接驱动啊,连接地址呢这样去写,推荐大家呢,使用下面这种方式啊,因为连接驱动呢,相对更加轻量级一些啊,那你为了能够使用这种方式呢,首先你得去安装对应的驱动啊,就安装这个MYSQL的驱动啊,安装的命令呢在这边有。
02:09
我们直接使用的是啊。嗯。在这边啊,我们直接使用的是Python环境,所以用pipe in install my connect Python就可以了,我们直接来执行一下啊,CTRLC。好在我们的air flow的虚拟环境当中啊,来执行。好,我这个环节当中呢,是已经安装过了啊,那大家呢,只需要执行一下安装一下就可以了,当我们安装完之后呢,接下来呢,就开始去改这个对应的一个地址啊,我们来去修改一下啊,叫VI air floor啊叫air floor.cfg执行在这个里面,我们冒号杠啊,找到circle light啊,我们来找它之前的啊,一步到位就直接到了在这个database的标签下面,好把原先的内容呢给它注释掉啊,在这里呢,给它添加上我们新的一个连接地址,连接地址的格式呢,就以它的这个标准来啊,注意这里面的间括号指的是自定义的意思,也就是你写你自己的就行了啊,这里面的中括号啊表示可有可无的意思,就是这个端口号,因为买三的端口号可以说是人尽皆知啊,3306啊,所以你可写可不写啊,所以说我们填写下来的标准呢,就是这样的写法,来给大家看一下啊,CTRC。
03:31
粘贴过来my circleql加MySQL connector啊,我们直接使用root用户,你也可以自己创建一个用户啊,都是可以的,好艾连接地址HARD51023306啊这是它的一个数据库DB,呃,我们这里呢,可以使用NEK啊去连接呢,去看一下有没有这个库啊好,这边呢,我们来啊连接,连接完之后呢,可以看到我这是之前有这个埃尔DB的一个库了啊,我给它删掉啊,删除数据库。删除之后呢,我在这边创建新建一个查询啊,在这边呢,我重新把这个库呢,给它创建出来。
04:10
好C。好,这边呢,我们CTRL位啊,然后执行。好,这个库呢,就被我们重新创建出来了啊,里面呢,相对是空的啊,也没有什么东西,好了,到这儿呢,我们准备环境就已经做好了,那接下来呢,我们去启动它啊,这个时候呢,会有两个问题啊,会报错,来给大家一一解释一下,呃,我们在启动的时候呢,你是可以直接去start启动的啊,但我们不推荐啊,因为我们这里会有bug嘛,推荐呢,大家先调DB啊,叫初始化,我们先去初始化一下,看它会不会有什么问题啊好改先给它改好,改好之后我们来调啊a floor。叫DB啊,初始化执行好,他会给我们呢报一个问题啊,这个问题呢在这。啊,这个问题呢,它其实说的是SSL证书不匹配的一个问题啊,这是因为我们现在呃选择的这个是买circleq的5.7,然后air flow呢和PYTH版本太高了啊,版本太高,它不是这个8.0的啊呃导致呢,这个Linux内核里面啊,它里面的这个SL证书啊,不匹配啊,在实际开发当中,你们可以是自己去把这个证书呢保持匹配,其实呢,还有一种使用方法,就是说我们这些大数据这边使用的一些框架啊,很多时候呢,都需要用一个小的MYSQL作为一个后端,这个MYSQL呢,压力是非常小的啊,它就是原数据这几个框架,原数据的几张小表啊,我们have里面也有这种应用,那通常情况下这个买SQ呢,是我们大数据这边本地的啊,那如果是本地的话,其实你也可以不设置SSL证书啊,我们可以把这个证书呢给它关闭掉,接下来呢,来给大家演示如何关闭这个。
05:58
SSL证书,那首先呢,你进入到MYSQL的客户端当中啊,去执行一句话叫秀啊这个like s SL去查看一下,我们来去看一下啊。
06:09
来到这边进入到myc啊杠u rot啊杠123456执行进来之后我们来执行啊,这里呢,会显示一个yes啊,Have s SL yes,那如果是yes的话呢,就说明它是开启了这个证书的,怎么样把它关闭掉呢?直接在这执行是没有用的啊,你需要去写到它的配置文件里面啊,我们速度啊。速度VM叫ETC下的MY啊,这个配置文件在这里呢,给它添加一个东西就可以了啊,这个添加呢叫跳过SSL叫skip,呃,SSL啊,我们来给它添加上CTRC啊添加上添加上就可以了啊,添加上之后呢,我们需要去重启买CQ,这是第一个问题啊,其实还有一个问题也给大家看一下,就是说如果你等一下再初始化呢,它会报一个空值的一个问题啊,这个空值呢,就是说呃,因为我们这个键表语句呢,统一都是air flow它自己去使用的,这个air flow呢,没考虑到兼容性的问题啊,它在往里面创建的时候,会给这个时间戳类型的东西添加一些空值,导致呢他报一个错啊,这里呢,我们改一下它的一个时间戳格式就可以了,你需要往里面写的就是这一行。
07:24
啊,就这行也可以呢,先不加给大家看一下具体什么效果啊,我们先保存退出,然后把MYSQL重启一下啊ctl。叫restart啊,MYD。好,这边呢,也可以先退出来啊,你毕竟都重启了。好,冲击完成,冲击完成之后你再来调DB初始化。诶可以看到这就是我们在文档里面给大家记录的这个啊bug啊,这个bug呢,是说air flow使用到的这个字段,它的类型呢,是一个time w时间戳啊,它呢,呃,它在创建的时候呢,你这个格式啊,有一定的一个要求啊,它有要求我们这里呢,给它改一下啊就可以了,把这个要求呢给去掉啊,那同理呢,我们就也写到这个配置文件下面。
08:11
好,把这一行呢,给它复制过来粘贴啊,保存退出,退出之后呢,再来重启MYS狗。好,重启完成,重启完成之后,这边我们来粘贴啊,我们不粘贴是上一行啊,然后执行。好,这时候呢,我们就初始化完成了啊,也就是说呢,我们的air flow啊,它就重新的去呃初始化了,现在使用MY扣作为它的一个底层的一个数据库。
我来说两句