尚硅谷大数据技术之Airflow/视频/14_airflow框架总结.mp4原创

好，在我们课程的最后呢，我们来总结一下啊，那air flow呢，是一个调度器啊，它是用来调度和监控整个任务流的啊，那任务流呢，我们一般写的就是各种各样的脚本文件，那同时呢，它是以编程方式编写的，那主要就是Python语言啊，最终呢，咱们也已经使用过了，大家也可以看得出来啊，这虽然说是用Python语啊，但是格式呢都是固定的，你直接把你对应的脚本命令填到对应的位置就可以了啊，这是air floor，那它的安装呢，因为它是Python语言编写的，我们一般使用一个manyconda啊，作为一个Python环境的一个管理，管理完之后呢，去把它给安装上，默认它使用的这个库呢，是本地的一个SQ light，我们把它修改成MYSQL，它因为依赖一个小的MYSQL，推荐大家呢，在大数据这边集群的一个本地电脑上啊，自己呢，去创建一个小的买菜购，避免呢，跟别人的这个业务使用到的数据库呢造成。

成一个连接的一个争抢啊，你写一个本地的，然后来连接使用就可以了啊，如果出现对应的兼容性问题，你就把SSL证书给它关闭掉啊呃，同时呢，把。对应的circle的格式啊，给它修改成允许出现空值啊，好，再最后呢，我们修改了一下它的执行器，能够让它呢去并发的调度啊，你要使用这个他就只能一个一个去调度了，就像我们刚才演示的他补充任务啊，啊30号一号去补充28号29号的任务，他可以多个一起来调度啊，最后呢，我们给它添加上了一个邮件服务器啊，你只需要能够懂这个SMTP一个服务就可以了，他用的不是你邮箱的密码，而是这个地方生成的一个授权码，当你全部填写完成之后啊，它就可以去给你发送邮件了，那如果失败的话呢，你这边开启失败发送也能够发送对应的一个邮件啊好，这整个呢，就是我们air flow的一个框架的完整介绍了，在实际开发里面，你需要根据你实际的开发情况，主要去修改的内容啊，其实就是这个地方。

啊，不受使用，你主要要修改的内容呢，其实就是这一句话啊，要巴西卡曼的对吧，你把你的巴西卡曼的呢，调成你对应的DWD也好啊，还是DWS也好，你的书仓里面对应的那个启动脚本就可以了啊，别的内容呢，它都会帮你去调度的啊好，这就是我们整个框架的一个介绍了。