尚硅谷大数据技术之Airflow/视频/02_Airflow的基本概述.mp4原创

好，接下来我们开始讲述正文的内容，Air floor的课程呢分为三部分组成，对应我们文档的三章，第一章是air flow的基本概念啊，这一张里面呢，会给大家简单介绍一下什么是air flow啊，以及呢air flow的一些特点。第二张呢叫air flow的安装啊，这张呢，我们会在我们的集群上搭建一个Python的环境啊，同时的安装上我们的airlow能够进行一个简单的使用。第三章叫部署使用，我们呢会演示一个基础的案例啊，去告诉大家air flow在实际开发生产当中是如何去使用的。好，那话不多说呢，进入我们第一章的内容，那第一章呢叫airlo的基本概念，那也就是给大家介绍一下什么是airlo啊，一句话airlo呢是一个调度器啊，可能有的同学呢，已经学过了，像Z贝S啊，Dophin s海豚调度器类似呢，这些框架，那air。

普劳的跟他们是一样的啊，都是属于调度器，It行业呢有一句话啊，叫调度用的好，下班下的早啊，调度用不好，凌晨三点跑不了，对吧？好，那这个air flow呢，就是属于这种调度器啊，说直白一点呢，就是说我们it呢，会有很多的工作啊，需要呢每天定点去执行，如果你不用调度器的话，就意味着你每天夜里啊凌晨啊，就比方说三点钟还要爬起来到你的公司电脑上去执行一个任务，显然呢，这是不合适的啊，那这时候呢，你就需要使用调度器，让它呢去自动运行啊，我们的L符号呢，就是这样的一种调度器，那么之前呢，也提到过其他的几种调度器，L符号跟它们有什么样的一个区别呢？啊这里呢就有对应的一个介绍了，A floor呢是一个以编程方式编写、安排和监视工作流的一个平台，后面这个比较好理解。它后。

会给我们提供一个web UI，在这个web UI上面呢，可以很轻松的看到我们调度的每一个任务啊，同时呢，对它起到一个很好的监视效果，如果这个任务发生错误的话，它还会给你发邮件啊，这些呢都是已经设计好的，前面这个以编程方式编写啊，大家呢要特别注意一下了，Air floor不是随便写的一个TXT文本，不是一个配置文件啊，你要给airlow写一个Python脚本啊，你要给他写一个pthon脚本，也就是说airlow是直接调度Python脚本的，在Python脚本里面用固定的对象啊，编写好对应的内容，让他去执行一个调度就可以了啊。可能有的同学说呢，艾老师我没有学过Python这门语言怎么办啊，不用担心啊，不用害怕，Airlow的Python编程呢，是全部都是格式化好的，你只需要填上对应的格。

就可以了啊，比方说呢，我们会把对应的那个命令，以前写脚本叫SSH远程连接啊哈，杜普102后面写上这个对应的命令，现在呢，你也是把这个对应的命令填到对应的Python脚本里面的这个格里面就可以了啊，相当于呢，操作起来是更规范了啊，也更标准了，但是使用起来呢，还是一样的简单便捷。好，再往下呢，Air flow将工作流编写的任务啊，写成了一个有向无环图啊。DA，相信很多同学呢，学了大量的框架之后啊，对这个有向无环图都不陌生了，大概是一个什么概念呢？有限无环图把一个一个的任务定义为一个一个的节点啊，一个一个的节点。好，这个节点呢，互相依赖，彼此串联，比方说这是一，这是二，这是三啊，你的任务里面需要先执行一，再执行二，需要先执行三，再执行二，也就是说二呢，要放到一，三后面执行，那你画出来的图呢，就长这个样子啊，这个呢，就是一个节点与节点之间连接的有向无环图啊，有向就是有方向啊，无环什么意思呢？你不能让它互相依赖，你不能说先执行三，再执行二，先执行二，再执行三，你两个人对着指，那就不行了啊，无环不能圈起来。

好好，这是我们的airf floor，那关于这个有一项文环图呢，后面会有详细的介绍，在监控的平台上也能很清晰的看到这么一个有效无环图啊，我们air flow的计划呢，就遵循你设计的有效无环图，然后进行一个哎，统一的管理调度，在丰富的用户界面上，你也能够看到更多的监控的一个对象啊，监控的一个数值排除故障呢，也会变得更加容易，好，那这个就是AR的基本概述。