在另一台具有Airflow的计算机上安排任务
，意味着使用Airflow作为任务调度和工作流管理工具，将任务分配给另一台计算机来执行。下面是对这个问题的完善和全面的答案：
概念： Airflow是一个开源的任务调度和工作流管理平台，它允许用户通过编写代码定义、调度和监控复杂的工作流。它提供了一个可视化的用户界面，用于创建、管理和监控工作流任务。
分类： Airflow属于工作流管理类别的软件，它可以用于调度和管理各种类型的任务，包括数据处理、ETL（抽取、转换、加载）、机器学习模型训练等。
优势：
- 可编程性：Airflow使用Python编写任务和工作流定义，使得用户可以使用Python的强大功能来定义复杂的任务逻辑。
- 可扩展性：Airflow支持插件机制，可以轻松地扩展其功能，满足不同场景下的需求。
- 可视化界面：Airflow提供了一个易于使用的可视化界面，用户可以方便地创建、管理和监控工作流任务。
- 强大的调度功能：Airflow提供了灵活的调度功能，可以根据时间、依赖关系等条件来触发任务的执行。
- 高可靠性：Airflow具有任务重试、任务失败告警等机制，可以保证任务的可靠执行。
应用场景： Airflow适用于各种场景，包括但不限于：
- 数据处理和ETL：Airflow可以用于调度和管理数据处理和ETL任务，例如数据抽取、数据转换、数据加载等。
- 机器学习模型训练：Airflow可以用于调度和管理机器学习模型训练任务，例如数据预处理、特征工程、模型训练等。
- 定时任务：Airflow可以用于调度和管理定时任务，例如定时生成报表、定时发送邮件等。
- 复杂工作流：Airflow可以用于调度和管理复杂的工作流，例如数据处理流程、数据分析流程等。
推荐的腾讯云相关产品： 腾讯云提供了一系列与任务调度和工作流管理相关的产品，可以与Airflow结合使用，例如：
- 云函数（SCF）：腾讯云云函数是一种无服务器计算服务，可以用于执行Airflow定义的任务逻辑。
- 云数据库MySQL版（TencentDB for MySQL）：腾讯云云数据库MySQL版可以作为Airflow的元数据库，用于存储任务和工作流的元数据。
- 云监控（Cloud Monitor）：腾讯云云监控可以用于监控Airflow的运行状态和性能指标。
产品介绍链接地址：
- Airflow官方网站：https://airflow.apache.org/
- 腾讯云云函数产品介绍：https://cloud.tencent.com/product/scf
- 腾讯云云数据库MySQL版产品介绍：https://cloud.tencent.com/product/cdb_mysql
- 腾讯云云监控产品介绍：https://cloud.tencent.com/product/monitor
相关·内容
我有一个正常运行在远程机器上的AirFlow服务，它可以通过浏览器访问URL：
现在，我想动态地将DAG从(另一台机器)上传到airflow.xxx.com的AirFlow，并使DAG自动运行。
在我阅读了气流文档：之后，我找到了动态创建DAG并自动运行它的方法，这可以在气流机器airflow.xxx.com上完成。
但是我想在另一台机器上完成它，如何实现它，是否有像webhdfs这样的方法，允许我直接向远程AirFlow发送命令？
浏览 0提问于2017-11-30得票数 1
3回答
我希望将Windows Server 2003计算机上的所有计划任务复制到另一台Server 2003计算机上。我可以保证所有的可执行文件都能在新计算机上使用。我可以这样做吗?如果可以的话，怎么做？
浏览 0提问于2011-04-26得票数 12
回答已采纳
我使用的是最新的AirFlow。我运行了一个dag文件，它只执行打印和休眠命令10秒。
一旦dag成功运行了50次，它就会自动停止。当我重新启动web服务器、调度器和worker时，它会再次运行50秒。我这样做了两次，结果是一样的。
浏览 1提问于2020-09-28得票数 0
在另一台计算机上安装IDE之后，我尝试在我的手机上安装一个现有的应用程序。在部署过程中，我被要求先卸载应用程序.因此，失去了应用程序中的所有用户设置。
如何从第二台计算机(使用Eclipse)安装应用程序的新版本，而不必首先卸载它(完全)？
浏览 4提问于2015-06-12得票数 0
回答已采纳
我的想法是运行一个airflow作业来更新本地主机上的包；在主机上，airflow在docker container中运行。
浏览 22提问于2021-08-17得票数 0
我是Airflow的新手，但我已经定义了一个Dag，每天上午9点发送基本的电子邮件我的DAG如下： from airflow import DAG
from datetime import datetime, timedelta
from airflow.operators.bash_operator import BashOperator
from airflow.operators.email_operator import EmailOperator
from airflow.utils.dates import days_ago
date_log = str(datetime.to
浏览 31提问于2021-06-26得票数 2
回答已采纳
2回答
Problem：我正在GCP上设置一个Google，其中安装了airflow。我现在正试图通过遵循关于airflow的说明将systemd与集成起来，但是它说明了一个假设，即气流将在airflow:airflow下运行。
如何设置气流安装，以便每当VM上的任何用户从外壳运行airflow时，后端都会以airflow用户的身份运行。它类似于在hive用户下运行的单元进程。
虚拟机上的OS : CentOS 7
浏览 4提问于2017-11-14得票数 2
我已经按照文档说明在我的服务器上安装了airflow。
安装看起来同时包含主服务器(服务器)和从服务器(客户端)。
如何在另一台计算机上安装Airflow的从/客户端组件？或者每个安装都需要同时包含服务器和客户端？
浏览 2提问于2016-06-03得票数 1
谁能指导我，如果我做错了什么:目标:想要设置调度器HA。版本:后端db -postgres12.6，Airflow 2.1.1挑战:当调度器在第一台机器上启动时，它按预期工作，我能够触发示例_bash_operator，但当调度器在具有相同后端连接的另一台主机上启动时。我的第一个调度程序失败，当我尝试单击WebUI中的bash_oprator_example dag时，它显示以下错误 ValueError:不支持的pickle协议:5
浏览 107提问于2021-11-17得票数 0
我有以下情况：
我的网络上的另一台计算机上保存了一个Excel工作簿。我需要在那台计算机上执行这个文件，因为它连接了一个大屏幕来显示一些数据。我试图自动执行工作簿，但我所能得到的只是让它在我的计算机上运行，我需要它在那台计算机上运行
我使用的vbs代码的相关部分如下：
Set objXL = CreateObject("Excel.Application")
objXL.Visible = True
Set objXLWorkbook = objXL.Workbooks.Open(path)
我知道此方法只能在我的计算机上打开工作簿。有人知道如何让它在另一台计算机上运行Exce
浏览 3提问于2012-10-11得票数 0
回答已采纳
我有一个达格，每小时安排一次。假设凌晨1:00，凌晨2:00，凌晨3:00假设02:00被选中，但是如果01:00am dag运行仍在进行中，则需要取消02:00am实例。
我在尝试这个密码。
local_tz = pendulum.timezone("America/Chicago")
default_args = {
'owner': 'airflow',
'depends_on_past': True,
'start_date': datetime(2020, 11, 15, tzi
浏览 15提问于2020-11-17得票数 0
回答已采纳
2回答
我正在设置一个分布式气流集群，其中除了芹菜工作人员以外的其他一切都在一个主机上运行，处理工作在多个主机上进行。气流2.0设置使用在气流文档中提供的yaml文件进行配置。在我的初始测试中，当我在同一台主机上运行所有东西时，我让体系结构工作得很好。问题是，如何在远程主机上启动芹菜工人？
到目前为止，我试图创建一个修整版本的上述对接-写作，在这里，我只开始芹菜工人在工人主机，而不是其他。但我在数据库连接方面遇到了一些问题。在经过修剪的版本中，我更改了URL，以便它们指向运行db和redis的主机。
dags、日志、插件和postgresql db位于所有主机都可以看到的共享驱动器上。
我应该如何进行
浏览 19提问于2021-06-30得票数 7
回答已采纳
6回答
iv创建了一个包含一些表的数据库，并使用SQL server 2008填充它们，我想将数据库移动到另一台计算机上，最好的方法是复制数据库并在另一位置重新创建它?？
顺便说一下，我正在连接到localhost\SQLEXPRESS，如果这很重要的话！
谢谢
浏览 5提问于2010-03-06得票数 1
回答已采纳
我正在一台比我现在使用的电脑更强大的计算机上运行很多数据。但是，数据位于我已经创建并不想更改的Server实例中。是否有方法在另一台计算机上设置相同的Server？
浏览 0提问于2013-06-08得票数 2
3回答
我希望一个进程在完成另一个进程之后启动。一个解决方案是使用外部传感器功能，下面您可以找到我的解决方案。我遇到的问题是依赖的守护进程陷入了戳，我检查了这个并确保这两个dag按照相同的时间表运行，我的简化代码如下所示:任何帮助都将不胜感激。领袖达格：
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import datetime, timedelta
default_args = {
'owner': 'airflow
浏览 0提问于2018-10-13得票数 9
回答已采纳
我增加了新的任务到我的DAG，它需要回填他们。目前，当我运行airflow backfill时，它会运行所有的任务(新的和旧的)，我想忽略那些已经成功的旧任务。
有没有办法在回填中跳过成功状态下的任务？
浏览 4提问于2017-10-31得票数 1
回答已采纳
在Windows 7上，在创建要在另一台Windows 7计算机上运行的计划任务时，是否可以从命令行中设置“允许任务按需运行”属性(实际上在工作组环境中有9个其他任务)？
此任务既需要作为日常计划任务运行，也需要按需运行。设置一个不存在的日期或触发器是行不通的，正如我在这里和其他地方所看到的那样。
我宁愿不使用XML。只要Powershell适合命令行，并且不是完整的脚本，它是可以接受的。
我对这篇文章感到困惑：“计划中的任务模块首次出现在Windows 8和Windows 2012中PowerShell 3.0中。”它在Windows 7上可用吗？
提前谢谢。
浏览 0提问于2016-06-09得票数 1
要求:使用while循环为每个日期运行SQL查询。例如:选择开始日期为8月25日，结束日期为8月28日，然后BigQueryOperator第一次运行8月25日，然后是8月26日等，直到我们到达8月28日。
问题:在下面的DAG中，它只执行开始日期的查询，然后完成作业。它甚至不执行/迭代BigQueryOperator到下一个日期，等等。
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.contrib.operators.bigquery_operator
浏览 0提问于2018-08-31得票数 1
1回答
我目前在我的计算机上设置了一个cmd脚本，同时还设置了一个计划任务，该任务应该每15分钟运行一次。该脚本运行一个python程序，该程序也在我的计算机上，然后将创建的文件上传到我的Github存储库。但是，当我的计算机完全关机并且我不想让我的计算机全天候运行时，此计划任务不会运行。 有没有办法在电脑关机的情况下运行cmd脚本？我听说过使用Amazon Web Services帐户或DigitalOcean droplet的潜在解决方案，但我(充其量)对其工作原理的理解是新手。任何建议或链接到资源将不胜感激！
浏览 42提问于2021-03-02得票数 2
回答已采纳
我的目标是通过可从本地网络上的另一台计算机访问的HTTPS连接来测试我的Web应用程序。我已经在开发应用程序的计算机上安装了IIS Express Development Certificate，所以当我从Visual Studio中使用以下网址打开站点时：
https://localhost:44234/MyWebApp/Index.aspx
它可以在web浏览器中很好地打开。
我还导出了该节点，然后将其导入到本地网络上的另一台计算机上，并将其添加到Certificates (Local Computer)/Trusted Root Certification Authorities节点。
浏览 1提问于2015-09-23得票数 0
我用的是气流1.8.1。我有一个DAG，我相信我计划每5分钟运行一次，但它没有这样做：
忽略两个成功的DAG运行，那些是手动触发的。
我查看了DAG的调度程序日志，我看到：
[2019-04-26 22:03:35,601] {jobs.py:343} DagFileProcessor839 INFO - Started process (PID=5653) to work on /usr/local/airflow/dags/retrieve_airflow_artifacts.py
[2019-04-26 22:03:35,606] {jobs.py:1525} DagFilePro
浏览 0提问于2019-04-26得票数 1
回答已采纳
4回答
我在不同的AWS机器上运行一个气流服务器和工作人员。我同步了它们之间的dags文件夹，在这两个文件夹上运行了airflow initdb，并在运行airflow list_tasks <dag_id>时检查了dag_id是否相同
当我运行调度程序和worker时，我在worker上得到以下错误：
airflow.exceptions.AirflowException:找不到dag_id：。要么该守护进程不存在，要么它无法解析。..。命令.-本地/home/ubuntu/airflow/dags/airflow_tutorial.py‘-sd
问题在于，由于正确的路径是(/h
浏览 4提问于2017-04-05得票数 17
通过我最近的研究，我开始意识到airflow的schedule_interval有一些怪癖，我已经尽了最大的努力来解释它如何影响我正在做的事情，但还没有完全解决这个问题。 我使用这些默认参数： default_args = {
'owner': 'airflow',
'depends_on_past': False,
'start_date': datetime(2019, 1, 12),
'email': ['email@domain.com'],
浏览 50提问于2019-02-15得票数 0
回答已采纳
我在我的计算机上本地运行标准的对接-撰写文件，所有的默认设置来自气流:2.1.4，postgres:13，redis:最新。当我有调度程序的一个实例时，一切都按预期的方式工作，但是当我添加调度程序的另一个实例时，我开始得到锁定问题。
postgres_1 | STATEMENT: SELECT slot_pool.pool AS slot_pool_pool, slot_pool.slots AS slot_pool_slots FROM slot_pool FOR UPDATE NOWAIT
我的相关停靠-撰写文件是
&airflow-common
environment:
浏览 3提问于2021-10-04得票数 1
回答已采纳
我在我的WPF应用程序中创建了一个本地数据库，现在我想在其他计算机上运行该应用程序，现在如何将本地数据库从一台计算机传输到另一台计算机，而我不想在另一台计算机上手动创建数据库？我们必须将数据库转换成某种.exe文件吗？如果是，那么如何做到这一点，或者实现这一点的最佳方法是什么？我的应用程序使用以下连接字符串访问自己目录中的数据库文件：
System.Environment.CurrentDirectory + @"\Data\" + databaseFileName;
请从头到尾解释，因为我是新手？？
浏览 2提问于2014-04-10得票数 0
我需要每天在另一台Win10机器上启动一些服务，这是服务不可用的，并且需要有人登录到windows机器上。这样做的唯一方法是登录到这台win机器，然后锁定它。
是否有任何方法创建计划的任务(在另一台计算机上)连接并登录到远程计算机？
浏览 0提问于2021-12-29得票数 1
回答已采纳
2回答
MikroTik路由
、、、
我有一个问题。
I有一个MicroTik路由器和两台计算机；I在一台计算机上有一个静态地址192.168.1.251/24，在另一台计算机上有一个静态地址192.168.1.252/24，因此这两台计算机在同一网络中；I将一台计算机连接到MikroTik的eth5端口，另一台连接到eth6，而这两台计算机彼此不可见。
有人知道需要做些什么才能看到这两台电脑吗？
浏览 4提问于2020-12-11得票数 0
回答已采纳
我刚刚在本地设置了Airflow，封装在一个码头容器中。
我想知道是否有可能将此Airflow本地环境链接到GCP上的实际Airflow/Composer服务？
有没有办法用docker容器做到这一点？
谢谢
浏览 0提问于2019-04-01得票数 1
1回答
我目前正在尝试编译我用Netbeans创建的项目。当我在已经在Netbeans中打开项目的计算机上使用ant编译项目时，一切正常，但是如果我在另一台计算机上执行相同的操作，它似乎无法识别我使用的库，并且当我尝试运行创建的jar文件时，我得到一个NoClassDefFound错误。如果我再次在Netbeans中打开项目 Netbeans是否在打开项目时设置了编译它所需的任何变量或类似的东西？
浏览 16提问于2020-08-06得票数 1
我在Ubuntu远程服务器上用Postgres数据库成功地设置了Airflow，看起来很棒。
我能够连接到我的数据仓库(一个单独的服务器)，并轻松地将查询作为任务发出。这很简单，因为安装了Airflow的服务器实际上正在发出查询。
因为我现在只是测试Airflow，所以它安装在一个相当小和低功率的服务器上。有没有办法安排任务在我强大的Windows桌面上运行？或者，利用本地计算机下载数据/处理文件，并让Airflow知道任务已成功完成的最佳方法是什么？
浏览 12提问于2017-03-07得票数 6
回答已采纳
需要执行的所有权限、设置或步骤，以便一台计算机上的IIS后面的Web应用程序能够访问另一台计算机上的文件/目录。
浏览 3提问于2010-12-21得票数 1
回答已采纳
我目前正在使用Airflow PostgresToGoogleCloudStorageOperator和GoogleCloudStorageToBigQueryOperator将我的Postgres DB (托管在AWS RDS上)的每个表导出到BigQuery。它可以工作，但我有75张桌子，所以Airflow创造了75 *2个工作岗位。由于我刚接触Airflow，我不知道这是不是一个好的做法。 在任何情况下，我都希望找到一种一次性导出所有表的方法(pg_dump?)转换为GCS，然后将其导入BigQuery。
浏览 13提问于2020-01-31得票数 5
回答已采纳
1回答
我有一个32 up的闪存驱动器，格式化为ext4 (我用它来存储比fat32格式允许的更大的文件)，这是我用我的计算机设置的，我是计算机上的管理员，也是唯一的用户。在这台电脑上，我拥有闪存盘，并且可以使用它。
在另一台Ubuntu计算机上(我有管理权限，但不是主用户)，它安装在主用户下面，我无法访问它。
我已经尝试将另一台计算机上的闪存驱动器的所有权更改为我的用户，但在我的计算机上，它是1001用户#1001所拥有的。
有人能告诉我这是为什么吗?有什么办法可以绕过这件事吗？
任何帮助都将不胜感激。
谢谢。
浏览 0提问于2017-09-11得票数 5
回答已采纳
这是独家新闻
我使用了SET (社会工程工具包)并复制了一个登录页面，使用的ip是10.0.2.15 (请注意，这是在虚拟机Virtualbox上)，当我试图在另一台计算机上查看它时，它显示服务器没有响应。我试图转发端口，但它给了我问题。有什么我可以做的端口转发或做一些类似的事情，使网页连接到IP在另一台计算机的万维网上可见。
换句话说，ip的页面只能在我用来托管ip的同一台计算机上查看，你能通过转发它的端口使它在任何计算机的浏览器上都可见吗？
浏览 0提问于2015-05-23得票数 0
就解码/解密的容易程度而言，SectionInformation.ProtectSection的安全性如何？可以在另一台使用SectionInformation.UnprotectSection的计算机上简单地解密使用SectionInformation.ProtectSection加密的文件节吗？若否，原因为何？
浏览 0提问于2016-02-27得票数 1
我想知道在不同的计算机上，类型的hash_code()是否相同？举个例子:如果typeid(int).hash_code()在另一台计算机上是相同的吗？
浏览 4提问于2020-04-07得票数 5
回答已采纳
我有两台物理计算机(每台都是windows8)连接在一个局域网中。在这两台电脑上，我都安装了装有windows server 2008的Oracle虚拟计算机。我想从一台虚拟机ping位于另一台计算机上的另一台虚拟机。我该怎么做呢？由于某些原因，我在两个虚拟机上有相同的IP。
浏览 0提问于2014-09-30得票数 1
2回答
这可能是一个棘手的问题，但假设我有一个从我在VS 2015发布模式下运行的程序中生成的exe，如果我想将我的程序发送到另一台计算机，当然我会发送发布文件夹(该文件夹具有所有适当的all +主exe)。但是，另一台计算机上的用户是否有来让VisualStudio2015运行my？如果是这样的话，我是否应该把我的程序安装在另一台计算机上呢？当我将我的exe发送到只有VS 2012的计算机时，它似乎不想运行，但是当我将我的exe发送到带有VS 2015的计算机时，它就会运行。也许这只是巧合？
浏览 4提问于2015-11-09得票数 0
回答已采纳
我在SQL Server 2008中有一个数据库，我要将其复制到另一台计算机。
我如何制作这样的副本？
完成此操作后，我应该在另一台计算机上执行什么操作才能从我的副本再次构建数据库？
浏览 1提问于2012-01-04得票数 23
回答已采纳
我在桌面上创建了一个C# Windows服务，并希望使用安装程序将该服务传输到另一台计算机。我将服务/安装程序放在我的闪存驱动器上，并尝试将其安装到另一台计算机上。它已正确安装，但无法成功启动。有人知道为什么它会这样做吗？？
我使用的是VS2010。
浏览 2提问于2011-02-25得票数 1
1回答
我有一个数据库，在android手机上有一个名为sensors的表，不断更新实时传感器读数。
我想在手机上做一个网络服务器，这样我就可以通过输入手机的ip地址从局域网上的另一台计算机上读取这些读数(数据库)。
我的方法正确吗？如果是这样的话，请指导我如何获得这个。
浏览 1提问于2015-08-31得票数 0
2回答
尝试将Airflow进程拆分到2台服务器上。服务器A已经在独立模式下运行，其中包含DAG，我想将其设置为具有附加服务器的新设置中的worker。
服务器B是新的服务器，它将在MySQL上托管元数据数据库。
我可以让服务器A运行LocalExecutor吗，还是必须使用CeleryExecutor？airflow scheduler是否必须在具有正确DAG的服务器上运行？或者它必须在集群中的每台服务器上运行？不清楚进程之间有什么依赖关系
浏览 0提问于2017-07-12得票数 6
1回答
我尝试使用以下函数运行python脚本：
arcpy.ListTables()
，arcpy.ListFeatureClasses()
或
，arcpy.ListWorkspaces("*"，"FileGDB")
但是所有的函数在一台计算机上返回正确的结果，在另一台计算机上返回"None“。
包含GDB文件的文件夹已复制到这两台计算机，并且可以通过ArcCatalog从这两台计算机正确访问。
可能的问题是什么？可能是任何安全措施？
浏览 17提问于2020-06-02得票数 0
对于我正在执行的特定任务，我试图从我的计算机上运行一个.bat文件，但我希望在另一台计算机上执行该命令。例如，我有一个.bat文件，它将ipconfig命令写入文本文件。该文件的代码如下所示：
@echo off
REM Name: ipconfig.bat
ipconfig /all > a.txt
@pause
现在是我要讨论的问题，我想在我网络中的另一台计算机上运行这个.bat文件。因此，我编写了以下.bat文件来尝试这样做：
@echo off
REM Name: SendIpconfig.bat
REM The User variable represents where I
浏览 6提问于2014-09-10得票数 2
回答已采纳
我的代码是非常简单的python，它将"Hello World“存储在一个变量中，然后通过我的电子邮件GMAIL调用并发送存储在变量中的数据，直到一切正常 然后我将它转换成.exe (使用cx_Freeze)，.py和.exe文件在我的计算机上都运行得很好，并通过电子邮件给我发送消息！ 但是，当我尝试在另一台计算机上运行.exe文件后(我导出了整个可执行文件夹并在另一台计算机上安装了python作为预防措施)，它在发送电子邮件时就会停止运行，并自行关闭控制台。；-； 通过smtplib调用时停止执行： import smtplib 我怎么才能解决这个问题，我想在其他机器上运行我的文件
浏览 13提问于2019-12-20得票数 0
回答已采纳
3回答
自动调用PHP页面？
、、、、
可能重复：
我需要每20分钟更新一次数据库。(即)在“X”列中添加50，减去20个形式的'y‘列，根据'z’列的时间预置一个方程，等等)我在update.php页面中有必要的更新，但是如何每20分钟调用一次该页面(没有在计算机上安排任务)？还是有更好的方法来做这件事？
谢谢
浏览 13提问于2011-08-26得票数 2
回答已采纳
我已经使用Visual Studio2010学习版创建了一个网站项目。它工作得很好。但是当我在另一台机器上复制项目(包含代码文件)时。它显示一个错误。
The Web site 'D:\Project1\MyOnlineWebsite\Website1' does not exist.
只有解决方案资源管理器才能看到解决方案，其他文件无法加载。
基本上，它在另一台不存在的机器上搜索上述路径。在另一台计算机上复制之前，我应该在项目中做哪些更改？
浏览 2提问于2013-02-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
