AIRFLOW_HOME=/path/to/my/airflow_home 我得到这样的警告.../airflow.cfg and /path/to/my/airflow_home/airflow.cfg.Airflow used to look at ~/airflow/airflow.cfg,
浏览 44提问于2019-12-24得票数 3
4回答
当我查看我的默认、未修改的airflow.cfg (位于~/airflow中)时，我看到dags_folder被设置为/home/alex/airflow/dags。我做cd /home/alex/airflow; mkdir dags; cd dags; cp [...]/tutorial_2.py tutorial_2.py。现在，我有了一个
浏览 9提问于2017-07-01得票数 39
回答已采纳
Airflow似乎跳过了我添加到/usr/local/airflow/dags中的dags。当我跑的时候输出如下所示ls -la /usr/local/airflo
浏览 0提问于2017-08-07得票数 29
3回答
我按照在线教程在airflow.cfg中设置了电子邮件SMTP服务器，如下所示：email_backend = airflow.utils.email.send_email_smtpsmtp_user = smtp_port = 587我的DAG如下：from airflow import
浏览 1提问于2018-08-14得票数 29
回答已采纳
5回答
在Airflow UI中，我看到了大量这样的消息变体。sys.path，这似乎减轻了我的问题。我已经尝试在Airflow用户帐户.bashrc中导出PYTHONPATH，但在执行dag作业时似乎无法读取。做这个的正确方法是什么？--更新AI
浏览 3提问于2018-06-06得票数 7
我目前正在运行在谷歌云GCP的Kubernetes上的气流。我的项目是以为基础的。我能够启动UI，但是当我试图为google云创建一个连接并提交连接时，我会得到以下错误。2018-09-21 19:45:13,345 AirflowException:未能创建Fernet对象: Fernet键必须是32 url安全的safe 64编码字节。docs推荐的第一个问题是确保安装了密码学，我会这样
浏览 0提问于2018-09-22得票数 5
-m venv ~/Desktop/气流
然后我做了pip3安装apache-气流=1.10.9
在我的airflow.cfg文件中/DESKTOP/airflow/plugins，并重新启动气流、and服务器和调度程序。现在是使用我的自定义操作符创建自定义进程的时候了。如何导入正确的插件是一个挑战。导入自
浏览 1提问于2020-06-07得票数 4
我们使用的气流2.0.1与以下设置：
芹菜执行器和4个节点上的4个工作人员。大多数任务运行一些通过启动的Hadoop应用程序，只是默认队列。首先，我们建立了自己的作业，更新了run_as_user用户的Kerberos票证。在大约一周的时间里，它运行良好，然后一个工人开始失败，因为失去了Kerberos的票。我们找不到上次成功运行和失败作业之间的任何更改；节点上有一个有效的票证；因此我们停止了工作。第二天，我们完全<
浏览 0提问于2021-05-26得票数 3
sudo systemctl start airflow
气流持续运行了一个星期，直到今天我用命令重新启动了它。但是，如果在创建/run/airflow/webserver.pid文件之后使用systemd运行气流，它就会被删除(而不是替换)，如果在创建/run/airflow/webserver.pid文件之后用airflow webse
浏览 2提问于2018-09-12得票数 16
当我将新的DAG python脚本放在dags文件夹中时，我可以在DAG UI中查看DAG的新条目，但它不是自动启用的。最重要的是，它似乎也没有正确加载。我只能单击列表右侧的Refresh按钮几次，然后切换列表左侧的on/off按钮才能安排DAG。这些都是手动过程，因为我需要触发一些东西，即使DAG脚本被放在dag文件夹中。顺便说一句，正如在文章标题中提到
浏览 1提问于2017-01-10得票数 51
我在Apache气流上创建了一个DAG。调度程序似乎被配置为从2015年6月开始运行(顺便提一下)。我不知道为什么，但是我创建了一个新的dag，我没有回填它，我只用这些日期间隔用不同的DAG ID回填其他DAG ID，调度器使用这些日期并回填我的新进程。我开始使用气流)。sqlalchemy.exc.OperationalError：(sqlite3.OperationalError)没有这样的表: job：‘插入作
浏览 0提问于2019-02-27得票数 10
回答已采纳
1回答
我的问题是，当我创建一个每天都要运行的守护进程时，一切都很好，但是当我创建一个dag，它将在周一和周三上午10点运行时，气流不会运行它。有人知道我做错了什么吗?我应该怎么做才能解决这个问题？，运行良好且正确：from airflow import DAG
from airflow.operators.bash_operator import Bash
浏览 4提问于2020-03-24得票数 0
回答已采纳
我有类似的情况，这里提到的import airflowfrom airflow.contrib.auth.backends.password_auth如果我退出python shell并再次启动它，我可以看到用户正在做什么或
浏览 1提问于2018-08-13得票数 3
2回答
在WSL上安装和运行气流
、、、
我按照中的流程在WSL (Windows 10)下在Ubuntu中安装了气流。但是，在运行airflow db init时，我会得到以下错误：(airflow_env) sultani@Khalid:~/c/users/administrator/airflowhome$ <e
浏览 6提问于2022-06-08得票数 1
回答已采纳
8回答
Could not read logs from s3://buckets/xxxxxxx/airflow/logs/xxxxxxx/2017-06-我在airflow.cfgMyS3Conn]aws_secret_access_key = xxxxxxx然后在airflow.cfg中的远程日志部分中指定
浏览 33提问于2017-06-27得票数 45
回答已采纳
为了方便起见，我想使用Airflow提供的MsSqlHook类在Airflow UI中创建连接，然后使用SqlAlchemy为连接创建上下文管理器def mssql_sessionsession.rollback() else: finally:但是当我这样做
浏览 149提问于2018-12-04得票数 4
在启动气流while服务器时出错2018-12-03 00:29:38,776 {models.py:271} INFO -从/User/balajee/airflow/dags填充运行Gunicorn服务器的DagBag :工人:4同步主机: 0.0.0.0:8080超时:
浏览 0提问于2018-12-02得票数 6
我的project中有这样的文件夹树信息- python:无法打开文件
编辑如果在dockerfile中在WORKDIR /下
浏览 0提问于2020-03-17得票数 7
回答已采纳
所以我有一个任务A，它是将一些未知数量的文件复制到一个文件夹中。任务B在文件夹中的每个文件上运行。我没有办法预先知道文件的数量，因为它们一直在变化。有没有办法让它在气流中工作。text/plain', )我正在获取目录中所有文件的名称，然后为它们运行操作员，但airflow不是以这种方式工作的，因为它</em
浏览 3提问于2018-09-11得票数 2
5回答
我有一个计划每天运行的气流DAG。当我开始上个月的回填时，Airflow将开始处理从最旧到最新的运行。由于单次运行需要几个小时，这意味着当新的运行可用时(在回填过程中已经过去了一天)，新的运行将仅在整个回填完成后处理(导致公司无法获得最新数据)。是否可以指示气流从最新到最旧的流程运行？
浏览 3提问于2018-07-18得票数 7
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
