腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在图像红帽/泛8上安装气流-未能连接到postgres
、
、
、
由于
基于
图像python的操作系统漏洞:3.8SIM-buster,我试图构建一个
基于
redhat ubi8的图像。ARG
AIRFLOW
_USER_HOME=/usr/local/
airflow
RUN pip install -U pipuseradd -ms /bin/bash -d /usr/local/
airflo
浏览 13
提问于2022-10-12
得票数 0
回答已采纳
1
回答
需要创建自定义s3KeySensor
我正在使用
airflow
_docker,它似乎没有附带s3KeySensor。它确实带有一个Sensor类。如何创建自己的自定义s3KeySensor?下面是s3KeySensor的源代码 我使用
airflow
docker的原因是它可以在容器中运行,并且我可以将aws角色凭证传递给任务容器,以便它具有正确和准确的权限来执行操作,而不是使用worker
浏览 37
提问于2021-07-24
得票数 0
1
回答
AIRFLOW
_HOME和
AIRFLOW
__CORE__
AIRFLOW
_HOME环境变量的区别是什么?
气流文档 讨论如何设置一个名为$
AIRFLOW
_HOME的环境变量,它是安装气流的地方。此过程创建的配置文件
airflow
.cfg在文件顶部的核心部分中有一个名为
airflow
_home的属性。但是,使用环境变量覆盖
airflow
.cfg中的气流变量的方式是使用模式
AIRFLOW
__SECTION__VARIABLENAME。
基于
这种模式,气流家庭环境变量在技术上应该由环境变量
AIRFLOW
__CORE__
AIRFLOW
_HOME而不是
AIRF
浏览 1
提问于2018-12-04
得票数 1
回答已采纳
1
回答
通过将作业安排到
airflow
来更新
Airflow
数据库
、
、
这听起来与直觉相反,但是通过将作业部署到
airflow
来更新
airflow
数据库的优缺点是什么?我认为这是一种通过直接更新数据库来设置
基于
角色的访问的选项,而且因为
Airflow
是一个调度器,所以在
Airflow
上调度这个过程是有意义的。 谢谢
浏览 13
提问于2020-07-14
得票数 0
1
回答
在Apache
Airflow
UI中显示本地时间
、
、
如何配置
Airflow
网页标题以显示本地时区的当前时间?如下图所示,它当前显示的是UTC时间。 在单击它时会显示不同行为:我在Ubuntu 18.04上运行
Airflow
1.10.9。浏览器采用Firefox 76.0。谢谢!
浏览 16
提问于2020-05-14
得票数 1
回答已采纳
1
回答
气流在dag中重复一次taske
但我不知道如何做这样的工作:我需要像这样重复执行任务,修改通道字并构建代码,然后重新执行: set_channel_a >> build_src >> set_channel_b >> build_src 但是
airflow
浏览 10
提问于2019-12-09
得票数 0
3
回答
运行
Airflow
命令行后,sqlite3引发错误
、
当我运行命令:
airflow
list_users时,它引发了如下错误:this error at: http://sqlalche.me/e/e3q8) 运行后也存在相同的错误:
airflow
浏览 2
提问于2019-07-17
得票数 5
回答已采纳
1
回答
如何在dag cloud composer中外部触发任务
、
、
、
编辑 这是我所认为的DAG代码的简化版本: import google.cloud.bigquery as bigquery from
airflow
import DAGfrom
airflow
.contrib.operators.bigquery_operator import BigQueryOperatorfrom
airflow
.operators import dummy
浏览 21
提问于2021-03-23
得票数 1
回答已采纳
3
回答
气流启动和运行,但找不到
airflow
.cfg文件
我已经设置了气流环境,但找不到我到目前为止所做的
airflow
.cfg file.Things: 该气流是如何启动和运行的,但没有找到
airflow
.cfg文件?这是我使用的正式的气流作曲家文件。
浏览 17
提问于2022-04-10
得票数 1
1
回答
找不到放置在
Airflow
中的本地文件- GCSToLocalFilesystemOperator
我们使用的是 task_id='download_file', bucket='our-bucket',) 这个任务运行得很好,但是对于我们的下一个任务,需要将local_file.json导入另一个数据库,我找不到这个文件。特别是,我们正在使用mongoimport通过mongoimpor
浏览 3
提问于2020-11-17
得票数 0
1
回答
无法通过CLI创建用户
我已经在我的服务器上安装了
airflow
1.10.13,并且我正在尝试创建
基于
角色的用户进行身份验证。我尝试在命令行界面中使用
airflow
create_user,但是用户没有被创建,尽管命令显示用户已创建。 ? 当我查看用户列表
airflow
list_users时,此用户不可用,并且我也无法登录UI。 ? 此外,我确信电子邮件,名字,姓氏都是可选参数,但它说这些是必需的。 ? 如果有人能帮助我如何创建
基于
角色的用户,我将不胜感激。
浏览 31
提问于2021-01-13
得票数 1
回答已采纳
2
回答
把
airflow
_local_settings.py放在作曲家的哪里?
、
在composer (气流1.10.10)中,是否可以创建一个
airflow
_local_settings.py文件?如果是的话,应该存放在哪里呢?将
airflow
_local_settings.py文件添加到$PYTHONPATH或$
AIRFLOW
_HOME/config文件夹中。
浏览 5
提问于2020-09-28
得票数 0
1
回答
如何根据
airflow
时间戳添加数据库分区
、
在这里,我尝试从开源获取数据,并将其作为
基于
airflow
时间戳的分区添加到表中。但它会引发气流异常。sql = """ ADD IF NOT EXISTS PARTITION (
airflow
_ts='{{ts}}') LOCATION 's3://db/table/update/
air
浏览 30
提问于2021-01-08
得票数 1
回答已采纳
1
回答
rest中通过AD的气流不起作用
、
、
、
我的
airflow
.cfg是:
airflow
.api.auth.backend.basic_auth和服务是重新启动的,一切都是
基于
气流的文档。如果我们在气流服务中运行命令,$
airflow
config get-value api auth_backends返回
airflow
.api.auth.backend.basic_auth。但是,即使所有的内容都是
基于
气流文档的,所有请求都会返回401 - Unauthorized。{&q
浏览 4
提问于2022-06-13
得票数 0
回答已采纳
1
回答
Docker无效模式运行
airflow
命令
、
终端上运行以下命令 docker run \> -p 8080:8080 \> --entrypoint=/bin/bash \> apache/
airflow
:2.1.2-p
浏览 12
提问于2021-08-02
得票数 0
回答已采纳
2
回答
如何使用本地堆栈s3端点以编程方式设置
Airflow
1.10日志?
、
、
、
、
这是我为所有气流容器添加到docker-compose.yaml的内容: -
AIRFLOW
__CORE__REMOTE_BASE_LOG_FOLDER=s3://local-
airflow
-logs
浏览 0
提问于2020-02-17
得票数 4
3
回答
如何将
airflow
scheduler作为守护进程运行?
、
、
我尝试将
airflow
scheduler作为守护进程运行,但该进程不会持续很长时间。我已经在
airflow
.cfg文件中配置了"LocalExecutor“,并运行以下命令来启动调度器(我正在使用谷歌计算引擎并通过PuTTY访问服务器)。
airflow
scheduler --daemon --num_runs=5 --log-file=/root/
airflow
/logs/scheduler.log 当我运行此命令时,
airflow
调度器启动,我可以在
浏览 6
提问于2016-09-08
得票数 10
1
回答
Airflow
或Composer上的用户活动日志?
、
、
、
有没有办法访问
Airflow
中的用户活动日志?我希望看到用户在
Airflow
中执行的一些操作。
浏览 9
提问于2020-02-15
得票数 2
3
回答
Kubernetes上的
Airflow
: Errno 13 -权限被拒绝:'/opt/
airflow
/logs/scheduler
、
/.local/bin/
airflow
", line 25, in <module> File "/home/
airflow
/
airflow
/logging_config.py", line 68, in configure_logging File "/home/<
浏览 21
提问于2020-08-21
得票数 4
1
回答
使用RBAC和密钥罩的
Airflow
身份验证
、
、
、
我想在
airflow
中实现
基于
rbac的身份验证。有人能帮我一下吗?我已经创建了webserver.config文件,并且我正在使用docker来启动
airflow
the服务器。from
airflow
.www_rbac.security import AirflowSecurityManager from flask_appbuilder.security.manager我使用: docker build --rm --build-arg
AIRFLOW
_DEPS="datadog
浏览 65
提问于2020-10-22
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
airflow 实战系列:基于 python 的调度和监控工作流的平台
调度工具Airflow
数据作业自动化调度 AirFlow
airflow和superset数据分析平台的搭建
大规模运行Apache Airflow的经验和教训
热门
标签
更多标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
活动推荐
运营活动
广告
关闭
领券