1回答
我必须检索SQL值，并检查它在Airflow中是否为0。下面是我的示例代码片段： check_phase = BashOperator( bash_command='python3 /path to run_sql.py -e dev /path to sql/run_sql.sql (i),
浏览 13提问于2021-09-29得票数 0
1回答
创建气流环境变量
、、
我对气流非常陌生，需要使用代码在管理选项卡下的空气流量UI中创建环境变量start_date和end_date。Variable.set("start_date")然后，使用以下方法检索从气流用户界面传递的start_date和end_Date值Variable.get("en
浏览 1提问于2019-11-04得票数 0
1回答
如何使用smtp_password_cmd值通过气流检索SMTP密码？请简单了解一下在composer环境中需要添加哪些命令，这样气流就可以使用这个命令获得密码的值？
浏览 2提问于2022-09-19得票数 2
我目前正在气流的MysQLOperator中运行这个查询。如何使用Jinja模板用参数替换区域、s3桶？气流版本: 2.0.2Python: 3.7INTO OUTFILE S3 's3-ap-southeast-1://my-s3-bucket/TERMINATED BY '\\n'"""
mysq
浏览 10提问于2021-10-21得票数 2
回答已采纳
我正在使用Composer version 2.0.0 Airflow 2.1.4，我已经创建了一个KubernetesPodOperator，它试图访问存储在Google中的气流连接。我还试图把气流连接的秘密传递给env_vars in KubernetesPodOperator，也试图把它作为Kubernetes Secrets传递到吊舱，但仍然没有运气。下面是上述两种情况的代码：
aws_uri = BaseHook.get_connection('aws_conn&#x
浏览 13提问于2022-04-01得票数 0
Apache气流平台中有一个任务，它通过SQL通过熊猫数据帧来提取数据。数据大小超过600 K。df1 = df1.loc[:, ~df1.columns.duplicated()]
我观察到，当Apache气流任务返回任务中的上述数据帧时，Apache气流挂起看起来，气流任务的资源/内存不足的600 K容量的数据帧返回。
气流如何为每
浏览 0提问于2019-04-26得票数 1
我知道如何使用变量动态地运行DAG的任务，在为同一个DAG触发多次运行之前，它运行得很好。也就是说，一旦在data/to/load/ dir下创建了一个包含文件的新目录，我在某个地方编写了一个脚本，它将触发airflow variables -set dir data/to/load/$newDir我看到两个作业在气流GUI中运行DAG，但问题是它们都在考虑相同的目录值，a或b，这肯定意味着它接受最后的‘<em
浏览 4提问于2019-04-14得票数 1
2回答
我试图使用气流在BigQuery中创建一个参数化查询。将在气流中设置的参数，并将更改在BigQuery中运行的查询中的值。例如，这是我的查询：
( destination_dataset_table='prod.table_result'，_id=‘table’，use_le
浏览 5提问于2020-12-02得票数 2
3回答
我正在尝试将我们的气流升级到1.10.0。No such file or directory")') (Background on this error at: http://sqlalche.me/e/e3q8)更新--这类似于引发的问题，但我更感兴趣的是，为什么气流要
浏览 4提问于2018-10-25得票数 0
回答已采纳
1回答
当使用logstash从您可以访问的文件夹中检索气流日志时，我还需要对airflow.cfg文件进行任何更改吗？
例如，我在同一个ec2实例上部署了气流和ELK。logstash .conf文件可以访问气流日志路径，因为它们位于同一个实例上。我需要在气流配置中打开remote logging吗？
浏览 10提问于2022-09-01得票数 0
回答已采纳
2回答
我很难理解气流中的路径是如何工作的。我创建了这个存储库，以便很容易理解我的意思：，我根据气流页面上的手册从头创建了这个存储库。我刚刚取消了示例的DAG。正如您在唯一的DAG (dags/testdag.py)中看到的那样，DAG包含两个任务和一个使用打开文件的变量声明。这两个任务正在使用存储库(dags/testdag/testscript.sql).
浏览 14提问于2022-02-28得票数 0
回答已采纳
尝试使用pythonoperator运行查询(使用BigQueryHook) sql = context['templates_dict']['sql'] bq = BigQueryHook(bigquery_conn_id='bigquery_default&#x
浏览 1提问于2019-01-08得票数 2
1回答
当在气流中使用一个名为xxxx_apiKey的变量时，它会像预期的那样隐藏UI中变量的值。但是，当我们试图在DAG中使用该变量时，从：Variable.get('xxxx_apiKey')返回的值将返回蒙面值*。
是否有方法参数来检索未隐藏的值？
浏览 1提问于2018-05-08得票数 2
回答已采纳
我有一个Apache气流在Kubernetes上工作(通过Google )。我想在秘密中检索一个变量存储：我需要使用气流中DAG中存储在这个秘密中的变量。(Python)
浏览 0提问于2018-10-05得票数 2
回答已采纳
1回答
我开始迁移一些管道到气流，我正在探索最佳做法。在我的例子中，我有一个管道/dags，它执行几个sql脚本(大部分是顺序的)。我在想：
我知道这是可行的，但有没有更好的办法呢？提前谢谢你。
浏览 4提问于2020-11-17得票数 0
验证结果数据应存储在S3中。我没有看到向GE操作员发送气流连接名称的选项，并且我的组织中的AWS凭据存储在气流连接中。
如何从气流连接中检索s3凭据？而不是来自.aws dir中的默认aws凭据？
浏览 4提问于2022-08-08得票数 0
我尝试使用Aws Eventbridge以异步和同步的方式对它们进行调度，但发现了许多限制(故障处理和编排)。
我们如何在气流中进行红移群集连接？这样我们就可以在气流场和存储过程中调用我们的存储过程。会在红移集群中运行吗？是否存在用于连接的RedshiftOperator，或者我们可以使用气流菜单中的connection选项创建到Redshift
浏览 8提问于2021-12-21得票数 0
回答已采纳
虽然气流能够连接到DB并创建表，即气流initdb成功运行，但我在运行气流调度程序时面临问题，因此触发的任务总是处于“运行”状态。这是运行气流调度程序时遇到的错误：
*sqlalchemy.exc.ProgrammingError: (pyodbc.ProgrammingError) ('42000', "[42000] [Microsoft][ODBC Driver 17 for SQL Server][SQL Serv
浏览 4提问于2020-12-16得票数 0
1回答
下列哪一个库版本在气流2.2.3中运行良好？错误:烧瓶-appbuilder 3.4.3需要棉花糖-sqlalchemy<0.27.0，>=0.22.0，但您将拥有棉花糖-sqlalchemy 0.17.1，这是不兼容的。airflow 2.2.3需要flask<2.0，>=1.1.0，但是您将拥有1.0.4，这是不兼容的。airflow 2.2.3需要werkzeug>=1.0.1，~=1.0，但是您将有wer
浏览 3提问于2022-01-11得票数 0
回答已采纳
我已经改变了下面的信任连接气流到mysql数据库。但气流雷达连接到默认的sqlite数据库。请参阅下面的配置，我试图连接到mysql。1)config of airflow.cfg:sql_alchemy_conn = mysql+pymysql://root:12345678@localhost
浏览 10提问于2022-01-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
