1回答
由于某种奇怪的原因，我的task_fail_slack_alert模块触发Slack API请求的次数非常之多，然后在我们的Slack通道中出现了那么多次，真的很烦人。*Task*: {task} *Execution Time*: {exec_date} """.format(
task=context.get(&
浏览 33提问于2020-12-10得票数 0
1回答
我使用的是气流和Composer，由于我对气流调度器(它是慢的或停止的)有一些问题，版本:composer-1.10.4-气流-1.10.6集群配置：
核
store_seriali
浏览 5提问于2020-06-11得票数 1
我正在尝试加载以下气流DAG (没有时间表) conn = get_conn() # connection is calling API with login credentialsop1 = PythonOperator( )
...当我打开气流调度程序时，DAG不会加载DAG导入错误：
异常:无法登录。答复:请求</
浏览 5提问于2022-10-17得票数 0
回答已采纳
背景我们需要提取的账户会随着时间的推移而改变。要确定要提取哪些帐户，取决于可能需要查询数据库或发出HTTP请求的过程。在气流之前，我们只需要在python脚本开始时获得帐户列表。然后，我们将遍历帐户列表，并将每个帐户提取到文件中，或者任何我们需要做的事情。因此，我的达格看起来可能如下所示：问题
因为每个帐户都是一个任务，所以需要使用每个dag解析来访问帐户列表。但是，由于dag文件经常被解析，所以
浏览 0提问于2019-05-02得票数 2
我有一个数据库，它有大约9万个产品，我需要用API对每个产品的响应来更新这个DB。问题是，这个API是单个调用(我需要发送一个产品SKU请求)，所以基本上，我需要调用这个API 90000次。我知道气流有HTTP包：from airflow.providers.http.sensors.httpmethod='GET',
浏览 9提问于2022-02-27得票数 1
回答已采纳
我有以下达格：
第一个带有0 1 * * *的Dag运行时没有任何问题。最终DAG 0 10 1 * *没有运行。当我这么做时：print datetime.datetime.now()2018-07-01 12:14:15.632812“请注意，如果您在一天的schedule_interval上运行<em
浏览 0提问于2018-07-01得票数 8
5回答
气流失效松弛信息
、、
如何配置气流，使DAG中的任何故障(立即)导致消息松弛？", icon_url = 'http://airbnb.io/img/projects/airflow3.png',dag=dag)slac
浏览 5提问于2017-06-16得票数 5
回答已采纳
1回答
推特率限制混乱？
、、
API页面上写着：
但我完全糊涂了。可能是因为我以前从未真正处理过任何数据库或社交网络分析。所以，如果我搜索一次，并将我的推特限制为</em
浏览 1提问于2015-04-30得票数 0
回答已采纳
我正试图将一个本地目录作为一个卷传递给气流，而后者又被传递给一个dag DockerOperator。在DAG代码中，我试图传递挂载参数如下： task_id='run_docker', api_version=&
浏览 10提问于2022-07-25得票数 1
1回答
气流容错
、、、、
换句话说，如果一个工作节点出现故障，会发生什么？
这是我在学习apache气流时面临的一个理论问题，我已经阅读了文档，但没有提到如何处理容错。
浏览 7提问于2022-11-17得票数 0
使用google url shortener api，它工作得很好，直到我在加载时开始测试。尽管我注册了这个API，而且它每天有1,000,000的点击量，但很快就从Google那里得到了403个超过速率限制的错误。我可以看到google报告工具上的请求，他们只是发回了所有的403。403开始以大约345/350的命中率返回API，已经持续了几个小时。
有什么想法？
浏览 0提问于2013-07-22得票数 19
self = this; var app_key = "**********"; "https://api.airtable.com
浏览 3提问于2019-03-11得票数 2
15回答
问题达格触发器会起作用吗？每个任务B*都需要几个小时才能计算，不能进行合并。或者气流不是为这个设计的？Dag 1
Task A -> TriggerDagRunOperator(Dag 2) -> ExternalTaskSensor(Dag 2, Task Dummy B) ->
浏览 21提问于2017-01-07得票数 186
3回答
我的问题是，我只能通过URL请求获得100条记录。我试图在Airtable API中找到解决方案，但是更改URL以插入maxRecords并不起作用。我读过有关maxRecords和分页的文章，但我找不到一种方法来更改URL来使用它。
有人能帮我吗？
浏览 0提问于2018-02-27得票数 4
2回答
我正在尝试为我的问题想出一个解决方案，我相信使用AWS是可能的，但我不确定需要哪种产品。我托管了一个DNS服务器，它有很多简单的记录。此服务器在端口53上运行DNS。我希望在多个实例之间对端口53的连接进行负载均衡。这是我遗漏的53号公路的一个特征吗？路由53托管我的域记录，但这是一个单独的系统。我无法向路由53添加500,000条记录，或者这是我需要做的吗？
浏览 16提问于2014-03-19得票数 0
2回答
我正在阅读一些关于无状态微服务的信息。我的问题很简单。如果一个微服务有一些持久化存储，那么它就是有状态的微服务，这是真的吗？一直都是这样吗？如有任何意见，我们将不胜感激。
浏览 3提问于2019-11-04得票数 7
回答已采纳
我一直在尝试使用spark和mllib来训练word2vec模型，但我似乎没有从大型数据集上的分布式机器学习中获得性能上的好处。我的理解是，如果我有w工人，那么，如果我创建一个包含n个分区的RDD，n>w和我试图通过调用以RDD为参数的Word2Vec的fit函数来创建一个Word2Vec模型，然后spark将统一地分发数据，对这些w工人进行单独的word2vec模型训练，并在最后使用某种还原剂函数从这些w模型中创建一个输出模型。这将减少计算时间，因为与1块相比，w块数据将被同时处理。交换条件是，可能会出现一些精度损失，这取决于最终使用的还原剂功能。星火中的Word2Vec是否真的是这样
浏览 1提问于2016-09-28得票数 1
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
