1回答
我想了解一下spark Dag是如何创建的。假设我有一个Spark驱动程序，它执行3个spark动作(比如在s3上写入数据)。val df1= spark.read.text("S3://onepath/")val df3= spark.read.text("s3://anotherpath/&quo
浏览 27提问于2021-10-18得票数 1
在气流中，我使用KubernetesExecutor作为执行器。我的DAG代码from airflow import DAG
'spark
浏览 32提问于2022-01-29得票数 1
1回答
总共有6个任务需要基于输入json中的一个field's(flag_value)值来执行there.These任务。如果flag_value的值为真，那么所有任务都需要以这样的方式执行:首先task1与(task2 & task3一起)并行，并行到task4，并行到task5。一旦所有这些都完成了，那么task6。由于是新的气流和DAG，我不知道如何运行这种情况。
如果flag_value的值为false，则该<em
浏览 2提问于2020-07-08得票数 1
回答已采纳
我的工作流程由几个任务(顺序和并行)组成，包括从Hbase收集数据和对这些数据执行各种机器学习算法等。
有没有可能不使用工作流管理器就在Apache Spark中执行它们？我问的原因是我有一个算法来对任务进行批量排序(可以一起运行的任务)。我可以直接提交给Spark吗？
浏览 20提问于2019-10-23得票数 0
回答已采纳
3回答
我知道Spark可以使用Scala、Python和Java来操作。此外，RDDs还用于存储数据。
但是请解释一下，Spark的架构是什么，它是如何在内部工作的。
浏览 0提问于2015-06-07得票数 38
1回答
在Saha等人的中，显示了具有Tez的Hadoop2的以下模块化体系结构：为什么有人要在Tez上运行Spark/Flink？
其优势是什么？更好地利用纱线？
浏览 0提问于2016-09-09得票数 8
1回答
Spark中是否有定义的有效内存管理标准 如果我最终创建了几个DataFrames或RDD，然后通过连接和聚合继续减少这些数据，该怎么办？
浏览 10提问于2019-02-27得票数 2
回答已采纳
> task5_2任务1,2,6,7,8是线性的，其中3,4,5为两个并行作业。无论处于什么状态的上游任务，我都需要task_6来运行，所以我将branch_trigger_rule设置为"all_done“，这很好--如果上游全部成功，或者某个任务失败，它就会执行。但是task_7和task_8在task_6完成后也会被执行--我希望它们都在成功的情况下才能执行</
浏览 16提问于2022-03-26得票数 0
所以，当我改变我的工作ETL的DAG时，我发现了类似这样的东西。 dag_build >> run_etl_2 >> wait_etl_2 >> end_dag我认为作为一个"run_“过程，后面应该跟着它各自
浏览 3提问于2021-06-15得票数 0
背景:我创建了一个新的气流作业/任务DAG，其中我正在使用SparkSubmitOperator。我正在运行星火和气流在我的桌面(版本等以下)。DAG可以正常工作，直到它到达火花作业的提交部分为止。无论我尝试什么，我都会在气流日志中收到以下消息。如果我从命令提示符中提交目标DataPipelineExample.py，它将运行而不会出现问题。问题:是什么阻止气流识别和使用火花局部的连接来执行火花提交？p
浏览 5提问于2020-03-18得票数 1
我有一个相对简单的DAG，定义如下：transform_openidm_data >> remove_conf_file我在这里的目标是确保始终执行</e
浏览 2提问于2020-08-24得票数 2
2回答
假设我有以下DAG依赖项： /DAG A ---> DAG C -->...\ \> DAG D -->...
这些DAG每天运行，DAG A的输出分别由DAG B、C、D消耗。如果DAG A失败(例如，Spark作业有
浏览 1提问于2020-02-22得票数 0
我一直在尝试SparkSubmit程序的气流，但火花文件在一个不同的集群(1**.1*.0.21)和气流在(1**.1*.0.35)。我正在寻找一个详细的解释这个主题的例子。我不能复制或下载任何xml文件或其他文件到我的气流集群。
当我试着使用SSH钩子时，上面写着。尽管我对使用SSH运算符和BashOperator有很多疑问。Broken DAG: [/opt/airflow/dags/s.py] No module named paramiko
浏览 6提问于2020-01-01得票数 0
回答已采纳
我正试图在我的笔记本电脑上运行Airflow测试ETL pyspark作业。我已经在同一个虚拟环境中安装了Spark和Airflow。值得一提的是，我可以从虚拟环境中成功运行作业，但它在Airflow中失败。从Airflow日志中，我可以看到ETL任务失败，因为它在尝试执行时在临时目录中查找dag文件。> AIRFLOW_CTX_DAG_OWNER=florian
AIRFLOW_CTX_<e
浏览 65提问于2021-02-24得票数 1
1回答
对星火中的action and transformation有一些疑问。 我使用的是过去几个月的spark API。(Learned) Spark api有一个强大的功能，在采取任何操作将最终转换后的数据存储到某个地方之前，它不会将任何数据加载到内存中。这是正确的理解吗？更精确的定义： Spark将使用applied operation, source RDD and function used f
浏览 18提问于2020-04-12得票数 0
3回答
我正在使用Airflow来安排和运行Spark任务。到目前为止，我发现的是Airflow可以管理的python DAG。DAG示例：import logging
from airflow.operators import PythonOperator= DAG( , star
浏览 0提问于2016-10-03得票数 41
回答已采纳
我有一个主守护程序，它检索一个文件并将该文件中的数据拆分为单独的csv文件。我有另外一组任务，必须对这些csv文件的每个文件执行。(上传到GCS，插入到BigQuery)如何能够根据文件的数量为每个文件动态生成一个SubDag？SubDag将定义诸如上传到GCS、插入到BigQuery、删除csv文件等任务)。所以现在，这就是它的样子download_operator = SFTPOpera
浏览 0提问于2018-02-23得票数 5
回答已采纳
我是第一次接触Airflow，遇到这个问题- 我在两个单独的文件中有两个DAG，其中第二个DAG应该在第一个DAG完成后运行。DAG -1： spark_dag = DAG( default_args=default_dag_args,
schedule_intervalbash_command="gcl
浏览 19提问于2020-08-03得票数 1
回答已采纳
*
是否可以手动传递某些开始和结束日期以使作业运行？timezone.datetime(2017，1，1) args ={ 'owner'：' airflow '，'start_date'：DEFAULT_DATE } DAG = DAG('test_<
浏览 0提问于2018-04-21得票数 7
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号