1回答
我有一个问题，我想在Spark中实现一个递归算法，并希望了解是否有任何建议可以在Spark中构建它，或者探索其他可能更适合的数据分析框架。构建一个在单个节点上运行的解决方案是很简单的(例如，spark master)，但假设目录结构非常大，具有O(十亿)个叶节点。对于使用Spark或其他框架/数据处理技术构建递归/迭代类型的数据管道，有什么建议吗？
浏览 37提问于2021-06-24得票数 0
我知道我可以使用spark.read.jdbc传递查询，但在本例中，我想在数据加载后添加一个唯一约束。其目的是通过减少创建唯一索引的时间来加速到db中的数据加载过程。
浏览 22提问于2020-06-02得票数 0
回答已采纳
1回答
我将从Oracle导入一个数据表到HDFS。我需要让Sqoop将列名作为头写入导入文件(以HDFS结尾的文件)。有办法吗？我基本上需要导入文件，如下所示：1，美国帕洛阿尔托3，美国，桑尼维尔1，美国帕洛阿尔托3，美国，桑尼维尔
浏览 3提问于2014-10-02得票数 2
回答已采纳
2回答
或者是某种技术允许您连接到SQL数据库并使用Spark查询它？在这种情况下，这里的火花有什么意义--为什么不直接使用SQL？还是您可以将结构化SQL数据与平面数据结合使用？
浏览 0提问于2016-01-18得票数 3
回答已采纳
如何在安装自定义版本的Spark的同时保持与Cloud Dataproc工具的兼容性？
浏览 3提问于2018-04-12得票数 3
1回答
我有一个pgAdmin数据库，它在geojson format.Using中包含数百万行，这个表是我创建的Tableau仪表板。由于行包含geojson格式的数据，所以我必须这样查询：jsondata -> 'properties' ->> 'qq',,jsondata -> 'properties' -&g
浏览 4提问于2020-04-10得票数 0
谁能解释一下为什么Spark Dataframe在执行时间上比Pandas Dataframes更好。datetime.now()
输出为如果我使用带有10个工作节点的Spark
浏览 0提问于2019-04-30得票数 3
2回答
谁能提供一些指导，为什么我们要使用Hadoop，而现在Spark是可用的？众所周知，Spark最初是为了解决Hadoop的局限性而创建的？
谢谢。
浏览 24提问于2020-05-26得票数 0
回答已采纳
我下载了spark-2.4.0-bin-without-hadoop.tgz包并安装在我的系统中。Configuration谷歌之后，我发现SPARK_DIST_CLASSPATH需要设置为SPARK_DIST_CLASSPATH。我想知道为什么需要hadoop库在独立或本地模式下运行spark。
浏览 0提问于2018-12-28得票数 1
目前我正在使用AWS电子病历进行数据处理。S3被用作着陆区域和最终处理的数据。来自S3的最终处理数据将被加载到Redshift中，以便客户运行Analytics。Spark创建了一个用于数据处理的中间文件夹，我们从该文件夹将最终处理的数据压缩到另一个S3 Bucket。spark.conf.set('spark.sql.sources.partitionOverwriteMode', 'dynamic
浏览 2提问于2020-10-04得票数 0
2回答
我正在使用Spark SQL从Spark应用程序的Cassandra中检索数据。数据以DataSet的形式检索。但是，我需要使用javaRDD()函数将此dataset转换为JavaRDD。
浏览 1提问于2017-08-19得票数 0
1回答
星星之火的概念是否进入了spark或Spark。传统上，数据访问似乎属于Spark。但是，纠正我的错误，数据处理似乎也能够处理实时数据，所以我进入了这个问题。
浏览 2提问于2017-06-29得票数 0
回答已采纳
我一直在尝试使用一个PySpark作业来创建包含一堆二进制文件的RDD，然后我使用flatMap操作将二进制数据处理成一堆行。所以我打开了spark-shell和PySpark，并使用默认设置运行了REPL/shell中的命令，唯一的附加参数是--master yarn. spark-shell版本可以工作，而PySpark版本显示了相同的运行PySpark有那么大的开销吗？或者这是binaryFiles是新的问题吗？我使用的是Spark版本2.2.0.2.6.4.0-91。
浏览 1提问于2018-08-11得票数 0
1回答
我正在为运行Kafka->Spark->Cassandra工作负载在AWS上创建DC/OS集群。我可能会使用m3.size或r3大型实例。
浏览 3提问于2016-05-17得票数 2
回答已采纳
我们正在调查使用星火作为大数据处理框架，在Azure Synapse分析与笔记本电脑。我尝试了以下几点：spark = SparkSession \ .master("local[1]") \ .getOrCreate()
当检查spark对象时，它
浏览 2提问于2022-07-31得票数 0
回答已采纳
自学，自己摸索 白白浪费大把时光 二是，降低他人的学习成本。
三是，别人对自己学习结果的审核。
浏览 299提问于2020-09-25
我曾经广泛地使用过MX和Spark框架，这两个框架对我来说都很好。我即将在Flex中启动一个非常大的项目，其中速度和文件大小将是关键因素。我不打算使用Adobe Catalyst。有什么理由我应该在这个应用程序中使用Spark而不是MX吗？
浏览 2提问于2011-09-22得票数 1
回答已采纳
1回答
我正在考虑将现有的批处理数据处理层迁移到Spark，但我不太确定UI应用程序层。所以我的问题是：如有任何建议，将不胜感激。
浏览 1提问于2020-09-09得票数 3
上下文:我想把Avro文件读入Spark作为RDD。我想知道，如果我可以访问Avro数据模式，是否可以一次解析一行Avro文件。
我正在使用pyspark来编写我的spark作业。
浏览 1提问于2015-12-12得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
