为什么Spark驱动读取本地文件
Spark驱动读取本地文件的原因是为了在分布式计算环境中使用本地文件作为输入数据源。Spark是一个分布式计算框架，它可以在集群中的多个节点上并行处理大规模数据集。为了实现高效的数据处理，Spark将数据划分为多个分区，并将每个分区分配给不同的计算节点进行并行处理。
读取本地文件可以有以下几个原因：
- 数据预处理：在进行分布式计算之前，通常需要对数据进行预处理，例如数据清洗、格式转换等。读取本地文件可以方便地进行这些预处理操作，然后将处理后的数据传递给Spark进行分布式计算。
- 数据采集：有时候需要从本地文件中采集数据，例如日志文件、传感器数据等。读取本地文件可以方便地将这些数据导入到Spark中进行分析和处理。
- 数据调试：在开发和调试阶段，读取本地文件可以方便地加载少量数据进行测试和调试，加快开发迭代的速度。
- 数据集成：有时候需要将本地文件与其他数据源进行集成，例如将本地文件与数据库中的数据进行关联分析。读取本地文件可以方便地将本地数据与其他数据源进行整合。
对于Spark驱动读取本地文件，可以使用Spark的文件读取API，例如spark.read.textFile()方法可以读取文本文件，spark.read.csv()方法可以读取CSV文件，spark.read.parquet()方法可以读取Parquet文件等。通过这些API，可以将本地文件加载到Spark的分布式数据集中进行并行处理。
腾讯云提供了一系列与Spark相关的产品和服务，例如腾讯云的弹性MapReduce（EMR）服务可以提供Spark集群的托管和管理，腾讯云对象存储（COS）可以作为Spark的输入和输出数据源，腾讯云数据库（TDSQL）可以与Spark进行集成等。具体产品和服务的介绍和链接地址可以参考腾讯云官方网站。
相关·内容
我正在运行一段Java代码，在Spark submit中使用spark集群模式将文件从HDFS复制到本地。该作业在spark本地模式下运行良好，但在集群模式下运行失败。它抛出一个目标:java.io.exeception /mypath/是一个目录。
我不明白为什么它会在集群中失败。但我在本地没有收到任何异常。
浏览 0提问于2018-06-17得票数 0
1回答
我最近在Apache中发现了 (既供本地使用，也用于spark-submit)。不过，还有最后一块不见了。
问题是星火很难在其类路径中看不到logback.xml设置。我已经找到了一种在本地执行过程中加载它的方法：
到目前为止我拥有的
基本上，检查系统属性logback.configurationFile，但从我的/src/main/resources/中加载logback.xml，以防万一：
// the same as default: https://logback.qos.ch/manual/configuration.html
private val LogbackLocation
浏览 2提问于2017-08-03得票数 10
回答已采纳
我正在尝试配置Spark和Cassandra之间的SSL。传递信任存储的本地文件路径有效，而传递hdfs文件路径无效。在Yarn客户端和集群模式下，它都会抛出一个错误，因为找不到文件。
sparkConf.set("spark.cassandra.connection.ssl.enabled"，"true")；sparkConf.set("spark.cassandra.connection.ssl.trustStore.password"，“密码”)；sparkConf.set("spark.cassandra.connection.s
浏览 1提问于2016-08-03得票数 2
我有一个Spark应用程序，我试图将其打包成一个胖jar，并使用spark-submit部署到本地集群。我正在使用Typesafe配置为各种部署环境( local.conf、staging.conf和production.conf )创建配置文件，并试图提交jar。
我正在运行的命令如下：
/opt/spark-3.0.1-bin-hadoop2.7/bin/spark-submit \
--master spark://127.0.0.1:7077 \
--files ../files/local.conf \
--driver-java-options '-Dconfig.file
浏览 12提问于2020-11-16得票数 0
回答已采纳
我尝试使用spark_session和sqlContext将本地文件加载为dataframe。
df = spark_session.read...load(localpath)
它不能读取本地文件。df是空的。但是，在从spark_context创建sqlcontext之后，它可以加载一个本地文件。
sqlContext = SQLContext(spark_context)
df = sqlContext.read...load(localpath)
效果很好。但我不明白为什么。原因是什么？
环境: Windows10，spark 2.2.1
编辑
我终于解决了这个问题。根本原因是在本地
浏览 0提问于2018-11-28得票数 0
回答已采纳
是分布式文件存储(HDFS/Cassandra/S3等)是否强制spark在群集模式下运行？若有，原因为何？
Spark是用于计算海量数据的分布式数据处理引擎。假设我在mysql中存储了大量数据，我想对这些数据进行处理。Spark从mysql读取数据，并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行spark需要分布式文件存储？
浏览 3提问于2021-03-25得票数 0
使用Pyspark时，当尝试将大量json文件从S3加载到dataframe时，会出现一个错误。错误似乎取决于我的火花会话使用的驱动程序内存。错误消息是"java.lang.OutOfMemoryError: GC开销超过限制“。我花了大量的时间在网上做研究，但是我没有找到任何能指出这个错误的确切原因的东西。请在下面找到完整的错误信息和代码。
我希望能在这方面提供任何帮助！
驱动环境
我在jupyterlab中运行的jupyter笔记本中使用了pyspark，它本身运行在一个拥有30 on可用内存的EC2实例上。
Sparksession资源
spark.executor.memory
浏览 1提问于2020-04-13得票数 0
我正在读取Spark 2.0中的CSV文件，并使用以下内容计算列中的非空值：
val df = spark.read.option("header", "true").csv(dir)
df.filter("IncidntNum is not null").count()
当我使用spark-shell测试它时，它工作得很好。当我创建一个包含代码的jar文件并将其提交给spark-submit时，我在上面的第二行得到一个异常：
Exception in thread "main" org.apache.spark.sql.cat
浏览 5提问于2016-11-19得票数 2
1回答
如何在ec2上运行星型集群？
、、、、
我有一个用scala编写的程序，使用spark，当我用sbt run启动它时，它在本地运行良好
我希望能够使用sbt在亚马逊的ec2集群上运行它。这有可能吗?怎么可能？
我看过，但似乎没有sbt就能做到这一点。
我的sbt版本：
~/git-reps/cs262a $ sbt --version
sbt launcher version 0.12.4
我的build.sbt文件：
name := "Ensemble Bayes Tree"
version := "1.0"
scalaVersion := "2.9.3"
libraryDep
浏览 2提问于2013-11-27得票数 1
回答已采纳
我正在尝试使用apache-spark集群模式。因此，我的集群由我的机器中的一个驱动程序和主机(独立机器)中的一个worker和manager组成。
我使用sparkContext.addFile(filepath)发送了一个文本文件，其中的文件路径是我的文本文件在本地机器中的路径，我得到了以下输出：
INFO Utils: Copying /home/files/data.txt to /tmp/spark-b2e2bb22-487b-412b-831d-19d7aa96f275/userFiles-147c9552-1a77-427e-9b17-cb0845807860/data.txt
浏览 2提问于2016-03-08得票数 2
我目前正在通过本地模式运行PySpark。我希望能够通过S3高效地输出拼花文件到。这个PySpark实例使用的是本地磁盘，而不是HDFS，因为它是通过spark-submit --master local[*]提交的。
我可以在不启用目录提交器的情况下成功地写入我的S3实例。但是，这需要将暂存文件写入S3并重命名它们，这是缓慢和不可靠的。我希望斯派克将我的本地文件系统写成临时存储，然后复制到S3。
我的PySpark conf中有以下配置：
self.spark.conf.set("spark.sql.execution.arrow.pyspark.enabled", "
浏览 8提问于2021-12-24得票数 0
回答已采纳
我是PySpark的新手，我正尝试在本地计算机上使用pySpark (Ver2.3.1)和朱庇特笔记本。
通过这样做，我想将spark.driver.memory设置为9Gb：
spark = SparkSession.builder \
.master("local[2]") \
.appName("test") \
.config("spark.driver.memory", "9g")\
.getOrCreate()
sc = spark.sparkContext
fr
浏览 0提问于2018-12-04得票数 10
回答已采纳
当火花作业需要jar文件时，需要通过以下两种方式将其添加到火花作业中：
命令中的--jar path选项。
SparkContext.addJar("path")。
有人能告诉我这两种方式的区别吗？
从的角度来看，答案是它们是相同的，唯一的优先级是不同的，但我不认为这是真的。如果我以纱线集群模式提交spark作业，如果jar文件没有包含在根据addJar命令的选项--jars中，那么 ()将无法工作。
如果您将SparkContext.addJar函数与本地文件一起使用并在纱线集群模式下运行，则--jars选项允许它工作。如果将它与HDFS、HTTP、HTTP
浏览 3提问于2017-03-22得票数 3
回答已采纳
我尝试在批处理模式下执行livy，方法是提交一个python文件，但是它不起作用，我尝试了两种方法-
从本地文件系统运行py文件&同时
在hdfs上复制它.但这不管用..。
请帮帮忙
hduser@tarun-ubuntu:/home/tarun/spark/examples/src/main/python$ curl -X POST -H "Content-Type: application/json" tarun-ubuntu:8998/batches --data '{"file": "file:///home/t
浏览 1提问于2016-10-28得票数 1
我有一个spark 1.2.1集群，它是以独立模式设置的，有一个主服务器和几个从服务器。然后，我让我的数据科学家享受集群的力量。
一切都很好。然而，我的数据科学家曾经提交的专用服务器--火花作业--已经逐渐填满了spark.local.dir。
考虑到这台机器位于集群之外，不是主程序，也不是工人/奴隶，我不认为本地的spark.local.dir是通过火花来使用的。(为什么呢？它只显示日志。)
我找不到详细说明这部分信息的好文件。有谁有主意吗？
浏览 5提问于2015-08-20得票数 2
回答已采纳
1回答
我使用的是容器，它基于容器。
我如何解决这个异常：
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/README.md
Main.java
context = new SparkContext(
new SparkConf()
.setAppName("Test App")
.setMaster("spark://s
浏览 0提问于2018-08-08得票数 0
我使用1主(192.168.2.1)和2个奴隶(192.168.2.2,192.168.2.3)设置了一个mesos集群。
我能够使用成功地访问mesos，并且能够看到两个奴隶注册为代理。然后，我在这3个节点上设置了星星之火。
然后，我从/usr/ local /lib下载了libmesos.so (libmesos-1.8.1.so)，并将本地dev机器设置为
export MESOS_NATIVE_JAVA_LIBRARY=/mylocallibs/libmesos.so
当我尝试使用这个SparkConfig连接到主程序时
SparkConf sparkConf = new SparkC
浏览 2提问于2019-08-12得票数 1
回答已采纳
我在本地系统中有一个文件。我想在本地使用Spark读取它，然后使用相同的spark程序在HDFS中写入它，这可能吗？
浏览 46提问于2020-04-29得票数 0
回答已采纳
我想知道当星火吞食数据时，数据是否被输入到驱动程序中并发送给工作人员，由Spark指示节点从文件系统读取数据？
我知道，在星火流中，有了Kafka源，很明显，工人节点从Kafka读取。然而，当从文件系统读取时，我不确定它究竟是如何工作的。
案例1
当读取文件系统时，假设文件系统是HDFS。
A.1 -驱动程序是读取文件并将数据传输给正在运行的工人，还是让工人读取文件？
A.2 -原来的分区是否取决于HDFS是如何划分的？
案例2
从文件系统(文件系统是本地的文件系统或S3系统)
B.1 -分区发生了什么变化，算法是改变我们从HDFS读取还是从本地文件系统读取？(在后一种情况下，将使用
浏览 0提问于2017-08-07得票数 1
回答已采纳
1回答
电火花分析器缺少输出
、、、、
我正在尝试分析提交到我的集群中的火花放电作业。这个吡火花PR ()表示sc.dump_profiles(path)是命令。我已经尝试将概要文件输出转储到hadoop hdfs:///user/username/filename、本地file:///home/username/filename和/home/username/filename。作业完成，但配置文件从未出现。
代码基于这样的问题()，当包含--conf spark.python.profile=true时，sc.show_profiles()确实在交互模式下工作。
from pyspark import SparkContext,
浏览 5提问于2017-01-17得票数 1
回答已采纳
1回答
在spark/scala中使用以下命令读取我放入资源表中的一个长SQL查询。
val stream = getClass.getResourceAsStream("wbs_element.sql")
val query = scala.io.Source.fromInputStream(stream).getLines.mkString
我希望它能正常工作，因为当我运行.assembly时，必须在编译时读取资源文件。然而，只有当我在本地编译/运行程序时，它才能正常工作。
在集群上，它会给出以下错误：
User class threw exception: java.io
浏览 3提问于2021-02-06得票数 0
1回答
我使用独立的Spark Cluster。
主站和单站在同一台服务器(服务器B)。
我使用Luigi (在服务器A上)提交我的应用程序并进行部署(客户端模式)。
我的应用程序读取服务器B上的本地文件。但是，应用程序也尝试读取服务器A上的文件。为什么？
sc.textFile('/path/to/the/file/*')
浏览 8提问于2017-03-10得票数 0
回答已采纳
我想使用星火结构化流来观察一个仅存在于驱动程序上的放置位置。我做这件事
val trackerData = spark.readStream.text(sourcePath)
在此之后，我想解析、过滤和映射传入的数据，并将其写成弹性数据。
这很好，除非它只在spark.master设置为local[*]时才能工作。当设置为yarn时，即使部署模式设置为client，也找不到任何文件。
我认为从本地驱动程序节点读取数据是通过将部署设置为客户端并在Spark集群中进行实际处理和写入来实现的。
如何改进我的代码以使用驱动程序读取和集群处理和写入？
浏览 0提问于2018-03-05得票数 0
2回答
对“本地开车”的意思有点困惑，
shared-workspace:/opt/workspace
这个文件夹不是在本地机器上创建的(在对接器之外)，那么它代表什么？为什么需要它？它真正存在的地方？
见：
version: "3.6"
volumes:
shared-workspace:
name: "hadoop-distributed-file-system"
driver: local
services:
jupyterlab:
image: jupyterlab:3.0.0-spark-3.0.0
container_
浏览 3提问于2021-08-16得票数 0
回答已采纳
我试图使用spark和java加载一个。代码在客户端模式(在我的本地机器上)运行良好，但它在集群模式(即服务器上)中给出了FileNotFound异常。
SparkSession spark = SparkSession
.builder()
.config("spark.mesos.coarse","true")
.config("spark.scheduler.mode","FAIR")
浏览 0提问于2019-06-17得票数 0
1回答
我在工作时使用AWS电子病历。如果启动星火外壳，我可以运行scala命令，但不能在本地文件中读取。
例如：
scala> val citi = spark.read.textFile("CitiGroup2006")
org.apache.spark.sql.AnalysisException: Path does not exist: hdfs://ip-10-99-99-99.ec2.internal:8020/user/hadoop/CitiGroup2006;
我试着输入文件的完整路径，但是我得到了同样的错误。该文件位于我启动星火外壳的同一个目录中。但是，它确实可
浏览 1提问于2020-01-09得票数 0
回答已采纳
1回答
我已经在本地安装了spark 2.3.0，并且使用了pyspark。我能够处理本地文件，没有任何问题。
但是，如果我必须从hdfs中阅读，我就无法阅读。
我对如何火花访问hadoop文件感到困惑。在安装火花时，我被要求复制winutil。我不明白winutil的作用是什么。
我们是否应该首先启动hadoop服务，以便与spark一起工作？如果我使用外部安装的hadoop并试图在星星之火中使用它，就会得到java.lang.UnsatisfiedLinkError错误。任何指向正确文档的指针都会有很大的帮助。
谢谢你，基兰
浏览 0提问于2018-06-16得票数 0
2回答
虚问题
一个巨大的CSV日志文件，假设1TB的大小，该文件位于USB驱动器上
日志包含世界各地用户的活动日志，假设该行包含50列，其中有Country。
我们要每个国家的线路数，从下到下。
让我们假设火花集群有足够多的具有RAM的节点来处理内存中的整个1TB (20个节点，4个核心CPU，每个节点有64‘s)
My Poorman的概念解决方案使用 &
$ ./spark-shell --packages com.databricks:spark-csv_2.10:1.4.0
val dfBigLog = sqlContext.read
.format(&
浏览 2提问于2016-04-09得票数 12
我对Spark-Streaming和Kafka有意见。在运行示例程序从Kafka主题消费并将微批结果输出到终端时，当我设置选项时，我的作业似乎挂起了： df.option("startingOffsets", "earliest") 从最新的偏移量开始工作很好，结果随着每个微批次的流过而打印到终端。 我在想，也许这是一个资源问题--我正在尝试从一个有相当多数据的主题中阅读。但是，我似乎没有内存/cpu问题(使用本地*集群运行此作业)。这项工作似乎从来没有真正开始过，而只是悬而未决： 19/09/17 15:21:37 INFO Metadata: Cluste
浏览 21提问于2019-09-18得票数 4
回答已采纳
我正在从事Spark Streaming的工作，我想设置一个本地目录来将数据流式传输到我的spark应用程序中，这样目录中的每个新文本文件都将被流式传输到我的应用程序中。我尝试使用StreamingContext的textFileStream方法，但我没有从我移动到指定的本地目录的文件中获得任何数据。你能帮我找出为什么会发生这种情况吗？
下面是我写的代码：
def main():
if len(sys.argv) != 5:
print 'Usage: SPARK_HOME/bin/spark-submit CoinpipeVectorBuilder.py <S
浏览 3提问于2015-02-26得票数 2
2回答
我正在使用亚马逊的EMR spark 1.5.0。我有多个属性文件需要在我的spark-submit程序中使用。我研究了--properties-file选项。但它允许您从单个文件导入属性。我需要从一个结构如下的目录中读取属性：
├── AddToCollection
│ ├── query
│ ├── root
│ ├── schema
│ └── schema.json
├── CreateCollectionSuccess
│ ├── query
│ ├── root
│ ├── schema
│ └── schema.json
├── FeedCardU
浏览 0提问于2015-10-09得票数 1
1回答
TL:DR
有办法从Databricks文件系统读取Scala/Java属性文件吗？
或者，是否有一种方法可以将星火数据帧行转换为一组文本键/值对( Scala会理解)？
全面问题：
属性文件不是本地的，它位于Databricks集群上。尝试从"dbfs:/“或"/dbfs”读取文件时，在使用scala.io.Source库时找不到文件。我猜Source无法识别Databricks文件系统(？)的URI。
不过，我能够将该文件读入Spark，但是尝试填充java.utils.Properties对象时出错，因为它不接受Spark的“行”类型。我尝试将数据帧更改为Array和Li
浏览 4提问于2020-12-29得票数 1
回答已采纳
2回答
我从Hive表执行Spark读取，执行时间很长(15分钟)。我对优化查询执行感兴趣，所以我想知道这些查询的执行是否使用了Hive的执行引擎，通过这种方式，它类似于在Hive编辑器中执行查询，或者Spark使用Hive Metastore只知道文件的位置，然后直接处理文件？
import os
import findspark
findspark.init()
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.master("yarn") \
.appName("sr
浏览 1提问于2019-07-29得票数 2
回答已采纳
我试图使用databricks上的s3在子目录中读取大量Avro文件。我要么得到一个错误，因为最大结果大小超过spark.driver.maxResultSize，或者如果我增加这个限制，驱动程序耗尽内存。
我没有执行任何收集操作，所以我不知道为什么会在驱动程序上使用这么多内存。我想知道这是否与过多的分区有关，所以我尝试使用不同的spark.sql.files.maxPartitionBytes值，但没有结果。我还尝试在驱动程序上增加内存，并使用更大的集群。
唯一稍微有所帮助的是事先指定Avro模式，而不是推断；这意味着spark.read.load完成时没有出错，但是驱动程序上的内存使用率仍
浏览 9提问于2022-11-03得票数 0
回答已采纳
我在同一台机器上有一个Spark集群和一个Hdfs。我已经在每台机器的本地文件系统和hdfs分布式文件系统上复制了一个大约3G字节的文本文件。
我有一个简单的字数统计程序。
如果我提交从本地文件系统读取文件的程序，它大约持续33秒。如果我提交从hdfs读取文件的程序，它大约持续46秒。
为什么？我所期望的结果正好相反。
在sgvd的请求后添加：
16个从站1个主站
Spark Standalone，无特殊设置(复制系数3)
版本1.5.2
import sys
sys.path.insert(0, '/usr/local/spark/python/')
sys.path.ins
浏览 0提问于2016-01-13得票数 5
试图在Mesos集群上运行一个Spark作业。获取二进制文件时出错。
尝试将二进制文件保存在：
HDFS
奴隶的本地文件系统。
用于SPARK_EXECUTOR_URI的跟随路径
文件系统路径- file://home/labadmin/spark-1.2.1.tgz
I0501 10:27:19.302435 30510 fetcher.cpp:214] Fetching URI 'file://home/labadmin/spark-1.2.1.tgz'
Failed to fetch: file://home/labadmin/spark-1.2.1.tg
浏览 1提问于2015-05-04得票数 0
我正在尝试使用spark.read来获取我的UDF中的文件数，但当我执行该程序时，它会在这一点挂起。 我正在调用dataframe的withcolumn列中的UDF。udf必须读取一个文件并返回它的计数。但它不起作用。我将一个变量值传递给UDF函数。当我删除spark.read代码并简单地返回一个数字时，它可以工作。但是spark.read不是通过UDF工作的。 def prepareRowCountfromParquet(jobmaster_pa: String)(implicit spark: SparkSession): Int = {
print("The var
浏览 24提问于2019-04-15得票数 2
我试图从一个特定的文件夹中读取CSV文件，并将相同的内容写入到本地pc上不同位置的其他CSV文件中，以供学习。我可以读取文件并在控制台上显示内容。但是，如果我想将它写入指定输出目录下的另一个CSV文件，则会得到一个名为"_spark_metadata“的文件夹，其中不包含任何内容。
我在这里一步一步地粘贴整个代码：
创建火花会议：
spark = SparkSession \
.builder \
.appName('csv01') \
.master('local[*]') \
.getOrCreate();
spark.conf.set("
浏览 3提问于2018-06-09得票数 0
回答已采纳
我在本地pc上配置了一个主计算机，在virtualbox中配置了一个工作节点，结果文件已经在worker节点上创建，我想知道为什么发送回主节点。
因为我的工作节点不能将结果发送回主节点？怎么证明呢？
我用火花2.2。我对主节点和工作节点使用相同的用户名。我还配置了没有密码的ssh。
我尝试了--部署模式客户端和--部署模式集群。
我试过一次，然后切换了主/工作者节点，得到了相同的结果。
val result = joined.distinct()
result.write.mode("overwrite").format("csv")
.option
浏览 0提问于2018-02-28得票数 0
回答已采纳
2回答
我试图使用eclipse在java上运行spark程序。如果我只是在控制台上打印一些东西，但是我无法使用textFile函数读取任何文件，它就在运行。我在某个地方读到，读取文件只能使用HDFS完成，但我无法在本地系统中完成。请让我知道如何访问/读取文件，如果使用HDFS，那么如何在我的本地系统中安装HDFS，这样我就可以编写文本文件。
这是我正在测试的代码，虽然这个程序运行良好，但是它无法读取文件，说明输入路径不存在。
package spark;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.Java
浏览 1提问于2016-08-03得票数 1
回答已采纳
我试图在Spark中使用JDBC来读取MS表(在Azure中)，并将其保存为一个拼花文件(本地文件或S3文件)。我让它在本地工作，但当星火在EC2上时，我无法让它工作。
我的本地版本工作，因为我手动打开我的星火-defaults.conf文件并添加以下**：
spark.driver.extraClassPath /Users/<my_user>/spark-1.6.1-bin-hadoop2.4/lib/postgresql-9.4.1208.jre6.jar:/Users/<my_user>/spark-1.6.1-bin-hadoop2.4/lib/sqljdbc
浏览 2提问于2016-04-08得票数 3
我在本地模式下运行这个，使用PySpark/木星笔记本作为开发IDE，为AWS做一些本地开发。启动Spark应用程序，然后转到Spark查看我看到的环境变量
spark.driver.memory 1000 m
我导航到/home/spark-2.4.3-bin-spark-2.4.3-bin-hadoop2.8/conf/spark-defaults.conf并根据添加这一行
spark.driver.memory 8g
重新启动Docker容器，再次检查我的环境变量，它仍然被设置为1000M。
对这里会发生什么有什么想法吗？
浏览 2提问于2021-08-06得票数 0
我运行Spark Job，并尝试更快地调优它。奇怪的是，总的正常运行时间是1.1小时，但我把所有的工作时间加起来。只需要25分钟。我很好奇为什么Spark UI中的总正常运行时间不等于所有作业持续时间的总和？
这是Spark UI信息。总正常运行时间为1.1小时。
但所有作业持续时间的总和约为25分钟
非常感谢你
浏览 4提问于2020-09-08得票数 0
1回答
我编写了一个小的PySpark代码来测试spark的工作，并且似乎没有按照传递给它的参数合并分区。
以下是我的代码：
df = spark.read.format("csv").option("header", "true").load(<path to my csv file>)
spark.conf.set("spark.sql.adaptive.enabled","true")
spark.conf.set("spark.sql.adaptive.coalescePartitions.e
浏览 18提问于2022-10-20得票数 0
回答已采纳
我试图从我的Spark2应用程序中使用Hadoop的copyToLocalFile函数将一个文件从HDFS复制到本地。
val hadoopConf = new Configuration()
val hdfs = FileSystem.get(hadoopConf)
val src = new Path("/user/yxs7634/all.txt")
val dest = new Path("file:///home/yxs7634/all.txt")
hdfs.copyToLocalFile(src, dest)
当我在Yarn客户端
浏览 0提问于2018-10-05得票数 0
我有一个Spark 2.0.2集群，我正在通过Pyspark通过Jupyter Notebook访问它。我有多个以管道分隔的txt文件(加载到HDFS中。我需要使用spark-csv将其加载到三个独立的数据帧中，具体取决于文件的名称。
我认为我可以采取三种方法--或者我可以使用python以某种方式遍历HDFS目录(还没有想出如何做到这一点，加载每个文件，然后执行联合。
我还知道在spark中有一些通配符功能(参见) -我可能可以利用
最后，我可以使用pandas从磁盘加载vanilla csv文件作为pandas数据帧，然后创建spark数据帧。这里的缺点是这些文件很大，加载到单个节点上的内
浏览 0提问于2016-12-14得票数 7
回答已采纳
我是pySpark的新手。我试图在本地模式下优化我的程序的执行时间。我在某个地方读过这样的文章:将dataframe保存到parquet，然后再加载它，然后再对它进行任何转换，这会减少执行时间，尽管我不明白为什么。同时，在这样做的过程中，我注意到从地板加载比从csv加载的时间更长。在下面的示例中，我对数据进行了重新划分和合并，以最小化加载时间(8个分区--数据大小:大约400 in )。
我的主要问题是:对于如何提高我的程序的性能是否有任何指导方针，为什么拼板的加载时间比csv要长？
下面是一个例子
这是我的配置：
spark.driver.bindAddress: localhost
浏览 6提问于2021-05-18得票数 2
回答已采纳
我现在正在学习Spark，它似乎是Pandas Dataframe的大数据解决方案，但是我有一个让我不确定的问题。
目前，我使用HDF5存储比内存更大的Pandas数据文件。HDF5是一个很好的工具，它可以让我在熊猫的数据上分块。因此，当我需要对大型Pandas数据进行处理时，我将以块的形式进行处理。但Pandas不支持分布式处理，HDF5仅适用于单个PC环境。
使用Spark可能是解决方案，但我对Spark的理解是，dataframe必须能够适应内存，并且一旦作为Spark数据存储加载，Spark将将数据分发给不同的工作人员进行分布式处理。
我的理解正确吗？如果是这样的话，那么星火如何处理大
浏览 0提问于2015-10-29得票数 5
回答已采纳
我们在AWS EMR上运行spark 2.3.0。以下DataFrame "df“是非空的，大小适中：
scala> df.count
res0: Long = 4067
下面的代码可以很好地将df编写到hdfs
scala> val hdf = spark.read.parquet("/tmp/topVendors")
hdf: org.apache.spark.sql.DataFrame = [displayName: string, cnt: bigint]
scala> hdf.count
res4: Long = 4067
但是，使用
浏览 0提问于2018-07-30得票数 18
回答已采纳
1回答
我在服务器上存储了一个文件。我希望在运行spark时将文件指向Hadoop集群。我所拥有的是，我可以将星火上下文指向hadoop集群，但是由于它指向集群，所以不能在spark中访问数据。我将数据存储在本地，所以为了访问数据，我必须在本地指向它。但是，这会导致大量内存错误。我希望做的是在集群上指出星火，但同时访问本地存储的数据。请给我一些方法，我可以做这件事。
浏览 1提问于2015-11-25得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
