Spark:加载具有不同列数的CSV
Spark是一个开源的大数据处理框架，它提供了高效的数据处理和分析能力。它可以处理大规模数据集，并且具有良好的可扩展性和容错性。
对于加载具有不同列数的CSV文件，Spark提供了灵活的解决方案。可以使用Spark的DataFrame API或Spark SQL来处理这种情况。
在Spark中，可以使用spark.read.csv()方法来加载CSV文件。当CSV文件具有不同列数时，可以通过指定inferSchema参数为true来自动推断列的数据类型。此外，还可以使用option("mode", "PERMISSIVE")来指定加载模式，以处理不匹配的列数。
以下是一个示例代码：
from pyspark.sql import SparkSession
# 创建SparkSession
spark = SparkSession.builder.appName("CSV Loading").getOrCreate()
# 加载CSV文件
df = spark.read.csv("path/to/csv/file.csv", inferSchema=True, header=True, mode="PERMISSIVE")
# 显示数据
df.show()在上述代码中，inferSchema=True表示自动推断列的数据类型，header=True表示CSV文件包含标题行，mode="PERMISSIVE"表示使用宽容模式加载数据，允许不匹配的列数。
对于Spark的相关产品和产品介绍，腾讯云提供了云原生数据仓库TDSQL、云原生数据仓库TDSQL-Mysql、云原生数据仓库TDSQL-PostgreSQL等产品，可以用于大规模数据处理和分析。您可以访问腾讯云的官方网站了解更多信息：
请注意，以上答案仅供参考，具体的解决方案和产品选择应根据实际需求和情况进行评估和决策。
相关·内容
1回答
如何提高火花性能？
、、、、
我有处理大型数据集的Java程序。数据集存储在hdfs (csv)中。
这个程序运行得很好，但速度很慢。
该方案是做什么的：
String[]filter字符串数组加载csv文件单独行映射到MyObject 保存MyObject到Cassandra<code>G 211</code>
我的主要方法是：
public static void main(String[] args) {
// configure spark
SparkConf sparkConf = new SparkConf().setAppName("Write
浏览 6提问于2020-05-22得票数 3
回答已采纳
我正在阅读，关于分区，他说
默认情况下，为每个HDFS分区创建一个分区，默认为64 is。
我对HDFS并不十分熟悉，但是我遇到了一些复制这条语句的问题。我有一个名为Reviews.csv的文件，它是大约330 of的亚马逊食品评论文本文件。给定默认的64‘d块，我希望使用ceiling(330 / 64) = 6分区。但是，当我将文件加载到我的Shell中时，我得到了9个分区：
scala> val tokenized_logs = sc.textFile("Reviews.csv")
tokenized_logs: org.apache.spark.rdd.R
浏览 1提问于2018-12-01得票数 1
回答已采纳
我正在尝试使用spark 2.1.0 API将多个csv文件从hdfs目录加载到Spark DataSet中：
val csvData = spark.read.option("header", "true").csv("csvdatatest/")
在"csvdatatest“文件夹中有多个csv文件。Spark只从第一个文件中选取头部，并将其生成为DataSet的架构，忽略其余csv文件的头部。e.g
hadoop fs -ls /user/kumara91/csvdatatest
Found 2 items
/user/kumara
浏览 0提问于2017-11-06得票数 1
我试图用许多列加载 CSV文件，并使用Spark计算列之间的相关性。
from pyspark import SparkContext, SparkConf
from pyspark.mllib.stat import Statistics
conf = SparkConf()\
.setAppName("Movie recommender")\
.setMaster("local[*]")\
.set("spark.driver.memory", "10g")\
.set("spark.
浏览 1提问于2016-04-20得票数 0
回答已采纳
我在S3中有一个CSV文件，它有420行和54000列。我正在尝试将CSV加载到火花DataFrame中：
genoExp = sqlContext.read.load("/mnt/%s/RNA-Seq/GSE10846_Gene_Expression_Data.csv" %MOUNT_NAME, format='com.databricks.spark.csv', header='true', inferSchema = 'true')
这将返回一个错误：
com.univocity.parsers.common.TextP
浏览 3提问于2017-02-09得票数 0
2回答
我读了csv文件，它有一个重复的列。
我希望在dataframe中保留列的名称。
我试图将此选项添加到我的S以来上下文conf spark.sql.caseSensitive中，并将其放在true中，但不幸的是，它没有任何效果。
重复的列名是NU_CPTE。星星之火试图通过添加0，7列数来重命名它。
NU_CPTE0|CD_EVT_FINANCIER|TYP_MVT_ELTR|DT_OPERN_CLI|LI_MVT_ELTR| MT_OPERN_FINC|FLSENS|NU_CPTE7
SparkSession spark= SparkSession
.buil
浏览 0提问于2019-06-04得票数 2
这是我之前在上发布的一个问题的又一次跟进
我有以下数据集
其中有一个文件列表(约13万份)。在主目录中列出了它们的子目录，因此第一个单元可能是A/AAAAA，文件位于/data/A/AAA.csv。
这些文件都具有类似的格式，第一列称为日期，第二列是一系列都命名为值的列。因此，首先，值列名需要重命名为每个csv文件中的文件名。第二，帧需要完全外部连接，以日期为主要索引。第三，我希望保存文件并能够加载和操作它。文件大约在N行(日期数)X 130,001左右。
我正在尝试将所有文件完全连接到一个数据文件中，我以前尝试过使用熊猫，但是当我试图连接文件列表时内存不足，有人建议我尝试使用PySpark。
浏览 4提问于2020-02-18得票数 0
回答已采纳
我正在以这种方式处理用spark_read_csv加载的数据：
library(sparklyr)
connection <- spark_connect(master = 'local')
all_data <- spark_read_csv(sc, "D:/my_data.csv")
在处理完这些数据之后，我意识到我需要将它与另一个文件组合在一起。第二个文件与第一个文件具有相同的变量和特征，我想用相同的方法spark_read_csv加载它。
所以我的问题是，是否可以使用spark_read_csv方法加载两个文件，然后将它们合并？其目的是将值
浏览 0提问于2019-10-31得票数 0
我知道我可以使用spark.read.csv()或spark.read.json()将CSV文件或JSON文件作为一个DataFrame加载，但是如果我的源文件实际上是不同格式的，例如，我的一些原始数据在CSV文件中，而另一些在JSON文件中呢？我是否可以创建一个包含来自CSV和JSON文件的数据的DataFrame？也许我应该分别加载它们并在DataFrames上使用JOIN操作，或者我应该首先将所有JSON数据转换成CSV并使用单个spark.read.csv()加载它们，但是我想听听您的建议，因为我对Spark还是新手。
浏览 0提问于2021-08-14得票数 0
回答已采纳
我正在使用下面的语句在spark中读取csv。
df = spark.read.csv('<CSV FILE>', header=True, inferSchema = True)
当我检入spark dataframe时，一些整型和双精度列被存储为dataframe中的字符串列。但是，并不是所有的列都是这样。
我已经检查了特定列的值，所有的值都是双精度类型，但spark仍然推断为StringType。
因为我加载的CSV文件大约有1000列，所以也显式地指定模式是不可行的。
如有任何建议或帮助，我们将不胜感激。
致以敬意，
Neeraj
浏览 5提问于2017-08-31得票数 2
我加载了一个csv作为数据文件。我希望将所有列转换为浮动，因为我知道该文件很大，可以写入所有列的名称：
val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate()
val df = spark.read.option("header",true).option("inferSchema", "true").csv("C:/Users/mhattabi/Desktop/dataTest2.csv&
浏览 0提问于2017-03-01得票数 4
回答已采纳
我是Spark和Scala的新手，正在尝试理解什么是操作从csv加载的表的最佳方法。假设我有csv格式的要素数据集，并且需要按列归一化值。
我从下面的代码开始
val rdd=sc.textFile("test.csv").map(_.split(","))
textFile按行对数据进行切片。如何将所有列值导入reducer以计算平均值、计数、最大值、最小值和归一化值？如何生成具有列索引键的元组？谢谢
浏览 0提问于2015-05-29得票数 0
我想要将csv文件(其变化的列)加载到cassandra表中？文件有时有10列，有时有8列，如何将数据插入到cassandra表中？
有没有使用scala或批处理命令加载的方法？
如何读取带有头文件的csv文件？
浏览 2提问于2018-09-18得票数 1
1回答
不一致列数
、、、
我有Parcels_All.csv，我通过合并许多较小的包裹文件来编译它，使用命令行复制*.csv
我有WKT_Revisions_Combined.csv，需要进入Parcels_All.csv来更新某些部分的数据。
我有一个vlookup.py脚本，它可以通过引用行ID和列标题将WKT_Revisions_Combined.csv的数据打印到Parcels_All.csv中。
Vlookup.py未能成功运行，因为Parcels_All.csv中似乎存在一个错误。当我在EmEditor (一个大数据文本编辑器)中打开文件时，它给出了几行的错误消息“检测到的列数不一致”。
浏览 0提问于2018-07-13得票数 1
我是Spark的初学者，正在尝试理解spark数据帧的机制。当从csv加载数据时，我正在比较spark sql dataframe上sql查询的性能。我的理解是，一旦数据被加载到spark数据帧中，那么数据来自哪里(csv或parquet)就不再重要了。然而，我看到了两者之间的显着性能差异。我正在使用以下命令加载数据，并针对它编写查询。
dataframe_csv = sqlcontext.read.format("csv").load()
dataframe_parquet = sqlcontext.read.parquet()
请解释产生差异的原因。
浏览 2提问于2018-02-11得票数 1
我遇到了将多个带有over的小型csv文件导入ApacheSpark2.0时遇到的问题，这些文件作为Google集群运行。有少数字符串列，但真正感兴趣的只有1作为类标签。
当我在pyspark中运行以下代码时
csvdata = spark.read.csv("gs://[bucket]/csv/*.csv", header=True,mode="DROPMALFORMED")
我得到了一个
文件"/usr/lib/spark/python/lib/py4j-0.10.1-src.zip/py4j/protocol.py"，第312行，在get
浏览 4提问于2016-08-27得票数 6
回答已采纳
2回答
我正在尝试摄取2个csv文件到一个单一的火花数据。然而，这两个数据集的模式非常不同，当我执行下面的操作时，我只返回第二个csv的模式，就好像第一个不存在一样。我怎么才能解决这个问题？我的最后一个目标是统计单词的总数。
paths = "abfss://lmne.dfs.core.windows.net/csvs/MachineLearning_reddit.csv"，"abfss://test1@lmne.dfs.core.windows.net/csvs/bbc_news.csv“
df0_spark=spark.read.format("csv").
浏览 12提问于2022-10-27得票数 0
我有一个数据源，它存储为大量的gzipped，csv文件。这个源的头信息是一个单独的文件。
我想将这些数据加载到spark中进行操作--是否有一种简单的方法可以让spark计算出模式/加载标头？实际上有数以百计的列，它们可能会在运行过程中发生变化，因此强烈希望不要手工操作。
浏览 1提问于2016-10-20得票数 2
回答已采纳
1回答
因此，我正在尝试将python算法转换为Spark友好代码，并且遇到了以下问题：
indexer = recordlinkage.SortedNeighbourhoodIndex \
(left_on=column1, right_on=column2, window=41)
pairs = indexer.index(df_1,df_2)
它基本上比较一列和另一列，并为可能相同的列生成索引对(记录匹配)。
我的代码：
df1 = spark.read.load(*.csv)
df2 = spark.read.load(*.csv)
func_udf =
浏览 0提问于2018-07-25得票数 0
回答已采纳
1回答
我有一个，它包含字符串和int列。
但是，当我将dataframe写入csv文件，然后稍后加载它时，所有的列都以字符串的形式加载。
from pyspark.sql import SparkSession
spark = SparkSession.builder.enableHiveSupport().getOrCreate()
df = spark.createDataFrame([("Alberto", 2), ("Dakota", 2)],
["Name", "count
浏览 0提问于2020-07-28得票数 1
回答已采纳
我正在将CSV文件加载到DataFrame中，如下所示。
val conf=new SparkConf().setAppName("dataframes").setMaster("local")
val sc=new SparkContext(conf)
val spark=SparkSession.builder().getOrCreate()
import spark.implicits._
val df = spark.
read.
format("org.apache.spark.csv").
option("h
浏览 0提问于2016-11-17得票数 15
回答已采纳
我试图在数据帧中加载一个CSV文件，我的目标是将第一行显示为CSV文件的列名。但是在使用下面的代码时，我得到了错误
Exception in thread "main" java.lang.AbstractMethodError
at scala.collection.TraversableLike$class.filterNot(TraversableLike.scala:278)
代码：
def main(args : Array[String]): Unit = {
val spark : SparkSession = SparkSession
.b
浏览 0提问于2018-12-31得票数 2
回答已采纳
我正在使用Spark的CSV加载器加载csv文件，并通过提供Dataset模式和使用.as[T]将其转换为特定的case class。
spark.read
.option("header", "false")
.option("dateFormat", "yyyy-MM-dd HH:mm:ss.SSS")
.schema(schemaOf[T])
.csv(filePath)
.as[T]
这里我的问题是，我有多个系统发送相同的文件，如果一个系统发送的文件包含少于我定义的schema中的两列，那么我想只将这两
浏览 14提问于2019-03-26得票数 0
回答已采纳
我有一个rdd，它只是一个单列。每一列都是一个字符串，表示由|分隔的条目列表。例如：
col_1
a|b|c|d
q|w|e|r
我想把它转换成一个数据帧，所以它是这样的：
col_1 | col_2 | col_3 | col_4
a b c d
q w e r
列数是未知的，并且不需要标题(它们可以只是默认的列名)。
我试过了：
.map(i => i.split("|")).toDF()
但是，这只返回一列，它是一个值数组，而不是实际拆分成列。这样做的最终目标是将其写入到一个
浏览 1提问于2018-08-22得票数 2
回答已采纳
1回答
我正在研究Spark，在这里我需要找出两个大型CSV之间的区别。
迪夫应给予：
插入行或新记录/比较仅Id的更改的行(不包括插入的行)-比较所有列值已删除的行//只比较Id的
Spark 2.4.4 + Java
我正在使用Databricks来读/写CSV
Dataset<Row> insertedDf = newDf_temp.join(oldDf_temp,oldDf_temp.col(key)
.equalTo(newDf_temp.col(key)),"left_anti");
Long insertedCount = in
浏览 0提问于2020-04-09得票数 0
回答已采纳
我使用spark创建了一个CSV文件，如下所示： "\001").mode("overwrite").format("csv").save("s3://test123/testcsv001/") (“9月”，t1.write.option 然后在Redshift中尝试一个复制命令来加载CSV文件： 从's3://test123/testcsv001/‘access_key_id’中复制schema123.table123删除‘secret_access_key’删除‘session_token’删除‘TIMEFORMAT
浏览 22提问于2020-05-01得票数 0
4回答
我使用SQLContext读取CSV文件，如下所示：
val csvContents = sqlContext.read.sql("SELECT * FROM
csv.`src/test/resources/afile.csv` WHERE firstcolumn=21")
但是它将第一列打印为_c0，并在其中包含标题。如何设置标题并使用SQL查询？我见过这样的解决方案：
val df = spark.read
.option("header", "true") //reading the
浏览 1提问于2018-12-20得票数 0
回答已采纳
1回答
如何在一个数据框中只加载几列？
、、、、
我正在将一个文件加载到df中。
df=spark.read.csv("path")
如果我尝试上面的方法，它将加载整个CSV文件，该文件有20列，但我只想读取其中的5列。有没有办法？？
浏览 15提问于2019-11-18得票数 1
我有许多csv文件在一个文件夹中，要加载到火花数据帧。它们都有相同的标头或一个标头，这是最长标头的子集，但顺序不同。
文件1头- "a","b","c"
文件2头- "b","c","a"
文件3头- "a","b"
我有一个有a,b,c字段的模式。我试着用
sqlcontext.read
.format("com.databricks.spark.csv")
.option("delimiter","
浏览 7提问于2016-11-16得票数 4
我在目录下有4个文件，其中一个文件缺少包含该列数据的一列
但是当我加载到spark DF中时，它没有添加第二列，也没有填充null
file1.csv
name| first|second|
female| raj| tarun|
file2.csv
name| first|second|
female| raj| tarun|
浏览 0提问于2018-04-27得票数 0
1回答
当通过databricks加载csv时，第2行第4列下面没有加载。csv的no列随行而变化。
在test_01.csv中，
a,b,c
s,d,a,d
f,s
通过databricks加载上述csv文件，如下所示
>>> df2 = sqlContext.read.format("com.databricks.spark.csv").load("sample_files/test_01.csv")
>>> df2.show()
+---+---+----+
| C0| C1| C2|
+---+---+----+
| a|
浏览 0提问于2019-01-31得票数 0
2回答
由于一些不幸的事件序列，我们最终得到了一个存储在s3上的非常零散的数据集。表元数据存储在Glue上，数据写入bucketBy，并以拼图格式存储。因此，文件的发现不是问题，spark分区的数量等于存储桶的数量，这提供了很好的并行性。
当我们在Spark/EMR上加载这个数据集时，我们最终让每个spark分区从s3加载了大约8k个文件。
因为我们以列的格式存储数据；根据我们需要几个字段的用例，我们并不真正读取所有数据，而是读取存储的一小部分数据。
根据工作节点上的CPU利用率，我可以看到每个任务(在每个分区上运行)使用了大约20%的CPU，我怀疑这是因为每个任务都有一个线程顺序地从s3读取文件，所
浏览 2提问于2020-01-20得票数 2
我使用火花放电加载csv到红移。我想问一下manny行是如何被添加的。我使用withcolumn函数创建了一个新列：
csvdata=df.withColumn("file_uploaded", lit("test"))
我看到这个列是创建的，我可以使用psql进行查询。但是，当我试图使用吡火花sql上下文进行查询时，我会得到一个错误：
py4j.protocol.Py4JJavaError: An error occurred while calling o77.showString.
: java.sql.SQLException: [Amazon](500
浏览 0提问于2018-08-07得票数 0
我想读取一个CSV文件并存储到一个csv文件中，其中包含一些额外的列，如自动生成的列、标识列、加载日期和时间。
我使用的是spark 2.0。
浏览 0提问于2017-07-21得票数 0
回答已采纳
1回答
我运行pyspark2在spark 2.0.0上
考虑到加载到Dataframe中的稳定和常量数据集，我确实按特定列删除了重复数据：
vw_ticket = read_csv(...)
vw_ticket_in_booking = vw_ticket.dropDuplicates(['BOOKING_TICKET_ID'])
vw_ticket_in_booking.createOrReplaceTempView('vw_ticket_in_booking')
然后
spark.sql('select count(distinct(booking_id)
浏览 2提问于2017-08-31得票数 0
回答已采纳
我有3个文件在HDFS中，并想使用最有效的方法来排序他们首先在第一列，然后在第二列和存储排序的结果回HDFS上使用Scala (或Python)在Spark 1.4.1：
hdfs:/test/2016/file.csv
hdfs:/test/2015/file.csv
hdfs:/test/2014/file.csv
文件看起来像这样(没有标题)：
hdfs:/test/2016/file.csv
127,56，abc
125,56，abc
121,56，abc
hdfs:/test/2016/file.csv
126,66，abc
122,56，abc
123,46，abc
hdfs:/t
浏览 1提问于2016-03-12得票数 0
1回答
我有一组选项卡文件，我必须读取并保存在数据库中(Cassandra)。我可以加载所有在所有列中都有数据的表。但是一些表在某些列中有空值，而这些列没有被插入。
我试过下面的方法，
sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("delimiter", "/t").option("nullValue"," ").load(path)
而且还
sqlContext.rea
浏览 2提问于2016-12-29得票数 0
回答已采纳
1回答
我需要加载一个csv文件，其中有一个列，有一个结构数组，并将它转储到另一个位置的拼板格式。我的csv文件有两列，A列和B列。B列的数据类型是array<struct<x: bigint, y:bigint>>。
我尝试用模式加载csv文件，如下所示：
val schemaB = ArrayType(StructType(Seq(StructField("x",LongType),StructField("y",LongType))))
val schema = new StructType().add("A",String
浏览 4提问于2020-03-03得票数 0
回答已采纳
我是Scala的新手，只是想在星火中学习。现在我正在编写Scala应用程序，将csv文件从hadoop加载到dataframe中，然后我想在该dataframe中添加一个新列。有一个函数来填充那个新列的内容，为了测试函数--从csv文件中大写列，csv文件只包含一个列: emp_id和它的字符串。该函数在对象TestService中定义。我的IDE是Eclipse。现在我有了错误: not :输入TestService
非常感谢有人能帮我。
\\This is the main:
import org.apache.spark.sql.SparkSession
import org.apach
浏览 1提问于2020-03-12得票数 0
回答已采纳
1回答
我试图将一个庞大的基因组数据集(2504行和14848614列)加载到一个PySpark DataFrame中，但没有成功。我要去接java.lang.OutOfMemoryError: Java heap space了。我认为使用火花的主要思想就是记忆的独立性.(我是新手。请容忍我:)
这是我的密码：
from pyspark.sql import SparkSession
spark = SparkSession.builder.config("spark.driver.memory", "6G").getOrCreate()
file_location
浏览 2提问于2020-03-16得票数 0
? 已尝试加载列之间包含空格的csv文件。 csv的第1行： 058921107 039128053 20200701-290640-0 20200701 000000BORGWARNER ITHACA LLC DBA BORGWARNE 489140-10001 LDD INVENTORY
浏览 27提问于2020-08-26得票数 0
我已经通过以下方法加载了一个数据集：
Dataset<Row> rows = sparkSession.read().format("com.databricks.spark.csv").option("header", "true").load(tablenameAndLocationMap.get(tablename));
数据正在正确加载，但我希望在运行时更新列值。我试过像上面提到的那样使用循环，但没有起作用。
Column data = rows.col("UPLOADED_ON");
Dataset<R
浏览 3提问于2022-11-24得票数 2
尝试通过spark会话加载csv，但遇到在.i.e中包含双引号和逗号的字符串问题。
"""A"" STAR ACCOUNTING,& TRAINING SOLUTIONS LIMITED"
这将基于上面的字符串创建具有2个不同列的数据帧，输出：
"""A"" STAR ACCOUNTING
& TRAINING SOLUTIONS LIMITED"
通过spark会话读取csv读取csv
val df = ss.read
.option("header&
浏览 19提问于2018-02-07得票数 1
回答已采纳
我有一个包含两列的CSV文件：
+-----+--------------------------------------------------+
| c1 | location |
+-----+--------------------------------------------------+
| 1 |[1,2,3,4,5,6,7,8] |
+-----+-----------------------------------------
浏览 5提问于2018-02-07得票数 2
回答已采纳
在“火花权威指南”一书中，比尔说，阅读是一种转变，它是一种狭义的转变，
现在，如果我运行以下spark代码并尝试查看spark UI，我会看到一个创建了df = spark.read.csv("path/to/file")的作业
据我所知，Job是一个叫做的动作。此外，如果我尝试在读取CSV时输入一些选项，我会在spark UI中看到另一个作业，例如，当我们运行以下代码时，在spark UI df = spark.read.option("inferSchema", "true").csv("path/to/file")中有2个作
浏览 1提问于2021-05-01得票数 2
我在HDFS中有一个csv文件，并且正在尝试将它加载到一个中，在EMR中使用pyspark一个python脚本。
我得到以下错误(最后是完全错误)
py4j.protocol.Py4JJavaError: An error occurred while calling o32.csv
下面是我要做的事情
df = spark.read.csv("http://localhost:9870/foo/tsla_202210_min.csv", schema = stockSchema)
我把什么东西放错了吗？
全误差
File "/home/hadoop/.local/
浏览 9提问于2022-11-20得票数 0
我以以下方式创建了一个DataFrame：
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("Python Spark SQL basic example") \
.getOrCreate()
df = spark.read.csv("train.csv", header=True)
我的DataFrame的架构如下：
root
|-- PassengerId: string (nullable = true)
|-- S
浏览 3提问于2018-10-18得票数 0
回答已采纳
2回答
我有下面的RDD，很多都很像：
val csv = sc.parallelize(Array(
"col1, col2, col3",
"1, cat, dog",
"2, bird, bee"))
我想将RDD转换为dataframe，其中模式是基于RDD的第一行以动态/编程方式创建的。
我希望将逻辑应用于多个类似的RDDs，并且不能使用case类以编程方式指定模式，也不能从一开始就使用spark-csv将数据作为dataframe加载。
我已经创建了一个扁平化的dataframe，但是我想知道在创建dataframe时如何拆分相应
浏览 1提问于2019-11-19得票数 0
3回答
我使用以下方法将csv文件读取到Spark中：
df = spark.read.format(file_type).options(header='true'，引号=‘\’，ignoreLeadingWhiteSpace='true'，inferSchema='true').load(file_location)
当我尝试使用来自另一个源的示例csv数据时，它显示了一个清晰显示的标题行，后面是数据。
当我在我的主数据(它有40列，数百万行)上尝试它时，它只显示前20个列标题，而不显示数据行。
这是正常的行为，还是它读错了？
更新:我将标记
浏览 0提问于2018-10-21得票数 1
回答已采纳
1回答
我知道，可以使用以下命令为RDD加载PySpark文件：
sc = spark.sparkContext
someRDD = sc.textFile("some.csv")
或用于数据处理：
spark.read.options(delimiter=',') \
.csv("some.csv")
我的file是一个有10列的.csv，由','分隔。然而，最后一篇专栏包含了一些文本，其中也包含了大量的","。按","拆分将导致每一行的不同列大小，而且，我没有将整个文本放在一列中。我只是在寻找一种很
浏览 1提问于2022-05-25得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
