我为我的spark代码指定了模式，但是结果都返回NULL。然而，当I inferSchema=True，header=True时，我得到了正确的结果。,StructField("country", StringType(), True)]) 当我应用模式将文件作为数据帧读入时，如下所示： testzip = spark.read.csv("adl://mylake.azuredatalakestore.
浏览 35提问于2020-01-12得票数 0
回答已采纳
我有如下的data.txt文件。 12, 345, 6789 现在，我想在参数文件或标准输入的指定字段中使用指定的位数执行前导零填充。在参数文件的指定字段中指定的位数是8位。我该怎么办？这是我的代码： import org.apache.spark.sql.types._ import org.apache
浏览 142提问于2019-07-01得票数 4
回答已采纳
它似乎能够读取表，但当我想显示结果时，会收到一个错误，指示它无法访问临时目录。如果我使用"wasbs“模式指定临时目录，则会得到以下错误：容器名称、帐户名称和帐户键是正确的，所以我猜我没有正确地设置配置，但我已经尝试了我能想到的一切。我认为它
浏览 7提问于2022-07-04得票数 0
2回答
我是星火的新手。读取与CSV文件相关联的查询。file_type1 = "csv"
infer_schema1= "
浏览 1提问于2020-04-16得票数 1
我正在尝试使用spark dataframe完全覆盖postgres表。由于某些原因，即使当我指定postgres时，我也会得到一个relation already exists postgres错误。为什么我的代码不能像预期的那样覆盖数据库中的数据？这会不会是内存问题？会不会是queryTimeout？df.write.format('jdbc').options(
浏览 2提问于2019-12-13得票数 1
4回答
我见过这样的解决方案： .option("header", "true") //reading the headers
.csv是否有方法指定CSV头并执行SQL SELECT查询？
浏览 1提问于2018-12-20得票数 0
回答已采纳
我正在尝试使用spark和esri创建一个带有地理数据集的数据集。{Encoder, Encoders, SQLContext} Seq(new Foo(new Point(0, 0), "bar")).toDS.show}
线程"main“中的异常org.apache.spark.sql.Dataset.showString(Dataset.sca
浏览 4提问于2016-07-21得票数 1
1回答
我正在学习IBM Apache Spark。我正在使用HMP数据集。我遵循了教程中的说明，但代码并没有按预期工作。这是我的代码：
浏览 6提问于2020-02-03得票数 0
回答已采纳
3回答
我使用在case类和编码器的帮助下指定模式的结构化流来获取流数据。val sampleLogSchema = Encoders.product[SampleLogEntry].schema
.readStream .option("delimiter", "|") .schema<
浏览 3提问于2019-11-23得票数 3
回答已采纳
2回答
我的问题与有关，但它遇到了一个新问题。import pyspark.sql.types as T
new_customers = spark.createDataFrame(data=[["Karen", ["a"]], ["Penny", ["b"]], ["John", [None]], ["Cosimo", ["d"]
浏览 4提问于2022-09-12得票数 0
1回答
我已经将一些较旧的数据存储在带有模式的parquet中。每次我尝试用spark.read.parquet("test_path").as[B].collect()读取数据时，我都会得到以下异常：
是否有方法为我的所有数据指定一个向后兼容的架构？
浏览 0提问于2017-11-07得票数 2
回答已采纳
3回答
我需要重新组织和组的用户id互动的基础上附加的json图像格式准备。 StructField("count", LongType(), True)]))), True)schema= StructType(fields)这个模式正确吗？
浏览 0提问于2017-05-09得票数 0
下面的数据作为标签分隔格式的.txt文件存储在blob存储中。我使用pyspark.sql将数据作为pyspark.sql.df加载到databricks中。 [ (203, 'bar'),然后使用以下代码读取数据：
df = spark.read.csv("/fi
浏览 8提问于2020-04-11得票数 1
2回答
我尝试使用from_json解析字符串列(包含json字符串)，但当我显示结果数据帧时，它将所有值显示为null。我使用所有类型作为字符串，所以应该不会有任何类型转换问题，但最终结果仍然是空的。我可以显示我的originaldf，它会显示json字符串。mytype", "version": "0.2", "id": "dc771a5f-336e-4f65
浏览 19提问于2019-07-15得票数 1
回答已采纳
1回答
正如关于的文章中所建议的那样，声明的模式有助于早期发现问题。表列上的注释被视为模式中的差异。'""")
这将在AnalysisException中失败:指定的模式与/my_table_locationnull结构字段
浏览 2提问于2021-04-28得票数 2
1回答
我试图按照这个指示启用历史日志与火花Oozie的行动。要确保您的星火作业显示在星火历史服务器中，请确保指定这三个星火配置属性，无论是使用--conf还是从oozie.service.SparkConfigurationService.spark.configurations中指定。spark.eventLog.enabled=true
<action name="spark-9e7c">
浏览 0提问于2016-07-29得票数 2
回答已采纳
2回答
然而，以下声明不告诉我哪些列是空的，哪些是非空的。DESCRIBE TABLE EXTENDED也是如此。我怎么才能得到完整的描述？
浏览 9提问于2022-01-28得票数 1
回答已采纳
我正在编写spark.read.format("com.crealytics.spark.excel")，PySpark (Python3.6和Spark2.1.1)，并试图使用从excel文件中获取数据示例： df = spark.read.format("com.crealytics.spark.excel").\
浏览 3提问于2017-08-16得票数 1
回答已采纳
conf=new SparkConf().setAppName("dataframes").setMaster("local")val spark=SparkSession.builder().getOrCreate() option("head
浏览 0提问于2016-11-17得票数 15
回答已采纳
2回答
我是阿帕奇星火公司的新手。我创建了模式和数据框架，它显示了结果，但是格式不太好，而且非常混乱。我几乎看不懂这句话。所以我想以熊猫的形式展示我的成绩。我附上了我的数据帧结果的屏幕截图。但是我不知道如何用熊猫来展示我的结果。StructField("Outcome_type", StringType(), True),
df = spark</e
浏览 3提问于2020-12-07得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
