我试过这个： val dfNew = spark.sql("select *, cast('hist'("hitsTmp",).withColumnRenamed("hitsTmp", "hits")
结果是这样<
浏览 118提问于2017-06-21得票数 1
我通过读取csv文件在Spark中使用Java创建了一个数据集。以下是我的初始数据集：|_c0| _c1| _c2|_c3|| 1|9090999999| SANU| 21|| 4|9090909090|VEENA| 23|我想按如下方式创建dataframe (一个列</em
浏览 3提问于2019-01-04得票数 1
回答已采纳
--我不知道如何按索引添加值--帮助我完成以下工作:根据键的值的索引添加值Country,ValuesCanada,59;98;24;83;3
浏览 0提问于2019-12-09得票数 2
回答已采纳
1回答
下面是AWS Glue的简单脚本。我有一个带有空单元格的文本文件和一个接受空值的表。当我运行胶水作业时，它会失败，例外情况是“不知道如何将NullType保存为REDSHIFT”。= glueContext.spark_sessionjob.init(args['JOB_NAME'], args)
## @type: DataSource我没有任何空字符就重新生成了我的文件，我也有同样的</em
浏览 4提问于2017-11-28得票数 5
1回答
我想将spark应用程序的开始时间存储到表中。但是如果我在带有spark.sql的insert语句中使用它，NULL值将被插入到目标表中。spark.sql(" select from_unixtime(CAST(${i}/1000 AS bigint),'YYYY-MM-DD HH:MM:SS.SSS')
from temp li
浏览 6提问于2018-02-22得票数 2
回答已采纳
我有一个带有键列的dataframe和一个包含一个struct数组的列。架构如下所示。| |-- name: string (nullable = true)数组"desc“可以有任意数量的空值我想使用spark 1.6创建一个没有空值的数组的最后一个dataframe：
一个
浏览 1提问于2018-05-07得票数 2
回答已采纳
我尝试获得spark sql查询的结果，并在Scala中为它们做一些计算。val sql_DF = spark.sql("SELECT count(distinct(my_id)) total_id FROM some_ids_table ")
val <
浏览 1提问于2019-10-29得票数 0
给定Spark 2.4和scala 2.11中的代码 val df = spark.sql("""select array(45, "something", 45)""") 如果我使用df.printSchema()打印模式，我会看到spark自动转换为字符串CAST(45 AS STRING)。root
|-- array(CAST(45 AS STRING), something, <
浏览 30提问于2020-01-21得票数 3
我试图使用to_date函数将字符串格式的列转换为日期格式，但它返回的是Null值。df.createOrReplaceTempView("incidents")+----------+|08/26/2016|
|08
浏览 20提问于2016-11-23得票数 63
回答已采纳
我在试着读取交通部的飞行数据。它存储在CSV中，并不断获取java.lang.NumberFormatException: nullspark = SparkSession.builder \ .appName('Flight Delay') \ .format('
浏览 10提问于2017-02-20得票数 3
回答已采纳
3回答
我有一个csv的表格：2012-01-12 12:30:00,42012-01-12 12:00:00,12我正在考虑将t转换成某种类型，从而允许数据格式sortBy。但是我不知道哪种时间戳类型允许按时间进行数据排序。
浏览 4提问于2015-12-22得票数 3
回答已采纳
3回答
我们正在处理无模式的JSON数据，有时spark作业会失败，因为我们在spark SQL中引用的一些列在一天中的某些时间内不可用。在这些小时内，spark作业失败，因为所引用的列在数据帧中不可用。我尝试过UDF，但是我们缺少太多的列，所以不能真正地检查每一列的可用性。我还尝试在更大的数据集上推断模式，并将其应用于数据帧，期望缺少
浏览 5提问于2018-08-10得票数 2
2回答
伙计们，我有一个用户定义的函数来检查文本行是否为空： val spark = SparkSession.builder().master("local").getOrCreate() {{{ (0,"","Mongo")
浏览 0提问于2019-06-07得票数 2
假设我正在做这样的事情：df.withColumn("year2", 'year.cast("Int
浏览 5提问于2015-04-01得票数 171
我试图使用定义为DataFrame的常量来定义星火var中的新列。我用的是齐柏林飞艇-在最初的细胞里，它从import org.apache.spark.sql.functions._spark.read.parquet("<path/to/file>")
该文件包含一个名为birth_year的
浏览 0提问于2018-06-07得票数 2
回答已采纳
1回答
我有一系列的地图。每个映射包含作为键的列名和作为值的列值。一张地图描述了一行。我不知道地图上会有多少个条目。所以我不能在代码中创建一个固定长度的元组。我想把序列转换成数据帧。from this block}.toDF(columns:_*)
但它给出了以下例外：
org.apache.spark.sql.types.ArrayTy
浏览 0提问于2018-09-04得票数 0
回答已采纳
我有一个主SQL表，我正在读取这个表，并修改它以写入CassandraDB。目前，我有一个工作实现，将性别从0、1、2、3(整数)转换为“男性”、“女性”、“跨”等(字符串)。尽管下面的方法确实有效，但将带有这些映射的独立数组添加到DataFrame中、将其连接到主表/DataFrame、然后删除、重命名等等，似乎效率很低。我在这个表上有大约10个不同的列，每个列都需要创建自己的自定义转换。由于这段代码将处理数据的TBs，是否有一种更少重复和
浏览 1提问于2017-09-11得票数 2
回答已采纳
由于一些奇怪的原因，spark中的dayofmonth函数似乎返回了多年来1500 or less的奇怪值。以下是获得->的结果+-----------------------------14|
+---------------------------------
浏览 2提问于2019-03-05得票数 1
回答已采纳
1回答
%scalaimport org.apache.spark.sql.functions.select(to_date(col("Date"),"yyyymmdd").as("to_date")我正在尝试将字符串转换为时间戳，但总是获得空/默认值返回日期值
浏览 6提问于2022-03-15得票数 0
回答已采纳
在火花sql中使用after列将字符串转换为int之后，我正在尝试添加两列的值。withColumn("totalDowntimetime",("zenerTime").cast(int)+("avalancheTime").cast(int)).show(truncate = false但它将错误抛出为“ found : String
浏览 3提问于2020-08-19得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
即时通信 IM
云直播
实时音视频活动推荐
腾讯云开发者
