Spark: RuntimeException: java.lang.String不是date架构的有效外部类型
Spark是一个开源的分布式计算框架，用于处理大规模数据集的计算任务。它提供了高效的数据处理能力和易于使用的API，可以在大规模集群上进行并行计算。
在Spark中，出现"RuntimeException: java.lang.String不是date架构的有效外部类型"的错误通常是由于数据类型不匹配导致的。具体来说，这个错误可能是因为在使用Spark进行数据处理时，尝试将一个字符串类型的数据解析为日期类型，但是字符串的格式不符合日期的格式要求，从而导致类型转换失败。
为了解决这个问题，可以采取以下几个步骤：
- 检查数据格式：首先，需要检查数据中的日期字段的格式是否符合要求。日期字段的格式应该与所使用的日期解析函数的要求相匹配。例如，如果使用的是Java中的SimpleDateFormat类进行日期解析，那么日期字段的格式应该与SimpleDateFormat的模式字符串相匹配。
- 数据清洗：如果数据中存在格式不正确的日期字段，可以通过数据清洗的方式进行处理。可以使用Spark提供的各种数据转换和处理函数，对日期字段进行清洗和转换，使其符合要求的格式。
- 异常处理：在代码中，可以使用异常处理机制来捕获并处理类型转换异常。可以在代码中使用try-catch语句块，捕获类型转换异常，并进行相应的处理，例如记录日志或者给出错误提示。
总结起来，解决"RuntimeException: java.lang.String不是date架构的有效外部类型"错误的关键是确保数据格式正确，并进行必要的数据清洗和异常处理。在Spark中，可以使用各种数据转换和处理函数来完成这些操作。
腾讯云提供了一系列与Spark相关的产品和服务，例如腾讯云的云数据仓库CDW、弹性MapReduce EMR等，可以帮助用户在云上快速搭建和管理Spark集群，并进行大规模数据处理和分析。具体产品介绍和链接地址可以参考腾讯云官方网站的相关页面。
相关·内容
我正在从文本文件中读取数据框架的架构。这个文件看上去像
id,1,bigint
price,2,bigint
sqft,3,bigint
zip_id,4,int
name,5,string
我正在将解析的数据类型映射到Spark datatypes.The代码，以便创建数据框架-
var schemaSt = new ListBuffer[(String,String)]()
// read schema from file
for (line <- Source.fromFile("meta.txt").getLines()) {
val word = line.
浏览 2提问于2017-02-01得票数 22
val tableDF = spark.read.option("delimiter",",").csv("/Volumes/Data/ap/click/test.csv")
import org.apache.spark.sql.types.{StringType, StructField, StructType, IntegerType}
val schemaTd = StructType(List(StructField("time_id",IntegerType),StructField("week",I
浏览 0提问于2018-05-21得票数 0
1回答
我在Parquet文件中有一个数据，并希望将自定义模式应用到它。
我在Parquet内部的初步数据如下，
root
|-- CUST_ID: decimal(9,0) (nullable = true)
|-- INACTV_DT: string (nullable = true)
|-- UPDT_DT: string (nullable = true)
|-- ACTV_DT: string (nullable = true)
|-- PMT_AMT: decimal(9,4) (nullable = true)
|-- CMT_ID: decimal(38,14) (null
浏览 0提问于2018-10-25得票数 4
我试图在DataFrame的每一行中添加一个新列，如下所示
def addNamespace(iter: Iterator[Row]): Iterator[Row] = {
iter.map (row => {
println(row.getString(0))
// Row.fromSeq(row.toSeq ++ Array[String]("shared"))
val newseq = row.toSeq ++ Array[String]("shared")
Row(newseq: _*)
浏览 1提问于2019-06-28得票数 2
当将PySpark与以下代码一起使用时：
from pyspark.sql.types import *
samples = np.array([0.1,0.2])
dfSchema = StructType([StructField("x", FloatType(), True)])
spark.createDataFrame(samples,dfSchema)
我得到：
TypeError: StructType不能接受can 64‘>类型为’numpy.Float 64‘>的对象0.10000000000000001
有什么想法吗？
浏览 2提问于2017-07-14得票数 3
回答已采纳
鉴于此，似乎在过去就这样做了，但是.：
val arrayStructData2 = Seq(
Row("James", 2),
Row("Alex", 3)
)
val arrayStructSchema2 = new StructType()
.add("names",new StructType()
.add("name", StringType)
浏览 3提问于2021-10-10得票数 2
回答已采纳
我只是试着用spark做数据帧。我只是试着像下面这样写代码。 首先，我像下面这样导入 import org.apache.spark.sql.types._
import org.apache.spark.storage.StorageLevel
import scala.io.Source
import scala.collection.mutable.HashMap
import java.io.File
import org.apache.spark.sql.Row
import scala.collection.mutable.ListBuffer
import org.apache
浏览 285提问于2020-07-12得票数 1
回答已采纳
我有几个二进制文件，我需要合并成一个拼花文件在火花。我试过了，但不起作用。
val rdd = spark.sparkContext.binaryFiles("/mypath/*").map{case (filePath, content) =>
Row("file_name" -> filePath, "content" -> content.toArray())
}
val schema = new StructType().add(StructField("file_name", Str
浏览 3提问于2017-05-11得票数 0
回答已采纳
这个问题是()的参考。
我正在尝试推断从rdd到Dataframe的模式，下面是我的代码
def inferType(field: String) = field.split(":")(1) match {
case "Integer" => IntegerType
case "Double" => DoubleType
case "String" => StringType
case "Timestamp" => TimestampType
cas
浏览 3提问于2020-04-11得票数 1
回答已采纳
2回答
如何使用Spark scala遍历RDD。我想打印Seq中存在的每个值以及相关的键
res1: org.apache.spark.rdd.RDD[(java.lang.String, Seq[java.lang.String])] = MapPartitionsRDD[6] at groupByKey at <console>:14
我试着跟踪它的代码。
val ss=mapfile.map(x=>{
val key=x._1
val value=x._2.sorted
var i=0
while (i < value.length) {
(key,va
浏览 1提问于2014-09-02得票数 2
这可以很好地工作： import org.apache.spark.sql.types.{StructType, StructField, StringType, IntegerType, DateType}
import org.apache.spark.sql.functions._
val df = Seq( ("2018-01-01", "2018-01-31", 80)
, ("2018-01-07","2018-01-10", 10)
, ("2018-01-
浏览 22提问于2020-12-17得票数 0
回答已采纳
如何处理时间戳列中的空值？
我将源数据保存在列表中(sql的结果)
List([222,1,222,222,2012-01-28 23:37:06.0,()],
[220,1,220,220,2012-04-24 23:37:08.0,()],
[220,1,220,220,2008-03-18 15:06:09.0,()],
...
在最后一列中，空值与时间戳混合。
但是当我试图将它作为RDD加载时
//Create RDD
val rdd = spark.sparkContext.makeRDD(res.toList)
// Create schema
浏览 0提问于2018-06-21得票数 0
回答已采纳
在通过马拉松的每个从节点上，我们运行Mesos外部Shu浮服务。当我们在粗粒度模式下通过dcos CLI提交spark作业时，没有动态分配，一切都按预期工作。但是，当我们提交相同的任务时，动态分配会失败。
16/12/08 19:20:42 ERROR OneForOneBlockFetcher: Failed while starting block fetches
java.lang.RuntimeException: java.lang.RuntimeException: Failed to open file:/tmp/blockmgr-d4df5df4-24c9-41a3-9f26-
浏览 5提问于2016-12-09得票数 1
回答已采纳
我有一个包含双type.When的csv文件，我加载到一个数据帧中，我收到这个消息，告诉我类型字符串是java.lang.String，不能转换为java.lang.Double，尽管我的数据是numeric.How，我是否应该修改代码，从这个包含双type.how的csv文件中获得数据帧？
import org.apache.spark.sql._
import org.apache.spark.sql.functions._
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types.{ArrayTy
浏览 2提问于2017-01-02得票数 4
1回答
这是我的第一个星火项目。我想用卡夫卡的信息。这些消息包含字节arr、一些kafka头和键。所需的输出是带有列(kafkaKey、kafkaHeader1、kafkaHeader2、byteArr)的拼图文件。我试着用Spark实现它--知道我是如何添加模式的，模式正确吗？目前我无法控制输出结果是什么样子？
...
SparkSession spark = SparkSession
.builder()
.appName("Spark Kafka")
.master("loc
浏览 11提问于2022-06-22得票数 0
试图运行：val outputDF = hiveContext.createDataFrame(myRDD, schema)
获取此错误：Caused by: java.lang.RuntimeException: scala.Tuple2 is not a valid external type for schema of struct<col1name:string,col2name:string>
myRDD.take(5).foreach(println)
[string number,[Lscala.Tuple2;@163601a5]
[1234567890,[Lscal
浏览 0提问于2020-12-23得票数 0
回答已采纳
我们让kakfa hdfs连接器以默认的avro格式写入hdfs。一份样品交单：
“空”，"string"^@$ͳø{<9d>¾Ã^X:<8d>uV^K^H5^F°^F^B<8a>^B{"severity":"notice"，“消息”：“测试消息”，“工具”：“kern”，“syslog-标记”：“sawmill_test：”，"timestamp":"2017-01-31T20:15:00+00:00"}^B<8a>^B{"severity":&
浏览 4提问于2017-07-13得票数 0
我想使用Spark scala从字符串格式的复杂JSON创建一个数据帧。 Spark版本是3.1.2。Scala版本是2.12.14。 源数据如下： {
"info": [
{
"done": "time",
"id": 9,
"type": "normal",
"pid": 202020,
"add": {
"fields": true,
浏览 19提问于2021-09-06得票数 0
回答已采纳
我正在尝试加载存储在hadoop中的拼花文件。
这是我的桌子：
name type
----------------
ID BIGINT
point SMALLINT
check TINYINT
我要执行的是：
df = sqlContext.read.parquet('path')
我得到了一个错误：
Caused by: org.apache.spark.sql.AnalysisException: Parquet type not supported: INT32 (UINT_8);
at org.apache.spark.sql.executio
浏览 5提问于2020-10-16得票数 5
回答已采纳
我是一个使用星火数据的新手。我试图在Spark (SparkVersion2.x)中使用pivot方法，并遇到以下错误：
Py4JError:调用o387.枢轴时出错。跟踪: py4j.Py4JException:方法枢轴(类java.lang.String，类java.lang.String)不存在
尽管这里我将agg函数作为first，但实际上不需要应用任何聚合。
我的数据看起来是这样的：
+-----+-----+----------+-----+
| name|value| date| time|
+-----+-----+----------+-----+
|nam
浏览 0提问于2019-04-03得票数 3
回答已采纳
我想用这个模式创建一个数据文件：
|-- Col1 : string (nullable = true)
|-- Col2 : string (nullable = true)
|-- Col3 : struct (nullable = true)
| |-- 513: long (nullable = true)
| |-- 549: long (nullable = true)
代码：
val someData = Seq(
Row("AAAAAAAAA", "BBBBB", Seq(513, 549))
)
va
浏览 0提问于2019-08-15得票数 0
回答已采纳
1回答
spark1.6，从我的Vertica数据库中检索数据来处理它下面的查询在vertica db上运行得很好，但是它不适用于push，星火DataFrames支持用JDBC源下推谓词，但是在严格的SQL意义上使用了术语谓词。这意味着它只涵盖哪里的条款。此外，它似乎仅限于逻辑连接(恐怕没有IN和OR )和简单谓词，它显示了以下错误：java.lang.RuntimeException:选项'dbtable‘未指定
conf = (SparkConf()
.setAppName("hivereader")
.setMaster("yarn-client")
.
浏览 0提问于2019-02-13得票数 0
回答已采纳
1回答
失败: RuntimeException MetaException(message:org.apache.hadoop.hive.serde2.SerDeException在确定架构时遇到AvroSerdeException。返回信号架构以指示问题:无法从给定路径读取架构: /master_data/XYZ/DA12195/business_date=20181126/_schema.avsc)
架构文件存在于具有business_date=20181129的新分区中，但配置单元表仍指向旧分区中的架构文件。
浏览 1提问于2018-11-30得票数 0
我开发了包含java.time.LocalDate成员变量date的java类。
import java.io.Serializable;
import java.time.LocalDate;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;
@Data
@AllArgsConstructor
@NoArgsConstructor
public class Enti
浏览 1提问于2021-01-28得票数 2
回答已采纳
1回答
可能重复：
我试图在这样的泛型类中创建一个常规的RuntimeException：
public class SomeGenericClass<SomeType> {
public class SomeInternalException extends RuntimeException {
[...]
}
[...]
}
这段代码给了我一个错误的单词RuntimeException说The generic class SomeGenericClass<SomeType>.SomeInternalException m
浏览 6提问于2012-12-04得票数 10
回答已采纳
我正在尝试创建一个Person类，构造函数使用给定的参数启动实例变量，但是当通过main类创建一个新的person对象时，代码无法被遵从，因为Person构造函数不需要参数，但我在构造函数中指定了四个。我使用的是NetBeans 7.2.1。这是我的代码：
public class Person {
private String fName;
private String mName;
private String lName;
private String dob;
public void Person(String first, String mi
浏览 5提问于2014-07-08得票数 1
回答已采纳
下面是spark-shell脚本，我使用它将csv数据转换为parquet：
import org.apache.spark.sql.types._;
val sqlContext = new org.apache.spark.sql.SQLContext(sc);
val df = sqlContext.read.format("com.databricks.spark.csv").option("header","true").load("/uploads/01ff5191-27c4-42db-a8e0-0d6594de3a5d/Wo
浏览 2提问于2017-10-24得票数 0
由于Spark 2.X无法创建带有scala.None值的org.apache.spark.sql.Row (对于Spark 1.6.x是可能的)
Caused by: java.lang.RuntimeException: Error while encoding: java.lang.RuntimeException: scala.None$ is not a valid external type for schema of string
可重现的例子：
import org.apache.spark.sql.types._
import org.apache.spark.sql.Row
浏览 1提问于2017-01-03得票数 2
我试图在不使用case类的情况下将RDD转换为Dataframe。csv文件如下所示：
3,193080,De Gea <br>
0,158023,L. Messi <br>
4,192985,K. De Bruyne <br>
1,20801,Cristiano Ronaldo <br>
2,190871,Neymar Jr <br>
val players = sc.textFile("/Projects/Downloads/players.csv").map(line => line.split(
浏览 0提问于2019-02-22得票数 0
2回答
这里有一个Spark，我用它来计算一个值，用几个列。
def spark_udf_func(s: String, i:Int): Boolean = {
// I'm returning true regardless of the parameters passed to it.
true
}
val spark_udf = org.apache.spark.sql.functions.udf(spark_udf_func _)
val df = sc.parallelize(Array[(Option[String], Option[Int])](
(So
浏览 0提问于2017-09-05得票数 9
回答已采纳
正在接收以下csv文件形式的架构信息。假设我有关于100+columns的
FIRSTNAME|VARCHAR2
LASTANME|VARCHAR2
MIDDLENAME|VARCHAR2
BIRTHDATE|DATE
ADULTS|NUMBER
ADDRESS|VARCHAR2
在这种情况下，如何在SPARK中动态生成模式？
浏览 0提问于2017-10-17得票数 0
我试着创建Apache Spark dataframe
val valuesCol = Seq(("Male","2019-09-06"),("Female","2019-09-06"),("Male","2019-09-07"))
valuesCol: Seq[(String, String)] = List((Male,2019-09-06), (Female,2019-09-06), (Male,2019-09-07))
模式
val someSchema = List(StructField
浏览 8提问于2019-09-19得票数 0
回答已采纳
我正在尝试从spark sql导入类型，如下所示
导入org.apache.spark.sql.types._
但是我得到一个错误，比如："not found: value DataType"，"not found: type ByteType“
完整的代码是
import java.math.BigDecimal
import java.sql.{Timestamp, Date}
浏览 0提问于2015-06-11得票数 1
我用Spark从MapR DB读取一张表。但是时间戳列被推断为InvalidType。在从Mapr读取数据时，也没有设置模式的选项。
root
|-- Name: string (nullable = true)
|-- dt: struct (nullable = true)
| |-- InvalidType: string (nullable = true)
我试图将该列转换为时间戳，但得到了以下异常。
val df = spark.loadFromMapRDB("path")
df.withColumn("dt1", $"dt
浏览 1提问于2018-11-28得票数 0
回答已采纳
每次我尝试启动我的应用程序时，它都会显示这个错误：
The application SMSbackupv1 (process com.SMS.Backup) has stpped unexpectedly. please try again.
我不知道错误是在哪里产生的。但是，当我调试该文件时，threadGroup.class会显示并显示
Source not found
the JAR file C:\Program Files (x86)\Android\android-sdk\platforms\android-8\android.jar has no source attachmen
浏览 1提问于2011-07-04得票数 0
我正在做一个使用Apache Spark的推特数据分析项目，带有Java和NoSQL数据库的Cassandra。
在我正在工作的项目中，我想维护一个链表的数组列表(将在构建的数组列表和链表中使用Java )，这是所有映射器节点的公共。我的意思是，如果一个映射器将一些数据写入到arraylist中，那么它应该反映到所有其他映射器节点。
我知道广播共享变量，但这是只读共享变量，我想要的是共享可写数据帧，其中一个映射器所做的更改应该反映在所有映射器中。
任何关于如何在apache spark中使用Java实现这一点的建议都将是非常有帮助的。
提前感谢
浏览 1提问于2015-11-27得票数 1
1回答
我的演员阵容失败了：
(Map<String, ? extends ISeries<Date, Double, ISeriesPoint<Date, Double>>>) inputSeries
我得到了错误：
incompatible types: java.util.Map<java.lang.String,com.quantcomponents.marketdata.IOHLCTimeSeries>
cannot be converted to java.util.Map<java.lang.String,? extends
co
浏览 0提问于2014-10-30得票数 0
1回答
由于以下错误，我在通过spark-submit运行spark作业时遇到问题：
16/11/16 11:41:12 ERROR yarn.ApplicationMaster: User class threw exception: java.lang.NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions(org.apache.hadoop.fs.Path, java.lang.String, java.util.Map, boolean, int, boolean, boolean
浏览 6提问于2016-11-17得票数 0
I have a partitioned data structure on S3 as below which store parquet files in it:
date=100000000000
date=111620200621
date=111620202258
The S3 key will look like s3://bucket-name/master/date={a numeric value}
我从SPARK代码中读取数据，如下所示：
Dataset<Row> df = spark.read().parquet("s3://bucket-nam
浏览 0提问于2020-11-19得票数 0
2回答
比较drools中的日期
、、、、
我的规则文件如下：
import com.springapp.mvc.model.Person;
dialect "java"
rule "4"
when
$person:Person(((date > "20-Jan-2015") && (date < "20-Dec-2015")) && (call_count >= "299"))
then
System.out.println("Beep")
浏览 7提问于2015-11-03得票数 4
回答已采纳
给出一个火花连接sc
iris_spk <- copy_to(sc, iris)
接下来，我将为spark_apply举一个愚蠢的例子
iris_spk %>%
spark_apply(
function(x) {
data.frame(A=c("a", "b", "c"), B=c(1, 2, 3))
},
group_by = "Species",
columns = c("A", "B"),
packages = FALSE
浏览 1提问于2018-02-23得票数 1
回答已采纳
我的代码如下所示：
object DataTypeValidation extends Logging {
def main(args: Array[String]) {
val spark = SparkSession.builder()
.appName("SparkProjectforDataTypeValidation")
.master("local")
.getOrCreate();
spark.sparkContext.setLogLevel("ERROR")
tr
浏览 4提问于2020-08-12得票数 0
回答已采纳
2回答
我刚刚开始使用jsonschema，并在中的“在您的项目中使用Java项目(嵌入)”下面的一个示例
考虑到这里列出的jsonschema的数据类型，
我的架构对象可以描述为
{
"$schema": "http://json-schema.org/draft-04/schema",
"description": "Document",
"type": "object",
"properties": {
"display
浏览 4提问于2015-10-05得票数 7
回答已采纳
我正在Spark中创建一个dataframe，并且我已经将模式定义如下：
SCHEMA = StructType([StructField('s3_location', StringType()),
StructField('partition_date', StringType()),
StructField('table_name', StringType()),
StructField('column_nam
浏览 0提问于2018-02-05得票数 0
我有一个包含许多字段的JSON文件。我在java中使用spark的Dataset读取该文件。
火花版本2.2.0
java 1.8.0_121
下面是密码。
SparkSession spark = SparkSession
.builder()
.appName("Java Spark SQL basic example")
.config("spark.some.config.option", "some-value")
浏览 2提问于2017-08-25得票数 4
回答已采纳
2回答
在此中，注释类型(@interface)如下：
@interface ClassPreamble {
String author();
String date();
int currentRevision() default 1;
String lastModified() default "N/A";
String lastModifiedBy() default "N/A";
// Note use of array
String[] reviewers();
浏览 1提问于2015-06-27得票数 5
回答已采纳
我正在将一些代码从Spark1.6迁移到Spark2.1，并努力解决以下问题：
这在Spark1.6中非常有效。
import org.apache.spark.sql.types.{LongType, StructField, StructType}
val schema = StructType(Seq(StructField("i", LongType,nullable=true)))
val rows = sparkContext.parallelize(Seq(Row(Some(1L))))
sqlContext.createDataFrame(rows
浏览 4提问于2017-06-02得票数 2
回答已采纳
2回答
听着，我们有密码：
public class Test2 {
public static void main(String... args) {
ArrayList<Exception> a = new ArrayListFactory().create(new RuntimeException());
ArrayList<Exception> b = new ArrayListFactory().create("Z");
}
}
class ArrayListFactory {
publ
浏览 2提问于2017-01-13得票数 0
1回答
我可以使用向量列和DataFrame方法创建一个星火toDF。
val dataset = Seq((1.0, org.apache.spark.ml.linalg.Vectors.dense(0.0, 10.0, 0.5))).toDF("id", "userFeatures")
scala> dataset.printSchema()
root
|-- id: double (nullable = false)
|-- userFeatures: vector (nullable = true)
scala> dataset.schem
浏览 0提问于2018-05-13得票数 1
该怎么做呢？
val (a,b) = spark.sql("SELECT 1,2").first
笔记和动机
我需要对具有大量独立于SQL的属性的代码进行代码审查，例如：
val today = spark.sql("SELECT date_format(now(),'yyyyMMdd')").as[String].first
val yesterday = spark.sql("SELECT date_format(date_add(now(),-1),'yyyyMMdd')").as[String].fir
浏览 0提问于2019-10-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
