错误:类型不匹配：：找到:布尔值：：必需: org.apache.spark.sql.Column问题：：Spark/Scala
错误:类型不匹配：：找到:布尔值：：必需: org.apache.spark.sql.Column问题：：Spark/Scala
这个错误是由于在Spark/Scala代码中，出现了类型不匹配的问题。具体来说，代码中期望的类型是org.apache.spark.sql.Column，但实际上找到的是一个布尔值。
解决这个问题的方法是确保代码中使用的变量或表达式的类型与期望的类型一致。可以通过以下步骤来排查和解决问题：
- 检查代码中涉及到的变量或表达式的类型，确认是否与期望的类型一致。可以使用Scala的类型推断功能来确定变量的类型，或者显式地指定变量的类型。
- 确认代码中是否存在类型转换的问题。如果代码中需要将布尔值转换为org.apache.spark.sql.Column类型，可以使用Spark提供的函数或方法来进行转换。
- 检查代码中是否存在语法错误或拼写错误。有时候，一个简单的拼写错误或语法错误也可能导致类型不匹配的问题。
在解决这个问题的过程中，可以参考Spark官方文档或相关的编程指南，以获取更多关于org.apache.spark.sql.Column类型的信息和使用方法。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库 MySQL 版：https://cloud.tencent.com/product/cdb_mysql
- 腾讯云人工智能：https://cloud.tencent.com/product/ai
- 腾讯云物联网：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发：https://cloud.tencent.com/product/mobdev
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务：https://cloud.tencent.com/product/tbaas
- 腾讯云元宇宙：https://cloud.tencent.com/product/mu
相关·内容
下面是我的代码：
val opts = Map("allowUnquotedFieldNames" -> "true")
val df_withSchema = df.withColumn("Data", from_json(col("Item.Data.S"),schema, opts))
以下是错误：
(<console>:198: error: overloaded method value from_json with alternatives:
(e: org.apache.spark.s
浏览 7提问于2022-03-03得票数 0
回答已采纳
我有一个非常简单的代码
val win = Window.partitionBy("app").orderBy("date")
val appSpendChange = appSpend
.withColumn("prevSpend", lag(col("Spend")).over(win))
.withColumn("spendChange", when(isnull($"Spend" - "prevSpend"), 0)
.otherwise(
浏览 29提问于2022-10-13得票数 0
回答已采纳
在spark scala dataframe中定义多个逻辑/关系条件时，得到下面提到的错误。但同样的事情在scala中也能正常工作
Python代码：
df2=df1.where(((col('a')==col('b')) & (abs(col('c')) <= 1))
| ((col('a')==col('fin')) & ((col('b') <= 3) & (col('c') > 1)) & (col('d')
浏览 12提问于2019-08-02得票数 0
1回答
我在spark-shell (Spark版本2.1.0，使用Scala版本2.11.8，OpenJDK 64位服务器VM，1.7.0_151)中工作。
我导入Column类：
scala> import org.apache.spark.sql.Column
import org.apache.spark.sql.Column
我可以定义一个Column对象：
scala> val myCol: Column = col("blah")
myCol: org.apache.spark.sql.Column = blah
并在函数定义中使用Column：
scala&
浏览 6提问于2018-01-30得票数 6
1回答
我试图注册我的UDF函数，并想在我的spark sql查询中使用它，但无法注册我的udf Im出现以下错误。
val squared = (s: Column) => {
concat(substring(s,4,2),year(to_date(from_unixtime(unix_timestamp(s,"dd-MM-yyyy")))))
}
squared: org.apache.spark.sql.Column => org.apache.spark.sql.Column = <function1>
sc
浏览 10提问于2020-05-06得票数 0
2回答
我有一个数据帧，其中有几个数值列是不固定的(它们在每次执行过程中都会发生变化)。假设我有一个带有数字列名称的Seq对象。我想对这些列中的每一列应用一个聚合函数。我尝试过以下几种方法：
println(numeric_cols)
// -> Seq[String] = List(avgTkts_P1, avgTkts_P2, avgTkts_P3, avgTkts_P4)
var sum_ops = for (c <- numeric_cols) yield org.apache.spark.sql.functions.sum(c).as(c)
var result = df.g
浏览 2提问于2018-09-04得票数 0
我无法在groupBy函数中指定列列表以及窗口操作。我现在的代码是：
val groupCols = List("SINR_Distribution","NE_VERSION","NE_ID","NE_NAME","cNum","EarfcnDl","datetime","circle")
val aggDFrame = dframe.groupBy(groupCols, window($"EVENT_TIME", "60 minutes
浏览 4提问于2020-10-30得票数 0
回答已采纳
1回答
我用pySpark写的
result = \
df.select('*', date_format('window_start', 'yyyy-MM-dd hh:mm').alias('time_window')) \
.groupby('time_window') \
.agg({'total_score': 'sum'})
result.show()
我想让它在scala语言中运行，我做了这个，我得到了，我错了，我没有取消错误，因为scala是新的
val result=df.s
浏览 0提问于2017-02-27得票数 0
我尝试通过在dataframe中添加一个新列来使用SparkSQL。
我的守则是：
val df= sc.read.json("C:/Users/A661758/Desktop/TEST-XSLT.json")
df.withColumn("UID", new org.apache.spark.sql.Column("UID"))
错误：'**UID**‘给定的输入列无法解析：
我使用Spark2.1.0和Scala2.11.8
谢谢。
浏览 1提问于2017-03-14得票数 1
1回答
我正试图将IN条款应用于
scala> val filteredDF = resultDF.select("role_id","role","full_name").filter(upper(resultDF("role")).isin(List("DIRECTOR","ACTOR")) )
在尝试上面的命令时，我得到了错误
java.lang.RuntimeException: Unsupported literal type class scala.collection.immutab
浏览 9提问于2017-10-27得票数 0
回答已采纳
在对数据集(n =100000)运行logistic回归算法后，我希望获得特征的相关矩阵。
这是我的数据预览：
results.columns
res16: Array[String] = Array(label, Pclass, Sex, Age, SibSp, Parch, Fare, Embarked, SexIndex, EmbarkIndex, SexVec, EmbarkVec, features, rawPrediction, probability, prediction)
scala> val fts = results.select("features"
浏览 0提问于2016-12-28得票数 1
我们正在尝试使用合流模式注册表创建avro记录。我们想发布给卡夫卡集群的同样的记录。
要将模式id附加到我们需要使用的每个记录(神奇字节)上--
to_avro(Column data, Column subject, String schemaRegistryAddress)
为了实现自动化，我们需要在管道中构建项目&配置databricks作业来使用这个jar。
现在，我们在笔记本中面临的问题是，我们能够找到一个包含3个参数的方法。
但是当我们在构建时使用从下载的同一个库，它只有两个重载的to_avro方法。
databricks是否有其他maven存储库用于其阴影jars？
笔记
浏览 4提问于2022-02-10得票数 2
回答已采纳
2回答
我正在尝试这样做：
val sensorsDf = Seq(
("sensor1", 26, 30, 1000),
("sensor2", 25, 30, 1100),
("sensor3", 26, 30, 1000)
).toDF("sensor", "temperature", "humidity", "brightness")
val sensors2Df = sensorsDf.withColumn("measures", Map("tempera
浏览 2提问于2020-06-15得票数 2
回答已采纳
2回答
我有一张桌子 DEST_COUNTRY_NAME ORIGIN_COUNTRY_NAME count
United States Romania 15
United States Croatia 1
United States Ireland 344 我把上面的代码转换成了DataFrame val flightData2015 = spark
.read
.option("inferSchema", "true")//infers the input schema automatically from data
.option("he
浏览 19提问于2019-02-08得票数 0
回答已采纳
所以我有了这个数据sheepDF
--------------------------------------
| sheep_id | sheep_age | sheep_color |
--------------------------------------
| 1 | 1 | gray |
| 2 | 2 | grey |
| 3 | 2 | |
| 4 | 3 | white |
| 5
浏览 1提问于2019-08-28得票数 2
回答已采纳
2回答
我使用的是Spark和Java，当我在两个dataframe之间进行连接时，模式的顺序是不同的。
我需要保留顺序，因为我想在后面的HBase表中插入数据。
在Scala中有一个使用seq列表的解决方案，我想知道如何使用Java来实现它？
浏览 1提问于2017-01-24得票数 3
回答已采纳
1回答
我有以下代码片段： package org.test.test.datahelper
import org.apache.spark.rdd.RDD
import org.apache.spark.sql._
class WeatherHelper(sparkSession: SparkSession, weather: DataFrame) {
def prepareRRRColumn: DataFrame = {
import org.apache.spark.sql.functions
weather.withColumn("Year", ye
浏览 5提问于2018-12-26得票数 0
回答已采纳
5回答
我在试着熟悉Scala。我正在使用macOS。
我已经使用brew install scala安装了scala，它是无麻烦的，一旦完成，我只需发出scala就可以启动scala，并且我在scala>提示符下。
现在我想导入一些包，所以我尝试：
import org.apache.spark.sql.Column
不出所料，它失败了
错误: object apache不是包org的成员。
这是有道理的，它怎么会知道从哪里得到的包裹？问题是，我不知道该怎么做才能让那个包裹可用。我能从命令行中做些什么，允许我使用import org.apache.spark.sql.Column吗？
我
浏览 0提问于2018-05-08得票数 3
回答已采纳
4回答
我想向dataframe添加一个新的map类型列，如下所示：
|-- cMap: map (nullable = true)
| |-- key: string
| |-- value: string (valueContainsNull = true)
我试过密码：
df.withColumn("cMap", lit(null).cast(MapType)).printSchema
错误是：
:132: error:重载的方法值转换为可选方法：
(致: String)org.apache.spark.sql.Column
( to : org.apache.sp
浏览 12提问于2017-05-28得票数 10
回答已采纳
互联网上有几个类似的问题，但没有人知道答案。
我使用下面的代码将mongo数据保存到Hive，但是异常会发生，如最后所示。我会问如何解决这个问题。
我在用
火花-蒙戈连接器(火花2.1.0 - scala 2.11)
java-mongo驱动程序3.10.2
导入com.mongodb.spark.MongoSpark org.apache.spark.SparkConf org.apache.spark.sql.SparkSession org.apache.spark.sql.SparkSession org.apache.spark.sql.types.StructType Mo
浏览 6提问于2019-04-27得票数 0
1回答
我试图在spark sql中使用scala来实现这个查询
SELECT * FROM employees
WHERE emp_id IN (SELECT emp_id
FROM employees
WHERE SALARY > 200) ;
我已经映射了oracle表来激发数据帧。
val employees = sqlContext.load("jdbc", Map("url" -> "jdbc:oracle:thin:client/password@localhost:1521
浏览 2提问于2015-11-23得票数 1
回答已采纳
我有一个装满ip地址的数据。我有一个ip地址列表，我想从我的数据删除。在根据"lista“删除所有ip地址之后，我想要一个新的数据格式"filtered_list”。
我在看到了一个例子。但我似乎无法让它工作，甚至在做一个“不”的过滤器，请帮助。
示例：
var df = Seq("119.73.148.227", "42.61.124.218", "42.61.66.174", "118.201.94.2","118.201.149.146", "119.73.234.82", &
浏览 1提问于2019-06-12得票数 1
回答已采纳
1回答
全,
我正在尝试为spark创建UDF，它将用于生成每行唯一的ID。为了确保唯一性，我所依赖的是: ID生成器将采用“时间戳( bigint )的时代值+”作为参数传递的唯一源ID + randomNumber 5位数。
我有两个问题：
在id生成函数"idGenerator"while中如何使用UDF包含monotonically_increasing_id()，以下错误失败:
error:Type mismatch;
found : String(SRC_")
required : org.apache.spark.sql.Column
浏览 2提问于2020-11-12得票数 0
我们目前正在使用Databricks作为执行引擎，它运行spark/Scala代码。当我们使用spark 2.4.0和Scala2.11时，这是很好的。
当我们尝试在Spark2.4.4和Scala2.11的新版本上使用相同的代码时，我们得到了如下错误：
org.apache.spark.sql.execution.datasources.FilePartition.files()Lscala/collection/Seq；： java.lang.NoSuchMethodError
尝试了下面的进口和仍然相同的问题。
import org.apache.spark.sql._
import
浏览 1提问于2020-02-13得票数 0
2回答
scala和Spark工具包相对较新，但我有一个问题，试图使用向量汇编程序。
然后利用矩阵相关性
dataframe列为dtype linalg.Vector。
val assembler = new VectorAssembler()
val trainwlabels3 = assembler.transform(trainwlabels2)
trainwlabels3.dtypes(0)
res90: (String, String) = (features,org.apache.spark.ml.linalg.VectorUDT@3bfc3ba7)
然而，将它调用到统计工具的R
浏览 1提问于2017-04-26得票数 2
回答已采纳
我有一个带有tlc列的胶水表，它的数据类型是Bigint。我试图使用PySpark执行以下操作：
读取Glue表并将其写入dataframe 与另一个表，将结果数据写入S3 path
我的代码看起来是：
df = spark.sql('select tlc from monthly_table')
df.createOrReplaceTempView('sdc')
df_a = spark.sql('select tlc from monthly_table_2')
df_a.createOrReplaceTempView('abc&#
浏览 4提问于2020-03-24得票数 10
1回答
我有两个列数组
arrayColumns1: org.apache.spark.sql.Column = array("col1","col2")
arrayColumns2: org.apache.spark.sql.Column = array("col1","col2")
两者似乎都是平等的，但它们来自不同的来源。
arrayColumns1是从Array("col1","col2")到array的转换，使用以下函数：
def asLitArray =数组(xs地图点燃：_*)
arr
浏览 4提问于2017-07-12得票数 0
回答已采纳
我试图在类似于下面的星火数据框架上进行多项式曲线拟合(使用Spark版本2.4.0.7.1.5，ScalaVersion2.11.12 (OpenJDK 64位服务器VM，1.8.0_232))。
我为此编写了一个联非新议程，它可以注册，但在运行时得到一个错误。
我是斯卡拉和联非新议程的新手。你能帮我看看我的功能，看看它有什么问题吗？
谢谢,
示例df
val n = 2
val data = Seq(
(1,80.0,-0.361982467), (1,70.0,0.067847447), (1,50.0,-0.196768255),
(1,40.0,-0.135489192)
浏览 21提问于2022-04-07得票数 0
回答已采纳
2回答
我正在尝试将数据中名为UserAgent的列中的"/“字符替换为空格(”")。
列中的数据如下所示：
Mozilla/5.0 (WindowsNT6.1；WOW64；三叉戟/7.0；rv:11.0)类似壁虎
我试过用
val df_test =spark.sql(s"select UserAgent from df_header_pivot")
df_test.withColumn("UserAgent", regexp_replace("UserAgent", "[/]", ""))
但我收到了
浏览 2提问于2019-02-16得票数 0
回答已采纳
我刚刚开始在Spark/Scala中使用dataframe和column。我知道如果我想在屏幕上显示一些东西，我可以像df.show()那样做。但是我如何才能对列执行此操作。例如,
scala> val dfcol = df.apply("sgan")
dfcol: org.apache.spark.sql.Column = sgan
它可以从dataframe df中找到一个名为"sgan“的列，然后将其提供给dfcol，所以dfcol是一个列。然后，如果我这样做了
scala> abs(dfcol)
res29: org.apache.spark.sql
浏览 5提问于2016-08-21得票数 2
回答已采纳
1回答
我使用了图形框架，现在我正在使用聚合消息。顶点模式是：
|-- id: long (nullable = false)
|-- company: string (nullable = true)
|-- money: integer (nullable = false)
|-- memoryLearned: map (nullable = true)
| |-- key: string
| |-- value: integer (valueContainsNull = false)
如果我试一试：
...
def createMessage(memory: org
浏览 1提问于2018-01-31得票数 2
回答已采纳
它将类型为2020-01-27 00:00:00的timestamp格式为2020-01-27 12:00:00而不是2020-01-27 00:00:00。
import spark.sqlContext.implicits._
import java.sql.Timestamp
import org.apache.spark.sql.functions.typedLit
scala> val stamp = typedLit(new Timestamp(1580105949000L))
stamp: org.apache.spark.sql.Column = TIME
浏览 2提问于2020-01-27得票数 1
回答已采纳
我正在从Databricks加载拼花文件到Spark：
val dataset = context.session.read().parquet(parquetPath)
然后，我执行如下一些转换：
val df = dataset.withColumn(
columnName, concat_ws("",
col(data.columnName), lit(textToAppend)))
当我试图将它保存为JSON到Kafka (而不是回到地板！)：
df = df.select(
lit("da
浏览 2提问于2018-06-14得票数 4
回答已采纳
我最近开始在Scala中使用Spark，我发现自己处于这样一种情况:我想要将一些值从hashmap/map映射到dataframe，而不必构造新的dataframe，然后执行某种连接。
我有这个数据框架：
+---+-------+---+----------+---------+
| id| name|age| date|genderKey|
+---+-------+---+----------+---------+
| 1|Rodrigo| 30|2019-01-01| male|
| 2|Roberto| 23|2019-01-01| male|
|
浏览 2提问于2020-04-10得票数 0
df.groupBy("col1", "col2", "col3")工作得很好。
但当我试图做以下几件事时：
val dimensions = Seq("col1", "col2", "col3")
df.groupBy(dimensions)
我得到了一个错误：
<console>:38: error: overloaded method value groupBy with alternatives:
(col1: String,cols: String*)org.apach
浏览 2提问于2017-05-29得票数 3
回答已采纳
我有一个很大的Dataframe，里面有来自不同设备的大量信息以及它们的ID。我想要的是用第二个Dataframe中的in过滤这个Dataframe。我知道使用join命令可以很容易地完成此操作，但我想尝试使用命令filter。
此外，我之所以尝试它，是因为我读到过命令筛选器比连接更有效，有人能解释一下吗？
谢谢
我试过了：
val DfFiltered = DF1.filter(col("Id").isin(DF2.rdd.map(r => r(0)).collect())
但我得到以下错误：
Exception in thread "main" org
浏览 0提问于2019-11-12得票数 0
我试图在我的数据帧上添加一个过滤器，由于某些原因，||条件在Java中不起作用，它在Scala中工作得很好。代码甚至不能编译。在java中如何在过滤条件中使用||运算符
消息上写着
The operator || is undefined for the argument type(s) org.apache.spark.sql.Column, org.apache.spark.sql.Column
df.filter((df.col("eventNumbers").contains("2") )|| (df.col("eventNumbers"
浏览 6提问于2018-08-01得票数 0
回答已采纳
我在databricks scala笔记本中运行了下面的代码，但是我遇到了错误。
添加库: azure-cosmosdb-spark_2.4.0_2.11-1.3.4-uber代码：
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
import spark.implicits._
import org.apache.spark.sql.functions._
import org.apache.spark.sql.Column
import org.apache.spark.s
浏览 6提问于2020-01-10得票数 0
我在星火中加入了DS。我在用scala。我想在列"date“上划分DS。我使用以下语法。代码不会引发编译错误：
joined.repartition(joined.col("date")).show()
Scala重新分区函数的定义如下：
def repartition(partitionExprs : org.apache.spark.sql.Column*) : org.apache.spark.sql.Dataset[T] = { /* compiled code */ }
然而，当我在Spark中执行代码时，在运行时会出现以下错误。我做错了什么？
Exc
浏览 7提问于2021-04-06得票数 0
1回答
我有这样的数据：
val df = Seq(
("a", Seq(2.0)),
("a", Seq(1.0)),
("a", Seq(0.5)),
("b", Seq(24.0)),
("b", Seq(12.5)),
("b", Seq(6.4)),
("b", Seq(3.2)),
("c", Seq(104.0)),
("c",
浏览 2提问于2019-09-25得票数 1
我有一个样本数据如下：
val df = Seq((Seq("abc", "cde"), 19, "red, abc"), (Seq("eefg", "efa", "efb"), 192, "efg, efz efz")).toDF("names", "age", "color")
用户定义的函数如下所示，它将df中的"color“列替换为字符串长度：
def strLength(inputString: String): Lo
浏览 0提问于2018-11-06得票数 2
回答已采纳
1回答
我注意到在DataFrame上使用了一个窗口函数之后，如果我用一个函数调用map()，那么Spark会返回一个“任务不可序列化”的异常--这是我的代码：
val hc:org.apache.spark.sql.hive.HiveContext =
new org.apache.spark.sql.hive.HiveContext(sc)
import hc.implicits._
import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.functions._
def f() : Strin
浏览 6提问于2016-05-18得票数 15
回答已采纳
我使用的是星星之火-sql.2.4.1v，datastax-java-cassandra-connector_2.11-2.4.1.jar和java8。
我创建cassandra表如下所示：
create company(company_id int PRIMARY_KEY, company_name text);
JavaBean如下所示：
class CompanyRecord(
Integer company_id;
String company_name;
//getter and setters
//default & parametarized constructors
浏览 2提问于2019-10-28得票数 1
1回答
在Spark2.2中通过spark.kryo.registrationRequired", "true"强制kryo注册时，我的错误是
Class is not registered: org.apache.spark.sql.catalyst.InternalRow[]
即使在使用时：
.registerKryoClasses(
Array(classOf[scala.collection.mutable.WrappedArray.ofRef[_]],
classOf[org.apache.spark.sql.cat
浏览 1提问于2018-05-25得票数 1
回答已采纳
我加载了datingDF，它看起来像；
+---+--------+------+---+---------+
|Uid|Zip_Code|Height|Age|Meet_Date|
+---+--------+------+---+---------+
| 1| 90117| 171| 22|881250949|
| 2| 90340| 168| 24|891717742|
| 3| 92552| 170| 38|878887116|
| 4| 90455| 175| 41|880606923|
| 5| 91045| 165| 25|886
浏览 18提问于2020-02-22得票数 0
为什么使用KafkaUtils.createStream的下面一行
val reciver = KafkaUtils.createStream[String, String , StringDecoder, StringDecoder](ssc, kafkaParams, topics).map(_._2)
把error: overloaded method value createStream with alternatives:给我
error: overloaded method value createStream with alternatives:
(jssc: org.apach
浏览 2提问于2017-04-17得票数 1
1回答
我希望将火花作业中的RDD持久化，以便所有后续作业都可以使用Server。以下是我尝试过的：
工作1：
package spark.jobserver
import com.typesafe.config.{Config, ConfigFactory}
import org.apache.spark._
import org.apache.spark.SparkContext._
import scala.util.Try
object FirstJob extends SparkJob with NamedRddSupport {
def main(args: Array[Strin
浏览 2提问于2016-02-26得票数 1
回答已采纳
我正在尝试用Scala编写一个处理空值的用户定义函数(UDF)。对于我的示例，如果值不为null，我将尝试返回列的纪元。我发现Option[]用于从自定义函数返回空值。 下面是我的UDF： def to_epoch(date: Timestamp) : Option[Long] = {
if(date != null) {
Option.apply(date.getTime)
} else {
Option.empty
}
}
val toEpoch: (Timestamp => Option[Long]) => User
浏览 15提问于2020-09-07得票数 1
--我知道类似的问题已经得到了简短的回答，但由于缺乏最低限度的reputation...hence，我无法在此补充我个人的怀疑--我在这里问它--
我想使用Apache + Kafka来处理Twitter数据。我为此创造了一个模式。但是当我运行它时，我会得到以下错误。我搜索了很多关于这个错误的地方，但是我无法得到我想要的解决方案，或者它没有工作。上一次我用较小的内存空间运行Spark时，我认为内存不足，但我仍然会遇到同样的错误。这是我收到错误的代码：
from kafka import KafkaConsumer
from pyspark.streaming import StreamingC
浏览 2提问于2019-12-29得票数 2
回答已采纳
我是Scala的新手，我基本上想在一个数据集上执行一些聚合。是否有可能将它们聚在一起，或者我是否应该将它们分开(和、最小、最大)？
这就是我迄今为止尝试过的：
display(
myDF
.groupBy($"age","sex","cp","trestbps","chol")
.sum()
)
它给了我以下错误信息：
错误:重载方法值groupBy，其中包含其他选项：
( String*)org.apache.spark.sql.RelationalGroupedDataset :col1:
浏览 0提问于2019-05-21得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
