我刚刚开始使用Spark的MLib，并尝试运行提供的示例，更具体地说是Error:(41, 35) No TypeTag availablefor (org.apache.spark.ml.linalg.Vector,)项目设置
浏览 6提问于2017-02-12得票数 0
回答已采纳
1回答
这也许是个愚蠢的问题，但我已经挣扎了一段时间了。它确实类似于，但我无法在代码中应用它(双模式或函数)。我希望将一个flatMap (或映射)转换函数传递给一个函数参数，然后将其代理到一个实际调用df.rdd.flatMap方法的策略函数中。我会尽力解释的！我在SparkEntityStrategy上得到了一个错误：
错误：(95，35) T val = this.getData.rdd.map(f = mapFunction)没有可用</em
浏览 1提问于2019-02-22得票数 3
我是Scala/Spark的新手，希望你们能帮助我。我想在一个hdfs的目录中获取在某个时间戳之后创建的文件，以便在Zeppelin中进行一点监控。中创建一个DataFrame，每个文件都有一行信息(或者至少上面提到的信息)。val data = sc.parallelize(input_files)
val dfFromData2 = spark.createDataFrame(data).toDF()
浏览 18提问于2020-12-10得票数 1
回答已采纳
Metadata.empty())StructType structType = new StructType(structFields);
}
在上面给定的代码中，allWords表示从文件到其单词计数(Row: (string, integer))的映射。现在，我希望将所有文件的结果聚合到一个DataFrame中，同时保留单词中提到的原始文
浏览 3提问于2018-10-27得票数 0
回答已采纳
我正在Scala工作表中使用Intellij。我想为scala案例类创建一个编码器。从网上的各种帖子中，我发现了使用Encoders.product的建议。但这对我没用。Encoders.product[classa] | No TypeTag("io.github.vincenzobaz" %% "sp
浏览 22提问于2022-09-24得票数 0
回答已采纳
我有Maven依赖项spark-sql_2.1.0和spark-hive_2.1.0。然而，当我尝试import org.apache.spark.sql.DataFrame时，出现了一个错误。但是导入org.apache.spark.sql.SQLContext是可以的，没有错误。为什么？
浏览 20提问于2017-07-19得票数 4
回答已采纳
我需要从经过训练的转换器中提取属性，以便我可以在以后使用它们，例如来自QuantileDiscretizer的bin边界，来自StringIndexer的名称到索引映射。例如，如何在下面的代码中从"discretizer_trained“中提取bin边界。我不能通过谷歌搜索以及从官方文档https://spark.apache.org/docs/latest/api/scal
浏览 16提问于2019-07-03得票数 0
回答已采纳
我有一些spark模型文件，我想加载它们。一种方法是编写以下代码。我只得到了像org.apache.spark.ml.classification.LogisticRegressionModel这样的类名，所以我需要从类名中反射伴生对象，但是我该怎么做呢？From this post，我发现有一种可能坏掉的方法。但是当我尝试时，我发现classMirror中没有companion字段。
浏览 8提问于2020-06-23得票数 1
回答已采纳
9回答
我想用Scala中指定的模式在DataFrame上创建。我尝试过使用JSON read (我的意思是读取空文件)，但我不认为这是最佳实践。
浏览 3提问于2015-07-17得票数 106
我对手动创建TypeTag很感兴趣(从2.10M5开始)： import reflect.runtime.universe._ private[this] val t: reflect.runtime.universe.<
浏览 0提问于2012-07-16得票数 12
回答已采纳
我用的是火花2.1.1。我从以下几个方面开始：val mySchema = StructType(val myDS = Seq((1,"000010", 1.0), (2, "000020", 2.0)).as[mySchema]
在这里，我看到了mySchema不是一个类型，在查看Encoders.scala</em
浏览 4提问于2017-10-24得票数 1
回答已采纳
我正在处理增量合并逻辑，并希望在最近的dataframe读取时删除增量表中的一行。我的示例DF如下所示[在下一次读取时，我删除了显示('python'，'10000')的行，现
浏览 2提问于2021-04-05得票数 2
3回答
我正在尝试使用pyspark对预测模型的数据进行预处理。当我从我的preprocessing.Is中尝试spark.createDataFrame时，我得到了一个错误，有没有办法在把它变成数据帧之前检查processedRDD的样子？:452)at org
浏览 26提问于2019-10-24得票数 0
我是Scala/Spark栈的新手，我想知道如何使用SparkSql在TempTables中“映射”RDDs，反之亦然。在简单对象中，由于连接到我的案例类日志的"No TypeTag available“，我得到了一个错误： def main(args: Array[String])“没有可用于日志的<em
浏览 1提问于2015-03-19得票数 22
回答已采纳
我正在尝试Scalas的新宏，并在中找到了这个。从表面上看，我不太明白。给定以下特征( fieldsMacro与akshaal示例中的大致相同) exprs.foldLeft(nameExpr.sp
浏览 0提问于2012-08-23得票数 9
回答已采纳
在maven构建过程中，我在下面提到的方法中的一个Java类中遇到了这个错误。“无法访问scala.reflect.api.TypeTags not 的scala.reflect.api.TypeTags类文件”
private Dataset<Row> getEmptyDataFramecolumnName) {
StructType st
浏览 0提问于2019-04-12得票数 2
我试图在ApacheSpark2.4.0中使用 (macOS 10.14.3 ( macOS Mojave) )。print(multiply_func(x, x))
df = spark.createDataF
浏览 0提问于2019-03-27得票数 5
回答已采纳
1回答
我正在处理一个场景，其中我需要编写一个区分大小写的连接条件。为此，我发现有一个可以修改的spark配置属性spark.sql.caseSensitive。在这两种情况下，我都没有从下面的示例PySpark代码中获得language=java的结果。有没有人能帮我解决这个问题呢？", "20000"), ("Python", "100000"), ("<em
浏览 1提问于2021-09-15得票数 3
1回答
所以我在.jar中有一堆编译过的case类。我希望加载并迭代所有这些类，并使用为每个case类生成一个Avro schema。scalavro AvroType需要一个TypeTag，所以基本上我的问题是如何在jar中适当地从外部case类反映TypeTags。tpe.asInstanceOf[U#Type] })}case class SimpleScalaA
浏览 0提问于2016-01-23得票数 2
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号