我有一段在scala中运行良好的代码： StructField("field1", StringType, true),// some options .load(myEndpoint)final StructType schema = new StructType(new StructField[] {
new
浏览 3提问于2018-08-01得票数 8
回答已采纳
我知道Dataset (类型安全等)的优点，但我找不到任何与火花数据集限制相关的文档。
是否有任何特定的场景，其中火花Dataset是不推荐的和更好地使用DataFrame。目前，我们所有的数据工程流程都在使用Spark DataFrame。对于我们所有的新流程，我们都想利用Dataset。因此，了解Dataset的所有局限性/缺点将对我们有所帮助。编辑：--这与不一样，它解释了在Dataset上的
浏览 4提问于2019-03-20得票数 17
如何创建具有给定精度的BigDecimal的spark数据集？请参见spark shell中的以下示例。您将看到，我可以创建具有所需BigDecimal精度的DataFrame，但无法将其转换为Dataset。类创建数据集。BigDecimal("123456789011223344556677889
浏览 73提问于2019-11-14得票数 2
回答已采纳
在Row Java API中有一个row.schema()，但是没有row.set(StructType模式)。我也尝试过RowFactorie.create(objets)，但我不知道如何继续问题是，当我在workers中修改结构时，如何生成新的数据帧
DataFrame sentenceData =
浏览 2提问于2015-11-26得票数 14
1回答
使用Spark生成无模式avro
、、、、
有没有一种方法可以从Apache spark生成无模式avro？我可以通过Java/Scala使用apache avro库和confluent avro生成它。当我以下面的方式从Spark编写Avro时，它会创建带有模式的Avro。我想在没有模式的情况下创建，以减少最终数据集的大小。
浏览 11提问于2020-04-21得票数 0
3回答
，并且我得到了许多异常之一，例如：当某些文件中的数组类型具有值中有原始数据，我最初的计划是创建一个自动作业，它启动一个EMR集群，读入前一个日期的JSON数据，然后简单地将其作为parquet写回S3。JSON数据也被划分为日期，即键具有日期前缀。读取JSON工作得
浏览 0提问于2016-12-02得票数 24
回答已采纳
假设我有一个数据集： Dataset<Row> sqlDF = this.spark.sql("SELECT first_name, last_name, age from persons"; 这将返回一个包含三列的我想要应用一个函数，该函数向age列添加5，并返回一个新数据集，该数据集与原始数据集具有相同的列，但年龄值发生了变化：
浏览 18提问于2019-09-22得票数 0
回答已采纳
2回答
因此，我在Spark(scala)中有两个列表。它们都包含相同数量的值。第一个列表a包含所有字符串，第二个列表b包含所有长字符串。String] = List("a", "b", "c", "d")
b: List[Long] = List(17625182, 17625182, 1059731078, 100) 我还有一个定义如下的模式StructField("check_name", StringType, true),
浏览 11提问于2021-03-15得票数 0
回答已采纳
/partfile")partFile: org.apache.spark.sql.Dataset[String] = [value: string]val pfile = spark.read.json("hdfs://quickstart:8020/user/cloudera/pjson")
结果是一个具有现成模式<e
浏览 6提问于2017-07-07得票数 0
回答已采纳
我正在将一个社交网络的json文件读入spark。我从这些数据中得到一个数据帧，我将其分解以获得对。这个过程运行得很完美。稍后，我想将其转换为RDD (用于GraphX)，但RDD的创建需要很长时间。val social_network = spark.read.json(my/path) // 200MBval
浏览 1提问于2017-03-20得票数 3
当我尝试连接来自数据库和csv文件的两个数据集时，我遇到了一个错误，错误消息如下： org.apache.spark.SparkException: Job aborted due to stage: Error while encoding: java.lang.ArrayIndexOutOfBoundsException: 1
staticinvoke(class org.apache.spark.unsafe.types.UTF8String当spark<
浏览 23提问于2019-10-11得票数 2
因此，我从java Spark API创建了一些数据集。这些数据集是使用spark.sql()方法从hive表填充的。
因此，在执行了一些sql操作(比如joins)之后，我就有了一个最终的数据集。我想要做的是向最终数据集中添加一个新列，该数据集中的所有行的值都为"
浏览 1提问于2017-07-07得票数 8
回答已采纳
我想以拼花的形式写输出文件。为此，我将RDD转换为dataset，因为从RDD，我们不能直接获得拼花表单。而对于创建数据集，我们需要使用隐式编码器，否则，它就会产生编译时错误。我只在这方面有几个问题。以下是我的代码： val ds: Dataset：
为什么在创建数据集时使用编码
浏览 3提问于2018-12-27得票数 4
回答已采纳
我正在尝试通过java中的spark读取hive表，通过创建spark数据集。对于所有具有字符串标题的列，都可以正确读取数据，但是对于整数标题，spark会获取与标题相同的列数据。该表是在拼图文件上创建的外部表。spark数据集时，数据集<
浏览 19提问于2019-11-15得票数 0
当尝试创建基于两个列的分区时，Dataframe在调用creates ()方法时会创建50个分区。创建的分区数目相同，而不调用repartitions()方法。创建的分区数目相同，而不调用repartitions()方法。(0), t.get_joinkey()(1))).repartition(col("IMT_ID"), col("BRAND_SUB_SUBGROUP_ID"))
当调用重新分区方法时，它应该基于列创建
浏览 0提问于2019-08-21得票数 0
回答已采纳
3回答
我正在从一个hive表为下面的数据集构建一个架构。在处理之后，我必须将数据写入S3。 ]return schema
这个模式
浏览 0提问于2017-05-09得票数 0
1回答
我是新的spark Java API。我的数据集包含两列(account、Lib)。我想显示具有不同lib的帐户。实际上，我的数据集是这样的。
浏览 2提问于2018-06-01得票数 0
我正在构建一个可以成功加载的数据文件但是df.show给了我一个NullPointerException：at org.apache.spark.sql.catalyst.expressions.codegen.UnsafeRowWriter.write(UnsafeRowWriter.java<
浏览 2提问于2017-08-29得票数 10
我知道spark是为大型数据集设计的，这对它来说很棒。但在某些情况下，我不需要这种可伸缩性，例如，用于单元测试或小型数据集上的数据探索。在这些情况下，spark在纯scala/python/matlab/R等纯实现中的性能相对较差。 请注意，我不想完全放弃spark，我希望保留适用于更大工作负载的框架，而无需重新实现所有内容。如何在较小的</e
浏览 15提问于2019-12-12得票数 3
我正在尝试使用java spark将数据集保存到cassandra db。我能够使用以下代码成功地将数据读入数据集.option("keyspace","dbname")
.option("table&qu
浏览 2提问于2020-05-08得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
