我在java中有一个Map列表，本质上表示行。我尝试使用以下命令将其转换为JavaRDD<Map<String, Object>>我还尝试将列表转换为JSON字符串，并读取JSON字符串。String jsonStr = mapper.writeValueA
浏览 46提问于2019-08-06得票数 3
我必须对spark数据集应用一些限制，并且必须创建spark数据集的子集，并且需要从该数据集中提取一行。我通过使用dataset的除了函数和限制函数实现了这个逻辑。这里的问题是，当我使用时，数据集的顺序已被更改。就我的逻辑而言，维持秩序是很重要的。例如：我的数据集是:有3行<
浏览 1提问于2018-04-03得票数 0
我试着用spark将数据从Oracle数据库读取到dataset中，然后将数据集转换为javaRDD进行地图操作，我的代码只能存储数据集火花官方文档显示：
我们的数据是从Oracle中读取的，如何定义，如何存储，以<em
浏览 10提问于2017-01-09得票数 3
在Java中，我有一个带有java.util.ArrayList<Short>类型列的Spark (Spark结构化流)，我希望将数据集写入一个具有相应list<smallint>的Cassandra表中每次我用Cassandra写行时，它都会更新一个现有的行，并且我希望自定义list的写行为，以便控制
书面列表将覆盖现有
浏览 5提问于2019-09-26得票数 0
2回答
然后，此类CSV被转换为Parquet文件，以便允许使用Spark进行非常高性能的查询。然而，我担心的是失去强大的一致性利益。假设Oracle中的两个表类似：到目前为止，我定期导出这两个表，然后将其转换为Parquet文件(每个Oracle表都有自己的Parquet文件集)，以便为<
浏览 0提问于2020-02-02得票数 2
回答已采纳
我使用以下方法将数据从Pyspark插入到Cassandra：在我插入的变量中，还有时间如果我试图发送：'16:51:35.634652‘而我收到了以下错误：
com.datastax.spark.connector.types.TypeConversionException:不能将类型为java.lang.String的
浏览 3提问于2020-06-11得票数 1
回答已采纳
spark中的Dataset有一个名称为no_of_items的列。在相应的Java Model (Product)中，我有一个列名为noOfItems。现在，当我使用以下代码将数据集转换为数据集时它抛出以下异常
Exception in thread "main" o
浏览 27提问于2019-08-21得票数 2
我想要处理来自org.apache.spark.sql.Dataset对象的数据，该对象是我用Apache从spark.sql(“query ")检索到的。但我无法将PTransform直接应用于此数据集。现在，我使用的解决方案是将数据集转储到txt文件，然后使用beam进行处理。有没有什么方法可以让我直接把Dataset / JavaRDD用
浏览 17提问于2019-02-12得票数 1
回答已采纳
1回答
我有一个交易的数据集，其中每个交易代表对单个商品的购买。因此，如果订单包含3个项目，则每个订单记录为3个交易记录。在Spark中，有没有一种方法可以按用户对订单进行分组，并以一对>结尾，其中用户是用户id，数据集包含订单？目前我看到的唯一解决方案是将数据集转换为rdd并执行groupbykey来获取rddpair>，然后编写一些代码来对行列表<
浏览 0提问于2016-10-10得票数 1
我试图使用Spark来统计维基百科XML转储中锚文本的频率。输入/输出：
anchor_texts.map().reduceByKey:1699)
at org.apache.spark.util.logging.FileAppender$$anon$1.run(FileApp
浏览 2提问于2015-12-15得票数 2
1回答
我正在尝试将string[][]转换为由string[]组成的Dataset<Row>列。我已经在网上查阅了文档和可用的例子，但是找不到类似的东西。我不知道这是否可能，因为我是一个完全的初学者在火花。--------+|[test2,test3]|+-------------+ String[][] test =
浏览 3提问于2020-10-12得票数 0
1回答
我编写了扩展Baseabstract class的two case class。我有每个类的两个列表(listA和listB)。当我想合并这两个列表时，我无法将最终列表转换为ApacheSpark1.6.1数据集。++ listB
Apache Spark</e
浏览 1提问于2016-05-29得票数 5
回答已采纳
我是spark的新手，我有一些简单的问题。我想使用prefixspan的方法，但它只支持数据集和数据帧。因此，我将list转换为rdd，然后将其转换为dataframe。为什么列表不能直接转换为dataframe？Row([[1, 2], [3]]), Row([[1], [3, 2], [2]]), Row([[1, 2], [5]]), Row([[6]])]
columns
浏览 71提问于2021-09-28得票数 0
1回答
我有一个带有pandas.tslib.Timestamp类型时间戳列的熊猫数据。我看了一下“createDataFrame”()中的pyspark源代码，它们似乎将数据转换为numpy记录数组，并将其转换为列表：我应该做些什么(在
浏览 2提问于2017-07-25得票数 5
1回答
Java和Spark新手在这里寻找一些帮助： 有没有一种方法可以创建一个数据集，其中包含从1到n递增的值的单个列？Dataset<Row> ds = ss.createDataSet("column-name", 1, 1000); 上面有点粗糙，因为没有createDataSet这样的方法，但我正在寻找可以懒惰地创建ds内容的东西。
浏览 12提问于2020-10-14得票数 1
1回答
我想在csv中的数据集上执行决策树回归。我需要使用RDD来做这件事。我尝试了以下方法将dataframe转换为RDD：pp_df = pp_df.rdd.map(lambda x: LabeledPoint(x[
浏览 1提问于2018-11-15得票数 0
1回答
我只是想学习PySpark，但对下面两个RDDs之间的区别感到困惑，我知道一个是类型集，一个是列表，但都是RDDs。a', 1), ('b', 1), ('a', 3)])和type(rdd)
处理地图和缩减功能的代码map /还原函数，但是当我试图执行映射或减少时，我会
浏览 1提问于2020-11-12得票数 0
回答已采纳
我有一个包含类型字段UUID的case类。我使用anorm解析Postgres表，并希望将列表转换为Dataset。创建数据集时，出现以下错误No Encoder found for java.util.UUID def encoder[T: Encoder] = implicitly[Encoder[T]]
val result = SQL(s"SELECT * FROM $t
浏览 30提问于2021-02-04得票数 0
回答已采纳
1回答
我正在尝试将spark数据集转换为JSON。我尝试了.toJSON()方法，但没有多大帮助。我有一个数据集，如下所示+--------------------+-----+|Flowthrough|12083|我正在尝试将其转换为JSON，如下所示：
"overal
浏览 0提问于2018-07-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
