G|| 2| 1| X|+------+---+------+
我需要根据TotalN和按顺序递增的ID (N)将字符串连接在一起，从而聚合字符串。问题是，对于我可以分组的每个聚合，不存在唯一的ID。因此，我需要做一些类似于“对于每一行查看TotalN，遍历接下来的N行并连接，然后重置”的操作。使用Spark
浏览 1提问于2018-08-10得票数 0
回答已采纳
1回答
我尝试从HDFS中的文件中聚合数据。我需要添加一些细节，从这些数据的价值在hbase中的一个特定表。:158) at org.apache.spark.rdd.RDD.map(RDD.scala:286)
at org.apache.spar
浏览 11提问于2017-02-02得票数 2
回答已采纳
对于示例数据帧scholor，对于上面的，都是下面的，给出相同的输出。那么agg()有什么用呢？scala> scholor.groupBy("age").sum("base").show /*with out agg */
scala> scholor.groupBy("age").
浏览 1提问于2017-04-08得票数 4
回答已采纳
1回答
带字典的PySpark约简键
、、、、
为什么Spark强制从元组列表中构建RDD，以便在进行还原键转换的情况下？$$anon$1.read(PythonRDD.scala:166) at org.apache.spark.api.python.Pyth
浏览 0提问于2018-01-18得票数 1
请注意，上述数据帧不一定按时间戳的升序排列。此外，可能会有来自不同用户的一些行。为了简单起见，我仅以单调递增的时间戳顺序显示了单个用户的数据帧。我的目标是-找出用户'a‘在每个区域花费了多少时间，按什么顺序？4 9 13a 3 15 17根据我的发现，Spark SQL窗口函数可以用于此目的。我看到聚
浏览 1提问于2016-02-10得票数 1
$$anon$1.read(PythonRDD.scala:166) at org.apache.spark.api.python.PythonRunner.compute(PythonRDD.scala:125)
at org.ap
浏览 5提问于2016-02-19得票数 2
回答已采纳
函数，在这里我试图创建一个包含多个键和值的元组。2],x[3],x[4],x[5],x[6],x[7],x[8],x[9],x[10],x[11],x[12],x[13],x[14])))at org.apache.spark.api.python.PythonRDD$$anon$1.
浏览 1提问于2015-08-27得票数 1
Cars|15|Paris|3|Type|New|5", "Cars|20|London|10|Type|New|2", "Cars|40|London|40|Type|New|1") 我想计算一下每个城市的平均汽车数量println("average value" + average) 我得到了以下结果： aggregate value (11,4)
average value 2.75 这将计算汽车的平均数量感谢您的回答。
浏览 23提问于2020-10-08得票数 0
回答已采纳
我只想使用spark-cassandra-connector从一个键空间playerinfo访问一个表player。import org.apache.commons.lang3.StringUtils;import org.apache.spark.a
浏览 1提问于2014-11-25得票数 2
1回答
我试图在JavaPairRDD上迭代并使用JavaPairRDD的键和值执行一些计算。然后将每个JavaPair的结果输出到processedData列表中。(SparkContext.scala:1623)at org.apache.spark.api.java.JavaRDDLike$class.foreach
浏览 0提问于2018-03-15得票数 2
回答已采纳
1回答
我有一个DataFrame (转换为RDD)，并希望重新分区，以便每个键(第一列)都有自己的分区。$$anon$1.read(PythonRDD.scala:166) at org.apache.spark.api.
浏览 0提问于2015-11-21得票数 5
1回答
我有一个看起来正确的数据集。我可以看到所有行的顺序正确，如下所示： df1.orderBy($"count".desc)
df1.show() 但是当我尝试像这样添加一个限制时： df1.orderBy($"count".desc[https://spark.apache.org/docs/latest/api/scala/org/apache
浏览 10提问于2020-10-09得票数 0
回答已采纳
我有一个Scala -火花程序如下所示import org.apache.spark.sql.SparkSession
object Main extends App {val sparkConf: SparkC
浏览 3提问于2019-10-28得票数 2
回答已采纳
我正在使用Spark1.3对大量数据进行聚合。这项工作由四个步骤组成：
at o
浏览 0提问于2015-09-09得票数 16
回答已采纳
(InterruptibleIterator.scala:28)> org.apache.spark.api.python.PythonRDD$$anonfun$3.apply(PythonRDD.scala:182)> org.apache.spark.api.python.PythonRDD$$anonfun$3.apply(PythonRDD.scala:182)
>
浏览 0提问于2018-10-29得票数 0
我正在尝试让Cassandra2.2.3(运行在本地主机上)与Spark1.5.1和最后一个版本的火花卡桑德拉连接器(1.5.0-M2)一起工作。import com.datastax.spark.connector._
import org.apache.spark.$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubm
浏览 1提问于2015-11-15得票数 0
回答已采纳
1回答
过滤并不真的删除行？
、、、、
我的数据经过两个连续的过滤传递，每个都使用一个布尔值的UDF。第一个筛选移除列在某些广播字典中未作为键出现的所有行。第二个筛选对此字典与当前键相关联的值施加阈值。| a| +----+
at org.apache.spark.api</e
浏览 0提问于2018-01-27得票数 2
回答已采纳
最近，我们开始面对spark 2.4.4与Hive1.2.1版本的问题。当我们试图从按字符串类型进行分区的表中读取数据时 at org.apache.spark.sql.execution.Sp
浏览 3提问于2021-07-13得票数 0
回答已采纳
1回答
我想像下面的代码一样使用Spark的org.apache.spark.mllib.tree.DecisionTree，但是编译失败。import org.apache.spark.ml.Pipeline
import org.apache.spark.ml.classification.DecisionTreeClassifiertrainingData, numClasses, categoricalFeaturesInfo,impurity, ma
浏览 4提问于2017-05-22得票数 0
2回答
$$anonfun$4.apply(SparkHadoopWriter.scala:127) ~[spark-core_2.11-2.3.3.jar:2.3.3]
at org.apache.spark.util.Utils$.org$apache$spark$internal$io$SparkHadoopWriter$$executeTask(SparkHadoopWriter.scala:139) [spark-core(ResultTas
浏览 4提问于2020-01-31得票数 5
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号