Apache Spark RDD值查找

文章/答案/技术大牛

发布

4回答

apache-spark

我从Hbase加载了数据，并对这些数据进行了一些操作，然后创建了一个成对的RDD。我想在我的下一个函数中使用这个RDD的数据。我在RDD中有50万条记录。你能建议从成对的RDD中按键读取数据的性能有效的方法吗？

浏览 45提问于2016-08-01得票数 0

4回答

在Spark/Scala中将RDD转换为Dataframe

scala、hadoop、apache-spark

RDD是以Array[Array[String]]格式创建的，具有以下值：Array("4580056797", "0"(p => Array(p(0), p(1), p(2),p(3),p(4),p(5).trim)) rowRDD: org.apache.spark.rdd.RDD[Array[String]] =rdd:

浏览 8提问于2015-10-14得票数 6

回答已采纳

1回答

火花矢量RDD的创建不需要采集驱动程序

apache-spark、datastax-enterprise、apache-spark-mllib

我有一个RDD(用户、项、计数/评级)，我想将它转换为一个RDDVector(ItemRatings)，其中每个向量都是项目在用户空间中的评级。有没有办法做到这一点，而不收集司机第一？我现在使用的是DataStax4.7，Spark1.2.1。谢谢!

浏览 1提问于2015-08-26得票数 0

回答已采纳

1回答

错误:值saveAsTextFile不是scala.collection.Map[String，Long]的成员

scala、hadoop、apache-spark、spark-dataframe

我尝试了所有可能的方法，导入所有可能的库，并查找与saveAstextFile或saveAsSequenceFile相关的所有问题的答案，甚至都没有帮助。因此，启动一个新线程。我得到了一个错误“错误:值saveAsTextFile不是scala.collection.Map[String,Long] countResult.saveAsTextFile("tmp/testfile").的成员，而试图将一个rdd保存到HDFS。1.scala> import org.apache

浏览 4提问于2017-10-11得票数 0

回答已采纳

1回答

Apache

scala、apache-spark-sql

) at org.apache.spark.rdd.RDD.iteratororg.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:263) at org.apache<

浏览 4提问于2015-10-16得票数 0

1回答

连接大量数据帧导致堆栈溢出错误

scala、apache-spark

dfs.reduce((df1, df2) => df1.join(df2, Seq(column), "full_outer")) at o

浏览 16提问于2019-09-16得票数 0

回答已采纳

1回答

java.lang.RuntimeException: org.apache.spark.SparkException:任务在solr.DefaultSource.createRelation不可序列化

apache-spark

我想用map-L2L3Map的值替换column-PRIMARY_CATEGORY中的值。(ClosureCleaner.scala:108) at org.apache.spark.rdd.RDD$$anonfun$mapPartitionsWithIndex$1.apply(RDD.scala:841

浏览 2提问于2018-12-21得票数 0

1回答

用空值填充的GraphX顶点

scala、apache-spark、spark-graphx

scala> verticesRDDres77: org.apache.spark.rdd.RDD[org.apache.spark.graphx.Edge[

浏览 2提问于2018-04-19得票数 1

回答已采纳

1回答

java.lang.NumberFormatException:输入字符串："inf“，读取Spark的雪花

apache-spark、snowflake-cloud-data-platform

其中一个值是inf和-inf。:882) at org.apache.spark.rdd.RDD.iteratororg.apache.spark.rdd.RDD.computeOrReadCheckpoint(

浏览 18提问于2020-02-12得票数 1

回答已采纳

1回答

火花pairRDD不工作

scala、apache-spark

值subtractByKey不是subtractByKeyLabeledPoint的成员 org.apache.spark.rdd.RDD(String，LabeledPoint)是对值RDD，我已经导入了import org.apache.spark.rdd._。

浏览 4提问于2015-06-09得票数 0

1回答

同一类型(字符串)的Apache火花类型不匹配

scala、types、apache-spark、mismatch

type mismatch; required: or

浏览 3提问于2015-03-31得票数 2

1回答

CDP星系团模式读取蜂窝表，只能通过kerberos或web身份验证发出委托令牌。

apache-spark、cloudera-cdp

/spark-submit --class com.abc.bdms.sparksql.SparkSQLDriver --master yarn --deploy-mode cluster --executor-memory--num-executors 4 --keytab /home/bdms/flow.keytab --principal aa_qa/dev@HADOOP.COM /home/easyops/spark-sql-demoSNAPSHOT.jar &quo

浏览 1提问于2022-10-24得票数 0

1回答

火花leftOuterJoin问题- leftOuterJoin不是org.apache.spark.rdd.RDD的成员[(字符串，字符串)]

scala、apache-spark

我一开始就这样遇到了奇怪的问题，import org.apache.spark.SparkContext._

浏览 1提问于2015-09-07得票数 0

1回答

(PySpark)创建一个新的数组列，其中包含列表列和静态列表的二进制比较结果

python、apache-spark、pyspark

值的数组，其中1表示list2的值是否存在于list1中。$anonfun$mapPartitions$2(RDD.scala:863) at org.apache.spark</e

浏览 9提问于2022-10-09得票数 1

回答已采纳

2回答

Scala :从csv读取具有空值的列的数据

scala、apache-spark、apache-spark-sql

$anonfun$getByteArrayRdd$1(SparkPlan.scala:340)at org.apache.spark.rdd.RDD.$anonfun$mapPartitionsInternal$2$adapted(RDD.scala:872) at

浏览 1提问于2021-03-25得票数 0

1回答

星火作业失败，但有org.apache.spark.shuffle.FetchFailedException异常

scala、apache-spark、parquet

at org.apache.spark.rdd.RDD.iterator(RDD.scala:337) at org.apache.

浏览 19提问于2022-05-11得票数 0

1回答

查看PySpark脚本的胶合作业输出的最佳方法

python、amazon-web-services、pyspark、aws-glue

org.apache.spark.rdd.NewHadoopRDD.compute(NewHadoopRDD.scala:70)at org.apache.spark.rdd.RDD.iterator(RDD.scala:288)

浏览 22提问于2020-09-23得票数 0

回答已采纳

2回答

数据库Azure广播变量不可串行化

scala、apache-spark、databricks

正如您所看到的，这指向了RDD映射值不可序列化的问题。我看不出这个问题，我认为int值应该是可序列化的。:159) at org.apache.spark.rdd.RDD$$anonfun$map$1.apply(RDD.scala:379) at org.a

浏览 0提问于2018-04-26得票数 1

回答已采纳

4回答

spark UDF结果可以做'show'，但不能做'filter‘

python、apache-spark、pyspark、apache-spark-sql

org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319) at

浏览 0提问于2018-11-21得票数 1

1回答

pyspark，在大型RDD中寻找最大值？

apache-spark、pyspark

我有一个格式为((x，y)，( sim，sim'))的Spark RDD，其中x和y是两个索引，sim和sim‘是x和y的两个不同的相似性度量。我有兴趣寻找具有最大sim’值的元组。方法1在每个分区中查找具有最大sim‘值的配对，然后在返回的配对列表中选择具有最大sim’的配对。(BlockManager.scala:661) at org.apache.spark.rdd.RDD.getOrCompute(RDD<

浏览 0提问于2016-10-14得票数 2

点击加载更多