如您所见，"3L,5L,7L,2L“是一个Long数据类型。
如何使用其他scala数据类型。例如字符串。
浏览 7提问于2017-01-17得票数 0
我正在使用Spark的GraphX图形分析库查看。我注意到这个实现使用了一个带有几个可变成员(var成员)的。我的问题不是关于这种实践在这个特定实现的上下文中的正确性，而是关于一般的。如果只是在顶点集上使用某些函数(如map )，可能会有问题，但如果使用的是同时涉及多个顶点的其他函数(如mapReduceTriplets )，则可能会有问题。
浏览 0提问于2017-04-05得票数 0
我试图创建一个GraphX有向加权图，它有来自V1和V2的顶点，以及它们之间的边及其相应的权重。我可以通过以下操作创建边和顶点df：val vertexDF
浏览 4提问于2016-05-05得票数 3
回答已采纳
因此，我使用Pig XMLloader将两个表示顶点和边缘数据的XML文件加载到Hadoop/HDFS中，并从中创建了Hive表。我想使用这个顶点和边缘数据来创建一个基于星火GraphX的图形数据库。我从星火GraphX文档中了解到，除了平面文件来源，HBASE表还可以用来获取火花GraphX。我找不到任何关于使用其他结构化大数据源(如Hive )的星火GraphX文档。
浏览 3提问于2015-01-16得票数 1
回答已采纳
我是Spark和GraphX的新手。到目前为止，我一直在使用Titan DB (HBase存储)和Giraph进行处理。我需要一个有大约30亿个顶点和大约50亿条边的图。存储图形的最好方法是什么(通过添加顶点和边来从头开始创建图形，同时我也想放弃用于图形创建的titan API )。我找不到任何关于这方面的直接文档。您能建议我使用GraphX和商用硬件创建/存储图形和流程的最佳方式是什么吗？
谢谢。
浏览 1提问于2015-02-05得票数 3
3回答
我试图通过复制GraphX来学习Windows10上的火花。代码是使用较早版本的Spark开发的，我无法找到创建顶点的解决方案。以下是代码import org.apache.spark._importorg.apache.spark.rdd.RDD
val path = "F:/Soft/<em
浏览 0提问于2017-03-27得票数 1
回答已采纳
我是Scala的新手，我正在尝试从文本文件中读取无向图为图(GraphX)。我正试着把它读成一个图形(GraphX)Vector((2,5), (2,6), (2,7), (2,3), (2,1))
由于图的类型为Unit，所以不能与fromEdge方法(GraphX)一起使用。
浏览 0提问于2019-04-22得票数 1
回答已采纳
1回答
我是Spark Graphx的新手，对边有数据帧，如下所示： Dataframe : edges_main------------------------------------------------------------------------- 和顶点为中的其他属性，这样我就可以用map访问它们。：http://www.sunlab.org/tea
浏览 22提问于2020-09-04得票数 1
回答已采纳
我正在尝试使用连接组件，但在伸缩方面遇到了问题。/ get connected components其中，GraphUtil具有辅助函数来返回顶点和边我尝试使用executor-memory 32g，运行一个包含15个节点的集群，其中纱线容器大小为45g。:173)
at org.apache.spark.scheduler.SparkListenerBus$class.onPostEvent(Spa
浏览 3提问于2016-10-26得票数 6
我是Spark和Scala的新手，我正在尝试执行一项简单的任务，即根据文本文件中的数据创建一个图形。我的简单文本文件如下所示，其中每个数字都是一个顶点：v2 v1v4当我从文件中读取数据时
有其他更简单的方法吗
浏览 10提问于2015-09-04得票数 4
火花图形中的mapTriplets操作可以像定义所描述的那样，将三胞胎转换成其他形式：我的数据是一个稀疏的二分图，每一次迭代都会更新边缘的顶点数据。因此，我需要的是获取所有的(srcAttr, dstAttr, attr)组合，并使用attr更新vertices。Graphx提供了mapTriplets方法，它可以转换所有(srcAttr、dstAttr、attr)组合，但是在
浏览 1提问于2015-12-01得票数 1
在Spark GraphX中，ShortestPaths不接受RDD作为输入，而接受Seqval paths = ShortestPaths.run(graph,graph.vertices是否有使用map或aggregateMessages解决此问题的方法？或者我必须自己重写路径查找代码？
浏览 3提问于2017-04-05得票数 1
3回答
如何找到Java依赖项？
、、、
我的代码是：import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.streaming.api.java.JavaStreamingContextssc.start();
ssc.awaitTermination
浏览 5提问于2017-05-05得票数 2
回答已采纳
我试过使用图的连通组件类，如下所示.但是，它为特定节点提供了我想要的所有graph..but。这给出了特定节点的直接节点，我只能使用RDD操作来递归这个节点。有人能帮忙吗？
浏览 2提问于2016-03-29得票数 2
1回答
我正在使用带有Kerberos身份验证的Spark。spark-submit --class "graphx_sp" --master local[16] --driver-memory 20G target/scala-2
浏览 5提问于2016-12-05得票数 3
回答已采纳
使用spark graphx pregel api，可以很容易地计算大型图中的单源最短路径，例如数百万个顶点和数千万条边，并且运行时间可以接受，例如几个小时。
浏览 0提问于2016-05-12得票数 7
但是“图”在“映射顶点”中不是空的。Exception failure in TID 2 on host localhost: org.apache.spark.graphx.impl.GraphImpl.mapReduceTriplets(GraphImpl.scala:168)org.apache.spa
浏览 2提问于2014-09-23得票数 0
回答已采纳
我一直在学习教程并阅读我自己的数据，这些数据被合并为[ArrayString，Int]，因此，例如，我的顶点是：我的优势是：我试图使用mapReduceTriplets应用聚合类型函数，它计算顶点数组中的最后一个整
浏览 3提问于2015-05-27得票数 1
回答已采纳
我在Hadoop中存储了两个文本文件，我想使用这些文本文件在Apache中创建一个图形：
在GraphX中，VertexID是Long类型的。使用字符串作为VertexIds的特性
浏览 1提问于2015-02-02得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
