我是spark GraphX的新手，正在尝试分布式地计算特定节点(例如ID =1的节点)与spark graphx中的邻居之间的交集。然后，我使用collectNeighborIds找到节点ID =1的邻居id，并对其执行映射函数，以找到每个邻居并计算与选定节点( ID =1的节点</
浏览 56提问于2019-08-20得票数 2
回答已采纳
我使用以下代码在星火GraphX中创建了一个图形。(见)import org.apache.spark._import org.apache.spark.rdd.RDDContext") }现在，我可以访问图表并查看节点的度数。但是，当我试图得到一些措
浏览 0提问于2015-12-22得票数 3
回答已采纳
我正在使用Spark的GraphX图形分析库查看。我注意到这个实现使用了一个带有几个可变成员(var成员)的。我想知道这样做是否会导致不正确的行为，因为在分布式实现中，相同的节点可以在多个处理节点中复制。
我的问题不是关于这种实践在这个特定实现的上下文中的正确性，而是关于一般的。如果只是在顶点
浏览 0提问于2017-04-05得票数 0
Talend 7.1、MapR6.0分发版、Spark 2.2、查询可以有复杂的配置单元连接&有时用户甚至可以使用特殊字符反引号、！、tilda、@。如果子spark作业在Spark Yarn客户端模式下运行，则任何查询都可以正常运行。
浏览 1提问于2021-03-05得票数 0
5回答
我在纱线集群中运行我的火花应用程序。在我的代码中，我使用队列中可用的数字核心在我的数据集中创建分区：ds.coalesce(config.getNumberOfCores());
我的问题是:如何通过编程方式而不是通过配置获得队列的可用核数
浏览 11提问于2017-11-20得票数 16
回答已采纳
1回答
我正在寻找一些关于如何组织层次树节点类的建议。我有一个层次树，它有一些与树相关的成员，如Parent、Children、AddNode()、RemoveNode()等，每个节点也使用特定于应用程序的数据。在阅读了大量的文章之后，我得到了两个可能的设计：p
浏览 2提问于2015-11-15得票数 2
回答已采纳
在互联网上有很多关于kappa体系结构的信息，在浏览了一些概念方面之后，我试图深入到一些更具体的方面。作为我的主要来源，我使用了。但是现在你想看看你如何用卡帕架构来做这件事，你加入了卡夫卡和火花。您可以将事件发送给kafka，并且可以在中读取此类事件。卡夫卡将保留一个特定时期的信息，如的答案所指出的。当我读到将超级集与spark 连接时，它说应该
浏览 6提问于2022-06-21得票数 2
回答已采纳
3回答
二维数组中的最大路径和
、、、
路径由相邻的整数组成，这些整数要么位于同一行，要么位于同一列，或者沿着向下的方向向下的对角线。现在，当看到这个问题时，动态编程解决方案在这里似乎是最合适的，因为这个问题与其他问题(如或 )相似。问题是，为了正确解决这个问题，您需要从矩阵中的每个整数(节点)开始构建路径，而不仅仅是从左上角和右下角开始路径。最初，我想到了一种类似于解决方案的方法，在这种方法中，我可以从每个节点
浏览 3提问于2017-03-17得票数 3
回答已采纳
我正在开发一个Scala (2.11) / Spark (1.6.1)流项目，并使用mapWithState()来跟踪以前批中看到的数据。状态分布在多个节点上的20个分区中，使用StateSpec.function(trackStateFunc _).numPartitions(20)创建。在这种状态下，我们只有几个键(~100)映射到具有160.000个条目的Sets，这些条目在整个应用程序中都会增长。整个状态由3GB处理，集群中<
浏览 0提问于2016-03-16得票数 16
回答已采纳
1回答
我写了这个简单的例子：import time
lines = lines.lower()2) res = rdd1.take(N) print(f"Sparkprocessing: {end_time - start_time}")Regular processing:
浏览 0提问于2022-02-21得票数 0
我有很多不同的数据。表中的一组无向图(如相邻列表关系，一个节点连接所有节点)，我需要对所有单独的无向图进行分组。on b.adj_node=c.nodeon c.adj_node=d.node;
现在
浏览 0提问于2016-02-18得票数 0
7回答
构建和部署Spark应用程序时的常见问题是：
java.lang.ClassNotFoundException.object x is not a member of package y编译errors.java.lang.NoSuchMethodError
浏览 275提问于2016-12-30得票数 39
回答已采纳
我用的是火花1.5。我有两份表格的数据：res1: org.apache.spark.sql.DataFrame = [basket_id: string,请注意，我在linkPersonItemLessThan500DF上使用的是linkPersonItemLessThan500DF，因为我打算稍后加入这两者。我现正跟进上述守则的内容如下：
val userTripletRankDF = link
浏览 5提问于2016-12-13得票数 71
回答已采纳
我正在调查、Google、Dataflow、和Apache ，以决定哪种解决方案更适合我们的大数据分析业务需求。我发现在spark平台中有Spark SQL和MLlib来进行结构化数据查询和机器学习。
我想知道谷歌数据流平台中是否有相应的解决方案？
浏览 2提问于2015-11-04得票数 32
回答已采纳
理想情况下，我希望拥有计算集群中的每个任务节点:获取表的名称，从数据库中查询该表，并将该表保存为S3中的Parquet文件(或一组Parquet文件)。我的第一步是让它在本地以独立模式工作。如果我正确地理解了这里的注释：，那么除非与执行并行JDBC查询相关的特定问题，否则我试图做的事情应该是可能的。编辑：我正在特别寻找一种方法，允许我使用某种类型
浏览 0提问于2018-11-21得票数 2
回答已采纳
2回答
神秘的是，当我使用Spark时，我的自定义文件系统提供程序就消失了。该程序使用FileSystemProvider.installedProviders()列出它找到的文件系统提供程序。应该列出"gs“(如果我在非Spark上下文中运行相同的函数)，但是当在Dataproc上使用Spark运行时，
浏览 2提问于2016-09-14得票数 2
2回答
我有一个嵌套列表，上面有ID：我想要实现的是，如果任何子列表中的项目与另一个子列表中的项匹配结果应该如下所示：“结果”中的第一个列表与第四个列表匹配。第四个列表与第二个列表匹配，因此所有三个列表都应该合并到一个列表中。第三个列表
浏览 3提问于2017-06-20得票数 0
回答已采纳
1回答
我想创建一个自定义日志记录器，它从集群节点中特定文件夹中的执行器中写入消息。我已经在SPARK_HOME/conf/中编辑了我的log4j.properties文件，如下所示：root.logger=WARN,console但在两种模式的纱线日志中，我也会遇到这个错误(从纱线日志中输出火花簇模式)
浏览 6提问于2018-01-15得票数 3
回答已采纳
2回答
在下面的浏览器对象层次结构中，上述层次结构中的每个对象都是为了针对管理html元素的特定职责范围而创建的。在上面的层次结构中，您能否概述每个浏览器对象的角色和职责，包括由其子对象继承的Object？
浏览 0提问于2015-12-22得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
