问Apache火花相关只运行在驱动程序上。

EN

我对火花还不熟悉，并了解到转换发生在工人身上，而操作发生在驱动程序上，但是中间动作(如果操作是可交换的和结合的)也可以发生在工人身上，这给出了实际的并行性。

我查看了相关和协方差代码：https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/stat/correlation/PearsonCorrelation.scala

https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/linalg/distributed/RowMatrix.scala

我如何才能找到相关的哪一部分发生在驱动程序和什么在执行者？

更新1：我所说的运行关联的设置是由多个VM组成的集群设置。

更新2

我将集群设置为独立模式，就好像它是一个3节点集群、1个主/驱动程序(实际机器:工作站)和2个VM从/执行器一样。从主节点提交类似于这个./bin/spark-submit --master spark://192.168.0.11:7077 examples/src/main/python/mllib/correlations_example.py的作业

我的相关示例文件是correlations_example.py：

data = sc.parallelize(np.array([range(10000000), range(10000000, 20000000),range(20000000, 30000000)]).transpose()) 
print(Statistics.corr(data, method="pearson")) 
sc.stop()

我总是得到一个连续的时间线，因为：

​

​

这不意味着根据事件的时间线，它不是并行发生的吗？我是不是做错了工作提交或相关计算在星火不是平行的？

更新3:我甚至尝试添加另一个执行器，仍然是相同的seqquential treeAggreagate。我设置了火花集群，如这里所提到的：http://paxcel.net/blog/how-to-setup-apache-spark-standalone-cluster-on-multiple-machine/