我目前正在使用python中的子进程模块来编写脚本,尽管当我在shell中运行它时可以正常工作,并且在使用子进程模块执行命令时任何其他类型的命令都可以正常工作,但我仍然无法执行命令'module list我运行命令的终端与使用子进程执行命令的shell是否不同?我得到的错误如下:
/bin/bash: line 1: module: command not found
当从终端运行以下简单脚本时,它在pyspark中工作得很好:foo = sc.parallelize([1,2])但是当在Rodeo中运行时,它会产生一个错误,其中最重要的一行是:
Exception: Python in worker has different version2.7 than that in driver 3.5, PySpark cannot run with different minor versions