PySpark环境安装
同学们可能有疑问, 我们不是学的Spark框架吗? 怎么会安装一个叫做PySpark呢?
这里简单说明一下:
PySpark: 是Python的库, 由Spark官方提供....比如 bash, sh, zsh 之类的, 但像环境变量这种其实只需要在统一的一个地方初始化就可以了, 而这就是 profile.bashrcbashrc 也是看名字就知道, 是专门用来给 bash...做初始化的比如用来初始化 bash 的设置, bash 的代码补全, bash 的别名, bash 的颜色....--all 激活虚拟环境conda activate myenvsource activate base 退出虚拟环境conda deactivate myenv
2.6 初体验-PySpark shell...方式
前面的Spark Shell实际上使用的是Scala交互式Shell,实际上 Spark 也提供了一个用 Python 交互式Shell,即Pyspark。