从python代码连接到远程python内核
提问于 2020-01-29 16:40:45
我一直在使用PaperMill定期执行我的python记事本。要执行计算密集型笔记本，我需要连接到运行在EMR集群中的远程内核。
在木星笔记本的情况下，我可以通过使用jupyter notebook --gateway-url=http://my-gateway-server:8888启动Jupyter服务器来做到这一点，并且我能够在远程内核上执行我的代码。但是如何让本地python代码(通过PaperMill)使用远程内核呢？在内核管理器中进行什么更改以连接到远程内核？
我能找到的一个相关答案是这里。这建议将端口转发到远程服务器，并使用来自服务器的连接文件初始化KernelManager。我无法做到这一点，因为blockingkernelmanager已经不在Ipython.zmp中了，我也更喜欢HTTP连接，就像jupyter那样。
回答 1
Stack Overflow用户
发布于 2020-02-06 04:09:18
Hacky方法-设置一个shell脚本来执行以下操作:
- 使用
hadoop用户在EMR主节点上创建python环境 - 在您的环境中安装火花魔法并配置README.md文件中描述的所有内核
- 将笔记本复制到主节点/直接从s3位置使用它
- 与造纸厂一起运行： 纸厂S3://path/to/记事本/input.ipynb s3://path/to/记事本/output.ipynb -p param=1
如果集群主节点每次都是相同的，则步骤1和步骤2是一次要求。
--稍微好一点的方法:
- 在木星本身设置一个远程内核：远程内核
- 通过选择这个远程内核，将纸厂作为普通笔记本执行。
我正在为不同的用例使用这两种方法，它们目前看来都很好。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/59977601
复制
腾讯云开发者
