标准调度资源
项目绑定标准调度资源组后,单击资源组名称可以进入资源组信息页面,查看资源信息、资源监控以及进行资源组运维。
资源信息
资源监控
资源组运维
资源组运维目前提供 Python 包的安装运维管理功能,为数据开发中的 Python 任务提供 Python 包支持。
资源组运维界面提供了 Python 包安装、卸载、查看的入口以及命令执行记录列表,用户可以在此处查看 Python 安装和卸载的相关信息,包括名称、安装类型、创建人、状态、描述和时间等。
Python 包安装
1. 单击 Python 包安装后,在弹框中配置 Python 包信息。
注意:
信息 | 描述 |
命令名称 | 自动生成,默认为“ Python 安装包_当前时间 ”,用户可以修改。 |
包类型 | Python 版本,包括 Python2、Python3。 |
选择安装包 | 支持关键词搜索,目前支持的安装包如下: Python2:jieba、numpy、openpyxl、pandas、pyhive、requests、scikit-learn、thrift、thrift_sasl、tencentcloud-sdk-python。 Python3:jieba、numpy、openpyxl、pandas、pyhive、requests、scikit-learn、thrift、thrift_sasl、tencentcloud-sdk-python、pymysql、cos-python-sdk-v5、threadpool、tencentcloud-dlc-connector、matplotlib。 |
版本 | 可选择对应 Python 包不同的版本。 |
命令执行路径 | WeData 提供的默认路径,Python 包的安装路径。 |
安装命令 | 自动生成。 |
超时时间 | 安装命令执行的最长时间,超过时间则终止执行。 |
描述 | 自定义描述信息。 |
2. Python 包安装步骤配置完成后即可生成安装命令,在资源组运维页面单击对应安装命令操作列下的运行,即可执行 Python 包安装命令,安装成功后,会在状态列提示命令运行成功信息。
3. 单击操作列下的查看结果,可以查看安装命令的执行的详细情况。
4. 单击列表中的命令名称,可以查看命令详情。
Python 包查看
单击 Python 包查看后,在弹框中可以分别看到 Python2、Python3 已安装的 Python 包信息。
Python 包卸载
单击 Python 包卸载后,在弹框中可以选择已安装的 Python 包进行卸载。
信息 | 描述 |
命令名称 | 自动生成,默认为“ Python 卸载包_当前时间 ”,用户可以修改。 |
包类型 | Python 版本,包括 Python2、Python3。 |
选择卸载包 | 可选择已安装的 Python 包。 |
命令执行路径 | WeData 提供的默认路径,Python 包的卸载路径。 |
卸载命令 | 自动生成。 |
超时时间 | 安装命令执行的最长时间,超过时间则终止执行。 |
自定义调度资源
创建自定义调度资源组
1. 单击创建调度资源组,填写基本信息。
注意:
资源组与本空间下已配置计算引擎需位于同一地域。
2. 单击创建执行资源组,并填写资源组基本信息。完成后,单击下一步。
参数 | 说明 |
地域 | 本参数默认展示项目下计算引擎所处地域,执行资源组需与计算引擎建立在同一地域下。 |
资源组名称 | 资源组英文名称。 |
资源组备注 | 资源组备注显示名称。 |
3. 配置服务器,选择所属网络和服务器。
说明
服务器与本空间下已配置计算引擎需位于同一网络。
4. 单击保存,并参照说明安装 Agent。
管理自定义调度资源组
添加服务器
1. 单击资源组管理 > 添加服务器,为当前执行资源组添加可供任务执行的服务器资源。
2. 您可以选择已有的云服务器(CVM),或购买新的云服务器,填写想要添加的服务器的基本信息后,单击下一步。建议的服务器配置如下:
网络:与项目计算引擎(如 EMR) 在同一个 VPC。
配置:32核64G内存(建议生产使用至少2台,测试1台)。
公网带宽:2Mbps。
系统镜像:CentOS 64位 CentOS 7.9 64位。
硬盘:500GB。
注意
不要添加 EMR 节点到执行资源组,以免环境冲突。
参数说明
所属网络
选择 CVM 服务器所属网络,CVM 需与项目下已绑定的计算引擎属于同一 VPC 环境中。
内网 IP
填写 CVM 服务器的对应的主 IPv4 内网 IP。
1. 获取方式说明:
1.1 进入 CVM 控制台,单击实例,进入实例列表。
1.2 在实例列表中选择所添加的服务器,并单击进入该 CVM 详情页。
1.3 确认所属网络信息并复制主 IPv4 内网 IP。
1.4 进入安装 Agent 页面,根据提示到服务器中进行 Agent 安装。
2. 退役/服役服务器
对于正常使用的服务器,如果您想要对其进行维护操作,可以选择将其退役。退役后,服务器将进入退役中状态,正在运行的任务会继续运营完,但不再接收新的任务。当正在运行的任务全部执行完后,服务器转为已退役状态,您可以开始对该服务器进行维护。维护结束后,单击服役,可以将该服务器恢复正常使用,开始接收新的任务。
3. 删除服务器
如果想要将服务器从执行资源组中剔除,可以先单击退役按钮,待该服务器状态转为已退役时(耗时视当前任务运行时长而定),再单击删除按钮,将该服务器删除,另作他用。