会话管理功能用于记录并追踪通过接口或 Wedata 提交到 DLC 引擎的 notebook 交互式会话,用户可以通过会话执行 SQL 查询、数据处理、模型训练等操作。
前提条件
数据湖计算 DLC 环境准备。
开通数据湖计算 DLC 引擎服务。
创建会话需购买作业类型引擎。
SuperSQL 作业引擎。
标准引擎 Spark 引擎或机器学习资源组。
操作步骤
1. 登录 数据湖计算 DLC 控制台 > 运维管理 > 会话管理,选择服务地域。
2. 进入会话管理页面,用户可查看历史所有会话记录。
3. 支持对引擎类型、状态、类别、引擎名称、资源组名称、会话 ID、Spark 应用名称的筛选查看。
4. 单击 Spark 应用名称/ ID,支持查看 Spark 应用详情。
5. 支持用户在控制台点击终止操作关闭会话。
6. 支持用户在 Spark 应用详情页面查看应用的 Spark UI。
会话列表
字段名称 | 描述 |
会话 ID | 会话的唯一标识。 SuperSQL 作业引擎创建的会话,仅有 Session ID。Session ID 规则:livy-session-uuid。 标准引擎 Spark 引擎创建的会话: 用户提交的 Notebook,为平台自动生成。 用户提交的批量 SQL,为平台自动生成。 |
Spark 应用名称/ ID | SuperSQL 场景下,仅展示 Spark 应用 ID,Spark 应用 ID 前缀:spark。 标准引擎 Spark 引擎创建的会话: 用户提交的 Notebook: Spark 应用名称:用户创建 kernel 时输入的 Spark 应用名称;默认前缀为 sparkapp。 Spark 应用 ID :前缀为 spark。Spark 应用唯一标识。 用户提交的批量 SQL: Spark 应用名称:前缀为 temporary-rg; Spark 应用 ID :前缀为 spark。Spark 应用唯一标识。 |
状态 | 当前会话的状态,可分为 未启动( not_started ):会话尚未启动。此状态表示会话请求已被接收,但由于某种原因(例如资源不足或配置问题),会话尚未开始。用户需要检查相关配置或资源状态,以便启动会话。 启动中( starting ):会话正在启动中。此状态表示 Livy 正在为新的 Spark 会话分配资源并初始化环境。 就绪( idle ):会话已成功启动并处于空闲状态。此时,您可以提交 Spark 作业,Livy 会话准备好处理请求。 运行中( busy ):会话正在处理一个或多个作业。此状态表示会话正在执行任务,无法接受新的作业请求,直到当前作业完成。 关闭中( shutting_down ):会话正在关闭中。此状态表示用户请求停止会话,Livy 正在进行清理和资源释放的操作。会话可能会在此状态下停留一段时间,直到所有正在运行的作业完成并且资源被释放。 异常( error ):会话在启动或执行过程中遇到错误。此状态通常表示会话无法正常工作,可能是由于资源不足、配置错误或其他问题导致的。 已结束( dead ):会话已死亡,无法恢复。 已终止( killed ):会话被强制终止。此状态表示用户主动终止了会话,可能是由于会话不再需要或正在执行的作业出现问题。被杀死的会话无法恢复。 已完成( success ):会话成功完成。此状态通常用于表示会话中的所有作业都已成功执行并完成。会话在此状态下可以被认为是成功的,用户可以查看结果或输出。 |
引擎 | 挂载的计算引擎。 |
资源组 | 标准引擎 Spark 场景:挂载计算引擎时所使用的资源组。用户提交的批量 SQL 时默认使用临时资源,资源组默认展示为--。 SuperSQL 场景:不展示资源组信息列。 |
类别 | 会话类型: Spark PySpark SQL Machine Learning Python MLlib |
创建人 | 创建会话的用户。 |
启动时间 | 会话启动的时间。 |
结束时间 | 会话结束或终止的时间。 |
操作 | 支持终止操作,手动关闭会话。 |