首页
学习
活动
专区
圈层
工具
发布

YARN——NM重启后的任务恢复

【概述】 ---- 上一篇文章中提到了,nm进程重启后会根据记录的信息进行恢复或重新创建container进程,那么NM将container的哪些信息记录到了本地,重启过程中又是如何读取并恢复的,本文就来聊聊相关的原理...【重启后的恢复】 ---- NM重启后,container的大概恢复流程如下图所示: 从文件中加载所有app相关的信息,并为每个app创建对应的实例对象 给每个app实例对象发送initApplication...重启恢复再次收到启动container进程的请求后,会先到指定的目录查看是否有对应的PID文件,并判断对应的PID进程是否还存在,如果存在则不进行实际的启动动作,否则会创建对应的进程。...【总结】 ---- 实际上,NM使能重启恢复后,持久化记录的不仅仅只有app和container的信息,还包括本地化的资源情况,以及用于认证的token信息,这样可以加速container恢复的速度。...另外,如果RM如果感知NM心跳超时后,会进行相关的清除动作,在此之后,NM重启恢复创建相关container进程,然后通过心跳汇报给RM,RM校验判断app或container不存在或已结束的话,会告知

1.6K30

MySQL实例恢复

https://blog.csdn.net/robinson_0612/article/details/82588176 MySQL实例在异常宕机重启后,会自动启动实例恢复。...由于MySQL为多引擎数据库,所以需要说明的是MySQL实例恢复,实质上指的是对事务进行恢复,即对innodb恢复。...本文简要描述mysql实例恢复的步骤,并通过具体演示来感受mysql实例恢复的过程。 一、MySQL实例 MySQL实例就是mysqld后台进程以及多个线程再加上内存分配 ?...二、MySQL实例恢复的步骤 ? 三、InnoDB恢复过程 InnoDB崩溃恢复包括几个步骤: 1、应用重做日志 重做日志应用程序是第一步,在实例初始化期间执行,此时不接受任何连接。...即使数据丢失,也不建议删除重做日志以加快恢复过程。仅在干净关闭后才被视为一个选项执行,删除重做日志是可以接受的,innodb_fast_shutdown设置为0或1。

2.6K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    在MySQL Shell里 重启MySQL 8.4实例

    前一段时间看到MySQL官方视频的Oracle工程师在mysql shell里面重启mysql实例,感觉这个操作很方便,所以来试试,下面为该工程师的操作截图 1.MySQL Shell 通过root用户连上...mysql,shutdown mysql实例 [root@mysql8_3 bin]# mysqlshMySQL Shell 8.4.5Copyright (c) 2016, 2025, Oracle ... SQL > 2.我们从系统上看一下mysql服务,看来默认在mysqlsh里shutdown mysql实例可以使用 [root@mysql8_3 bin]# systemctl status mysqld83308...-ne $MYSQLD_RESTART_EXIT ]; thenbreakfiDone 6.我们根据官方文档创建mysql 启动脚本并启动数据库,当然启动前先要停止mysql实例 [root@mysql8.../start.sh 7.测试,通过使用官方提供的脚本格式编写的start.sh脚本启动数据库,能够实现mysqlsh重启mysql实例 8.根据这个脚本的逻辑修改systemd启动脚本 [root@mysql8

    71910

    docker上部署MySQL实例

    docker容器是由镜像实例化而来的,这和我们学习的面向对象的概念十分相似,我们可以把镜像想象成类,把容器想象成类经过实例化后的对象,这样就非常好理解镜像和容器的关系了。...3 使用docker安装MySQL 使用docker安装mysql服务非常简单,总体步骤就下面几步: 1、下载MySQL镜像 可以登录到docker的官方仓库中寻找mysql的镜像,网址如下:https...://hub.docker.com/_/mysql?...拉取完毕之后,我们可以通过下面的命令来启动MySQL实例: docker run -itd --name mysql_5716 -p 3306:3306 -e MYSQL_ROOT_PASSWORD=...通过这种方法,我们就可以起多个MySQL实例了。这些MySQL实例不仅仅可以在容器内被连接,在宿主机上,只要我们写正确端口,也可以进行连接。非常方便。

    1.1K10

    CentOS中Docker的MySQL更改配置后重启不了的两种解决方式

    项目要用到分库分表,然后自己手动更改了服务器中的Docker中MySQL的配置文件my.cnf。 配置完毕之后使用Docker进行部署,运行docker restart mysql后没有成功启动。...随后我打算执行 docker exec -it mysql /bin/bash 先进入Docker容器之后再修改回原有配置,但是发现容器未启动(Container not started),因为exec...,修改后就可以重新启动了 这里不过多赘述方式一。...1、将docker容器内的文件拷贝至Linux主机中 docker cp mysql:/etc/mysql/my.cnf ....,重新修改回来 3、复制修改后的配置文件到docker容器中去 docker cp my.cnf mysql:/etc/mysql/my.cnf 4、最后重启容器实例,使修改后的配置文件生效 docker

    5.4K11

    升级Docker后重启容器出现错误Unknown runtime specified docker-runc

    前言 笔者维护的Docker版本为1.13.1,,在对其版本升级到18.06.1之后,启动旧版本创建的容器时遇到这个错误: [root@template-centos7 /data]#docker start...mysql33 Error response from daemon: Unknown runtime specified docker-runc Error: failed to start containers...: mysql33 解决过程 在查阅资料后,得知因为「当您从不兼容的版本升级docker并且升级后无法启动docker容器时会出现这种情况」,解决办法如下: [root@template-centos7.../root]#grep -rl 'docker-runc' /var/lib/docker/containers/ | xargs sed -i 's/docker-runc/runc/g' [root...@template-centos7 /root]#systemctl stop docker [root@template-centos7 /root]#systemctl start docker 改完之后重启

    3.5K20

    在操作系统重启后恢复应用程序的工作状态

    在操作系统重启后恢复应用程序的工作状态 发布于 2018-01-21 13:29 更新于 2018-09-...01 00:13 Windows 10 创意者更新之后,默认开启了重启后恢复应用程序状态的功能。...传入两个参数: 重启后使用的命令行参数(例如当前正在打开的文件,以及正在阅读或编辑的位置) 决定是否进行重启的限制标记(任何时候都能重启还是在某些条件下关掉重启功能) 我封装了以下这个函数的调用并将其放到...System.Windows; using Jetbrains.Annotations; namespace Walterlv.Win32 { /// /// 为应用程序提供重启后恢复状态的功能.../// RestartNoReboot = 8 } } ---- 参考资料 为何win10 1709(秋季创意更新) 重启会自动恢复一些程序为重启以前的工作状态

    3.5K10

    docker构建mysql以及多实例

    docker创建mysql 这里如果是mac本的话,要特别注意在拉取镜像的时候需要如下操作 首先拉取mysql镜像 docker pull mysql/mysql-server:5.7.31...创建容器 docker run -p 3351:3306 --name myMysql-3351 -v /Users/xiaobo/DockerImage/mysql/3351/conf/my.cnf...注意⚠️ -e MYSQL_ROOT_PASSWORD=123456 是设置密码 如果是mac本是默认拉取镜像,或者创建容器的时候可以+--platform linux/x86_64 如果docker...bash 输入以下命令 - use mysql - update user set Host='%' where User='root'; - 最后 flush privileges; docker...创建多实例 按照上面的步骤依次创建3351,3352,3353 相应的my.cnf内容如下图 ⚠️:上面所写的-p3351:3306实际上是宿主机对容器的映射 这里在做从库同步的时候,要使用容器的

    45100

    在docker中运行mysql实例

    , 一个运行起来的空的mysql容器占用了约200M内存,free -h命令可以查看内存使用情况 总结下使用docker搭建mysql实例的过程 我的是centos系统 查看linux版本可以通过下面命令进行查看...docker search mysql ?...现在下来后可以通过 docker images 命令查看下载的镜像 ?...(Daemon) -p:进行端口映射,用于暴露给外界让其访问 -e:初始化root用户的密码 --restar=always:自动重启,比如服务器突然断电,重启服务器之后不需要你重新手动启动 --name...镜像构建完成后,可以很容易的在当前宿主机上运行,但是,如果需要在其它服务器上使用这个镜像,我们就需要一个集中的存储、分发镜像的服务,Docker Registry 就是这样的服务。

    6K30

    MySQL自增主键id重启后重复使用问题解析

    如果在此过程中删除部分数据,那么MySQL重启后再插入数据,自增主键ID是否会重复使用呢?本文将通过具体示例,解析MySQL自增主键id在重启后是否重复使用的问题。...; 可以看到,重启MySQL后插入的新记录id为18,并没有重复使用已经删除的15,16,17。...四、原理解析 MySQL的自增主键id重启后为什么没有重复使用呢?...MySQL服务器重启后,会读取信息架构表中的auto_increment值,以确定下一个自增id,从而避免了已经使用的id重复分配问题。...idIncrement,避免单表过大 vivo_tmp_xxx临时表可用于生成id,避免影响线上表自增值六、总结MySQL的自增主键id在重启后不会重复使用已经删除的id,这是由其自动保存并恢复auto_increment

    3.3K10

    Mysql数据库delete删除数据后的恢复过程

    在当前环境内安装有mysql5.6单实例,引擎类型为innodb,表内数据存储所使用表空间类型为独立表空间。未进行数据库备份,未开启binlog。...数据恢复流程: 1、获取数据文件:客户将表结构文件及表数据文件(.ibd)通过网络传输的方式发送到数据恢复中心,数据恢复工程师将文件下载后开始对数据进行分析和恢复。...首先读取表结构信息: 北亚数据恢复中心MySQL数据库数据恢复3.png 北亚数据恢复中心MySQL数据库数据恢复4.png 开始解析记录: 北亚数据恢复中心MySQL数据库数据恢复5.png 本工具默认将记录提取为...SQL备份格式,等待解析完毕后还原到数据库查看结果(为保障客户隐私关键信息已打码): 北亚数据恢复中心MySQL数据库数据恢复6.png 客户验收数据: 数据提取完成后,通知客户对提取结果进行验证,并统计恢复记录总数...客户验证后表示最终数据恢复结果完整,总数符合原表内记录条数,本次数据恢复成功。

    7.2K20
    领券