首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

设置Hadoop+Hbase集群pid文件存储位置

有时候,我们对运行几天或者几个月的hadoop或者hbase集群做停止操作,会发现,停止命令不管用了,为什么呢?...因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录下,进程名命令规则一般是 框架名-用户名...-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次,所以把pid文件放在这里面,并不是长久之计,为了安全起见,我们还是放到一个固定的目录下最好,当然不能放在/tmp下 如何配置避免把进程文件写到临时目录下面呢...进程pid存储 再次启动集群,就会发现指定的pids_hadoop_hbase下有进程pid文件已经存储进来: ?...如此以来,就安全多了,再次关闭集群时,不用再担心进程文件找不到,而导致只能暴力 kill 相关 进程,这样做比较危险,一般情况不推荐这样做 参考文章: http://blog.csdn.net/

1.7K130
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    linuxunix下 pid文件作用

    l在linux系统的目录/var/run下面一般我们都会看到很多的*.pid文件。而且往往新安装的程序在运行后也会在/var/run目录下面产生自己的pid文件。那么这些pid文件有什么作用呢?...(1) pid文件的内容:pid文件为文本文件,内容只有一行, 记录了该进程的ID。 用cat命令可以看到。 (2) pid文件的作用:防止进程启动多个副本。...只有获得pid文件(固定路径固定文件名)写入权限(F_WRLCK)的进程才能正常启动并把自身的PID写入该文件中。其它同一个程序的多余进程则自动退出。...(3) 编程技巧: 调用fcntl设置pid文件的锁定F_SETLK状态,其中锁定的标志位F_WRLCK。 如果成功锁定,则写入进程当前PID,进程继续往下执行。...SEEK_CUR以现在文件读写位置为锁定的起始位置 SEEK_END以文件尾为锁定的起始位置 归来值 获胜则归来0,若有讹谬则归来-1 l_len:加锁区的长度 l_pid:具有阻塞目前历程的锁

    1.1K20

    重启nginx后丢失nginx.pid的解决方法

    文件存放路径则该文件存放的就是Nginx主进程号,如果没指定则放在nginx的logs目录下。...平滑重启命令: 复制代码 代码如下: kill -HUP 住进称号或进程号文件路径 或使用 /usr/nginx/sbin/nginx -s reload 注意,修改了配置文件后最好先检查一下修改过的配置文件是否正...步骤2:执行命令 kill -USR2 旧版程序的主进程号或进程文件名 此时旧的Nginx主进程将会把自己的进程文件改名为.oldbin,然后执行新版 Nginx。...原因:nginx进程杀死后pid丢失了,下一次再开启nginx -s reload时无法启动,重装可以解决问题,做不做,你决定吧,哈哈。...重启后nginx.pid丢失、nginx.pid 丢失、nginx pid文件丢失、nginx1.8.1 pid丢失、nginx.pid,以便于您获取更多的相关知识。

    1.8K10

    android r文件丢失_读取文件

    在用Eclipse做开发的时候,总是无缘无故缺少R文件,让整个项目报废,在网上查了资料后现在做一下整理。...主要R文件会缺少的原因是xml的应用出错。所以请你认真检查你的XML文件里面有没有引用错误,比如说XML文件名是不是全部小写。。。...一般R文件缺失的表现就是login_btn=(TextView)findViewById(R.id.login_textview_finish);比如这句代码,R下面画红线,这时你要是import一个...还有一个传说中的大招,就随便找个项目,把它的R文件复制过来。然而我也觉得这个方法没用什么卵用。。。 还有什么好的解决方法,大家请私信我。。。 其实我是小白一只,以上仅仅为参考,有什么错误请大神鞭策。

    1.1K20

    MySQL:The server quit without updating PID file

    按照字面意思么,就是没有更新PID文件,于是乎我就去我的MySQL目录,看了一下,并建了一个PID文件,随便弄了个进程号进去(童鞋们这么搞首先得确定这个进程号,没有进程在用。)。然后重启MySQL。...然后检查了一下my.cnf(注意:这个文件一般是放在/etc下的,当然如果你放在你的MySQL程序的安装目录,那么建议你把/etc/my.cnf给重命名,以防冲突。) 发现TMD配置完全不一样!!...麻蛋,原来我已经把这个处理过了,那这个文件怎么还会 有呢?所以奇怪的地方就在这里。 弄掉之后,就OK了。...很多时候,MySQL的错误都是由于这玩意造成的,毕竟你装的时候,只是测试的话,基本不会配置什么配置文件的。亦或者,你喜欢直接在MySQL的安装目录配置文件,那么这两个就会冲突了。...MySQL优先读取的是/etc/下的而不是你的安装目录下的。

    1.2K60

    MySQL 案例:“丢失数据”的谜题

    前言 最近偶尔会收到用户反馈数据不见了,数据丢失了的问题。...登录到数据库之后,发现业务库是存在的,结合用户的反馈:“业务库不见了”,初步判断是业务账号没有权限,用show grants查看之后,发现业务账号的权限只有 USAGE,类似如下效果: mysql> show...> 拓展一下 对于“丢失数据”这个现象来看,如果是“丢失”了整个库级别的数据,但是数据库本身又一切正常的话,其实有蛮大的可能性和这个案例是一样的问题:权限错误。...另外一类属于“丢失部分数据”,比如某张表不见了,或者是表的某些数据不见了等等。...严格的来说,这一类问题也有可能是权限错误引起的,因为 MySQL 的权限控制确实可以做到表和列级别,只是现实中一般不会用到。

    4.1K142

    K8S集群pod名称与pid互查

    在日常运维过程中经常需要根据pid查是哪个pod,或者需要查这个pod的进程id。比如我们查看某台 Kubernetes Node 节点负载高时候。...通过 top 或者 pidstat 命令获取 Pid,但是这个PID对应的是哪个POD容器导致的,这个时候就需要根据PID查询对应容器信息查询某个pod的进程PIDkubectl describe pod...,取第1列为pod_id2. crictl ps | grep ,取第1列为容器id3. crictl inspect | grep -i pid ,取第1行为容器pid...图片图片根据PID查询pod name所有的进程都会在/proc/有自己的文件夹 1,通过 top 或者 pidstat 命令获取 Pid 例如进程:1042832图片2,cat /proc/1042832...cgroup 显示的最后一列就是容器的id ,前面一部分是POD的UUIDcat /proc/1042832/cgroup图片可以通过容器ID去查询容器,或者是通过POD的UUID去查看POD信息例如:批量查下集群

    3.2K30

    Redis主从集群切换数据丢失问题如何应对

    一、数据丢失的情况 异步复制同步丢失 集群产生脑裂数据丢失 1.异步复制丢失 对于Redis主节点与从节点之间的数据复制,是异步复制的,当客户端发送写请求给master节点的时候,客户端会返回OK,然后同步到各个...那么旧master中的数据就会被刷新掉,此时数据还是会丢失。 2.集群产生脑裂 首先我们需要理解集群的脑裂现象,这就好比一个人有两个大脑,那么到底受谁来控制呢?...在分布式集群中,分布式协作框架zookeeper很好的解决了这个问题,通过控制半数以上的机器来解决。 那么在Redis中,集群脑裂产生数据丢失的现象是怎么样的呢?...对于redis集群,我们不可能保证数据完全不丢失,只能做到使得尽量少的数据丢失。 二、如何保证尽量少的数据丢失?...在redis的配置文件中有两个参数我们可以设置: min-slaves-to-write 1 min-slaves-max-lag 10 min-slaves-to-write默认情况下是0,min-slaves-max-lag

    1.3K40

    有趣的MySQL(三):更新“丢失”问题

    taskService.updateFinish(subTask.getTaskId); } }   乍一看好像逻辑和代码没有什么问题,但是在实际运行过程中有时会出现查询语句查出来的结果集是更新前的结果集,就好像更新没有生效或者“丢失...谨慎推理   在本地复现失败之后,结合最初的问题现场排查,问题大致出在系统内ORM框架(这里即Mybatis)的SQL执行流程或是MySQL服务端的SQL执行流程上。...分析MyBatis执行过程无果,只能将目光投向MySQL服务器的内部执行过程。...MySQL的SQL执行过程   在MySQL服务内部,一条从客户端发起的SQL请求会经过连接器、查询缓存、分析器、优化器以及最终进行实际执行的执行器。...那么就会有一定可能出现更新的事务还没有提交完成,查询的事务开始执行了,此时根据当前MySQL服务的事务隔离级别读已提交来看,这里的查询只能查询更新事务提交之前的结果集。

    1.9K30
    领券