Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Hadoop查看所有JOB以及如何Kill指定用户的所有Job

Hadoop查看所有JOB以及如何Kill指定用户的所有Job

作者头像
学到老
发布于 2019-02-14 06:54:34
发布于 2019-02-14 06:54:34
1.7K00
代码可运行
举报
运行总次数:0
代码可运行

如何kill掉制定用户的所有job,有没有现成的命令?我看了一下hadoop job命令的提示,没有这样的命令。 其实实现kill指定用户的job也非常简单,本身hadoop job命令已经带有很多实用的job管理功能了。

列出Jobtracer上所有的作业

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
hadoop job -list

使用hadoop job -kill杀掉指定的jobid

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
hadoop job -kill job_id

组合以上两条命令就可以实现kill掉指定用户的job

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
for i in `hadoop job -list | grep -w  username| awk '{print $1}' | grep job_`; do hadoop job -kill $i; done
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2016年12月27日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
[122]linux killall 、kill 、pkill 命令详解
Linux系统中的killall命令用于杀死指定名字的进程(kill processes by name)。我们可以使用kill命令杀死指定进程PID的进程,如果要找到我们需要杀死的进程,我们还需要在之前使用ps等命令再配合grep来查找进程,而killall把这两个过程合二为一,是一个很好用的命令。
周小董
2022/04/12
2.6K0
【Linux随笔】Killall 、Kill 、Pkill三个命令之间的区别
首先三个命令都是用于杀掉进程的,不过kill是杀掉单个进程,killall是杀掉所有同名进程,pkill是杀掉一类进程或者某个用户的所有进程。
浩Coding
2021/06/29
6.8K0
Shell编程学习笔记
常用命令介绍 历史命令(History) history:查看历史命令,默认1k条 !!:上一条命令 !$:获取上一条命令的最后一个参数 !+数字:运行第几条历史命令 !+字符串:从历史命令最近一条开始匹配,以该字符串开头的命令 别名(alias) 列出所有的别名设置:alias 设置别名:alias a=’b’ 取消别名设置:unalias a 重定向 重定向符号 重定向,覆盖原来的内容:> 重定向,追加到原来的内容:>> 反向重定向,目标是一个程序:< 错误重定向,覆盖原来的内容:2> 错误重定向,追
skyyws
2022/05/20
5490
shell 学习笔记(19)
声明:转载需署名出处,严禁用于商业用途! 1801.关于 nohup 后台运行的问题: nohup就是拒绝hup信号,没什么其他用途, 如果是shopt -s huponexit的话,shell在退出的时候自己把自己所有的子进程都发一个hup信号, 然后就退出了,但是我还没见过哪种发行版会启用这个参数的。 后台就直接加个&就行了:sh 1.sh & ,退出终端并不会终端程序,sleep 9999 &,然后退出,然后再登录,看下是不是还在 除非你shopt -s
用户1177713
2018/02/24
1.2K0
【科研利器】slurm作业调度系统(二)
“ 大家好哇!前面我们对slurm作业调度系统进行了一个简单的介绍【科研利器】slurm作业调度系统(一),今天我们继续对如何用slurm提交批处理任务以及使用 sinfo、squeue、scontrol命令查询作业信息进行具体的介绍。”
自学气象人
2022/10/09
5.2K0
Linux kill, killall, kill -9
1) 查看进程的方法:  ps -ef 或者 ps aux root     15087  0.0  0.0      0     0 ?        S    23:31   0:00 [kwo
阳光岛主
2019/02/19
6.6K0
linux中ps配合Kill进程的N种方法
其中-s 9 制定了传递给进程的信号是9,即强制、尽快终止进程。各个终止信号及其作用见附录。
IT工作者
2022/03/14
4.1K0
LINUX运维常用命令详解二
51、ln:创建链接文件    ln SRC DEST:创建硬链接    -s:创建软连接    -i:显示文件的inode号    -v:显示执行结果    硬件连接:        1、只能对文件创建,不能应用于目录,文件的硬链接次数为2        2、不能夸文件系统        3、创建硬链接会增加文件被连接的次数    符号连接:        1、可应用于目录        2、可以跨文件系统        3、不会增加被连接文件的连接次数        4、其大小为指定的路径所包含的字符个数 52、du     du:显示目录下的所有文件的大小         -s:显示目录大小         -sh:单位换算后显示 53、df     df:显示整个磁盘分区的使用情况         -h:显示空间大小 54、fdisk      fdisk:磁盘分区     fdisk /dev/sda      p:显示当前磁盘上的分区      n:创建一个新的分区      e:扩展分区      p:主分区      d:删除一个分区      w:保存退出      q:不保存退出      t:修改分区类型      l:显示所有支出的分区类型 55、partprobe     把新的分区同步到内核上去。 56、mkfs      mmkfs:创建文件系统      mkfs -t FSTYPE 指定分区      -t可以实现多种系统的格式化     如mkfs -t ext2 /dev/sda5 57、mke2fs       mke2fs:专门管理ext系列的文件的命令,不跟任何参数,指的是创建ext2       -j:指的是创建ext3类型文件系统       -b BLOCK_SIZE:指定块大小,默认为4096;可用取值为1024,2048或 4096       -L LABEL: 指定分区卷标;例如 mke2fs -L MYYY /etc/sda5       -m #:明确指定预留给超级管理员用的快熟百分比 mke2fs -m 3  /dev/sda5       -i #:指定为多少个字节的空间创建一个inode , 默认为8192;这里给出的数值应该为块大小的2^n被      mke2fs -i 4096  表示4096个字节创建一个inode       -F:强行创建文件系统;       -E:用于指定额外的文件系统属性;       -N#:指定inode个数; 58、blkid      blikd:查询或查看块设备的属性,其中有包含文件系统的信息 59、e2lable      e2lable:专门用于查看或定义卷标      查看卷标  e2label /dev/sda5      设定卷标  e2label 设备文件      卷标   :即实现设定卷标   e2label  /dev/sad6 YYY            (这里的设备文件即/dev/sda5) 60、tune2fs        tune2fs:调整文件系统的相关属性        -j:不损坏原有数据,将ext2升级为ext3,但是不能降级        -L LABLE:设定或修改卷标        -m #:调整预留百分比        -r #:预留块数        -o:设置默认挂载选项,其中有一个是acl,acl是一个功能,但需要挂载才能 使用,否则是不能用的        -c #:指定挂在次数达到#次之后进行自检,指定0或-1表示关闭此功能,不自检;        -i #:可以指定每挂载使用多少天后进行自检:0或-1表示关闭此功能;        -l:显示超级块内容 61、dumpe2fs       dumpe2fs:以显示文件系统中超级块信息或文件的属性信息,同上面的tun2fs -l 选项类似,都是很重要的命令,其中也显示超级块的信息,FREE是空闲的意思      -h:表示只显示超级块中的信息 62、fsck     fsck:检查并修复Linux文件系统     -t TYPE:指定文件系统类型     -a:自动修复 63、e2fsck     e2fsck:专门用来检查修复ext2或ext3的命令     -a或-p:自动修复;     -f :强行修复;   64、mount     mount:挂载文件系统     mount 设备 挂载点     设备  设备文件:/dev/**  卷标:LABLE="" UUID:UUID=""     挂载点:挂载点就是个目录     1,此目录没有被
菲宇
2022/12/02
7870
每天学习一个小技能:kill
在Linux中,kill命令用于终止指定进程的运行,是常用的进程管理命令。通常情况下,可以通过Ctrl+C键终止前台进程,但对于后台进程,则需要使用kill命令来结束进程。在使用kill命令之前,需要使用ps、pidof、pstree或top等工具获取进程的PID,然后使用kill命令来终止该进程。
青阳
2023/07/19
5560
Linux||你的服务器怎么一片绿?
最近用学校服务器跑RNA-seq数据的时候,遇到过好几次以下的情况,特别是序列比对、生成sam文件和sam转bam文件。
小汪Waud
2023/02/03
9000
Linux||你的服务器怎么一片绿?
进击大数据系列(十四)Hadoop 数据分析引擎 Apache Pig
Pig 是一个基于 Apache Hadoop 的大规模数据分析平台,它提供的 SQL-LIKE 语言叫 Pig Latin,该语言的编译器会把类 SQL 的数据分析请求转换为一系列经过优化处理的 MapReduce 运算。Pig 为复杂的海量数据并行计算提供了一个简单的操作和编程接口,使用者可以透过 Python 或者 JavaScript 编写 Java,之后再重新转写。
民工哥
2023/08/22
6780
进击大数据系列(十四)Hadoop 数据分析引擎 Apache Pig
Linux之kill命令
原文链接:https://rumenz.com/rumenbiji/linux-kill.html
入门笔记
2021/07/27
4.4K0
100个Linux命令(7)-进程管理
这是100个命令的第7篇文章,主要关于进程的管理命令以及你应该知道关于进程的基本原理,相对于命令的理解,应该更加注重对于进程本身的理解。
懒人的小脑
2019/01/16
1.8K0
100个Linux命令(7)-进程管理
杀死进程
按大写O再按k再敲回车,然后使用R就可以以cpu占用量进行查看了!下面贴出top的技巧命令:
一滴水的眼泪
2020/09/24
1.5K0
Linux - last 命令
直接用 last -f 好像并不会显示信息,应该是因为读取的文件的数据结构不一致的原因
小菠萝测试笔记
2021/06/10
1.6K0
shell 学习笔记(17)
声明:转载需署名出处,严禁用于商业用途! 1601.关于rsync相同文件后 du 大小不一样的问题: 不一样大小很正常,因为文件系统的block不一样,或者文件系统底层用了压缩什么的。 因为du是块大小,ls是文件的实际大小,系统的块大小一般为4KB, 所以du的文件一般比ls的结果要大,而且系统块大小可以更改。 1602.查看系统块大小: tune2fs -l /dev/sda1 | grep Block 1603.vi -u NONE -N 打开超大文件:
用户1177713
2018/02/24
1.1K0
进击大数据系列(十一)Hadoop 任务调度框架 Oozie
Oozie 是一个用来管理 Hadoop 生态圈 job 的工作流调度系统。由 Cloudera公司贡献给 Apache。
民工哥
2023/08/22
8040
进击大数据系列(十一)Hadoop 任务调度框架 Oozie
如何使用Oozie API接口向Kerberos集群提交Java程序
在CDH集群外的节点向集群提交MapReduce作业的方式有多种,前面Fayson介绍了《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》和《如何使用Oozie API接口向非Kerberos环境的CDH集群提交Java作业》,本篇文章主要介绍如何在Kerberos集群使用Oozie API接口向集群提交Java作业。
Fayson
2018/03/30
2.7K0
linux//unix实用基本命令小全
用户在登录前,首先要向系统管理员申请一个用户注册名,不论用户从哪台计 算机登录到ITPNET上都将访问相同的文件系统。
全栈程序员站长
2021/04/28
6020
linux进程常用命令
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/details/77732252
bear_fish
2018/09/14
7780
linux进程常用命令
相关推荐
[122]linux killall 、kill 、pkill 命令详解
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验