前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【5分钟玩转Lighthouse】开车也能跑程序

【5分钟玩转Lighthouse】开车也能跑程序

原创
作者头像
溪歪歪
修改2020-10-14 10:47:00
4.7K3
修改2020-10-14 10:47:00
举报
文章被收录于专栏:巫山跬步

0x00 背景概述

这两天,工程师小刘时常在自己的笔记本上编译Linux内核。由于编译执行的时间比较长,他通勤时经常需要笔记本部开着盖放在车座上,以便程序不断。他奋斗的场景让人甚是同情,因为我上大学时也是通宵开着笔记本编译内核,不敢锁屏更怕断电断网。

那么到底该如何优雅地在开车(骑车/游泳/喝奶茶)时依然保证程序运行不断呢?

解决这个问题的终极解决方案就是:在云服务器上执行需要长时间执行的程序。不论是长时间的计算任务、编译内核、训练模型、还是运行各类的小型网络服务程序等等,只要你有云服务器,这些都可以一站式解决。

那么,让我们首先在腾讯云创建一台可以把玩的云服务器吧!

(当然,如果你已经有了一台可以远程登录并使用的云服务器,可以直接跳过下一节,直接开始运行程序的初体验~)

0x01 服务器准备

服务器的选择其实有很多种:不过作为Lighthouse的体验教程,当然还是选用咱们的主角:腾讯云轻量应用服务器(Lighthouse)。当然也可以用CVM(云服务器)产品等。

Lighthouse实例是当下最流行最方便的创建云主机方式,一起体验下吧~

购买机器

下图是Lighthouse的创建页面,到这里选择一款喜欢的吧->

这里我们创建一台香港地域的镜像为Ubuntu 20.04LTS版本的实例,这是Ubuntu最新的LTS(长期维护)版本,可以体验更多新特性,后续我们也会在这个系统上做些简单实验。套餐选择上,可以根据自己的需求选择,本教程以4核的套餐举例。可以感到相当清简的购买流程,需要输入实例名称并选择下时长即可,购买体验非常流畅。

我们创建完成后,可以在实例列表页面看到实例状态,当实例状态为运行中时,点击更多->管理即可进入管理页面了。我们将在管理页面为我们的Lighthouse主机重置密码,以方便后续的SSH登录。

重置密码

Lighthouse实例默认仅能从腾讯云控制台免密登录(本质是使用了默认密钥),为了可以后续通过SSH命令进行代理访问,最方便的方法是通过密码登录。

我们需要为我们的实例重置密码,可以在控制台的实例详情页面完成此类操作。

我们通过“指定用户名”更新lighthouse用户的密码,即可。

注意:此步骤需要重启实例。然后即可通过SSH客户端软件验证密码登录了。

另外:这里也完全可以选择为其他(已创建的)用户更新密码。

0x02 初体验

首先需要明确,通过在程序命令后添加&执行是完全达不到效果的,因为这只是设置再当前shell中后台运行而已,程序的进程仍然是当前shell的子进程,在当前shell退出(如Ctrl+D或断网时)我们的进程还是会被杀掉。我们需要的是真正的后台运行,达到在连接断开时还能继续执行的目的。

介绍两个最简单的命令,作为一针见效的体验~

setsid

setsid命令的作用是:在一个新的会话运行程序。它可以打开一个新的会话并把它关联到一个进程。这样运行的程序自然和当前的shell会话进程无关了,也不会受其进程生命周期的管理。通过setsid执行程序是后台运行某个程序的最简单的方式之一。

代码语言:javascript
复制
brooke@VM-0-6-ubuntu:~$ setsid dd if=/dev/zero of=/dev/null bs=1M
brooke@VM-0-6-ubuntu:~$ ps -ef | grep "dd if"
brooke    188655       1 99 10:06 ?        00:00:15 dd if=/dev/zero of=/dev/null bs=1M
brooke    188691  188289  0 10:06 pts/1    00:00:00 grep --color=auto dd if
brooke@VM-0-6-ubuntu:~$ 

可以看到,我们的程序(dd命令)的进程被1号进程收养了,即便当前shell退出,也依然会继续执行。注意,这里的ps命令一定要加-ef选项,才能看到整个服务器的全部进程,否则只能看到当前shell会话的进程,是无法列出dd进程的。

nohup

nohup + &的组合也可达到类似的效果。

代码语言:javascript
复制
brooke@VM-0-6-ubuntu:~$ nohup dd if=/dev/zero of=/dev/null bs=1M &
[1] 189691
brooke@VM-0-6-ubuntu:~$ nohup: ignoring input and appending output to 'nohup.out'
​
brooke@VM-0-6-ubuntu:~$ ps -ef | grep "dd if"
brooke    189691  188289 99 10:13 pts/1    00:00:06 dd if=/dev/zero of=/dev/null bs=1M
brooke    189704  188289  0 10:13 pts/1    00:00:00 grep --color=auto dd if
brooke@VM-0-6-ubuntu:~$ logout
# 重新登录
brooke@VM-0-6-ubuntu:~$ ps -ef | grep "dd if"
brooke    189691       1 99 10:13 ?        00:00:21 dd if=/dev/zero of=/dev/null bs=1M
brooke    189836  189820  0 10:13 pts/0    00:00:00 grep --color=auto dd if
​

注意,第一次执行的时候并不会马上成为1号进程的子进程,但会话退出时就会被托管了。再次登录后可以验证。

0x03 tmux工具

tmux简介

tmuxterminal multiplexer)是一个终端分屏工具,它可以很方便地进行服务器端多窗口地管理。tmux有几个小概念:

  • 会话(session):即一次tmux的登录会话,一个会话的全部窗口都关闭了会话结束
  • 窗口(window):一个会话下会有多个窗口,有点类似浏览器里的Tab,同一时间只能一个窗口可见
  • 窗格(pane):一个窗口可以再分成多个小窗格,即窗口里那些能看到的横竖的最小分屏单元

一次tmux会话大致如下图,红色标记这当前的窗口,蓝色标记了一个工作窗格:

这里重要的点在于:它的连接会话都保存在服务器端,每个tmux会话可以从屏幕终端分离解绑(detach),后续如果需要,可以随时在将这个进行中的会话绑定(attach)到任何新的屏幕终端,即恢复。当因为网络不稳定、或者客户端主动断开时,tmux仅仅会解邦当前的会话终端,而该会话下的所有运行中的程序不会有任何影响。

tmux操作

你可以通过man tmux了解到绝大部分tmux操作命令,这里我们简单举些例子,如:

代码语言:javascript
复制
# 列出进行中的会话
tmux list-sessions
​
# 绑定至某一会话,即恢复会话
tmux attach
# 或更简单地: tmux a

tmux会话内部的操作通常是用前缀键(默认时ctrl+b)加上命令键组合完成的。如想从detach当前窗口,先同时按下ctrlb键,松手,再按下d键即可。

tips: 更改前缀组合键可以在用户主目录的.tmux.conf文件中设置,如改前缀为ctrl+g

代码语言:javascript
复制
set-option -g prefix C-g

列举几个tmux常用的操作:

  • 新建窗口:prefix + c
  • 删除窗口:prefix + x(其实通常用直接Ctrl+D退出方便,但是当程序卡住无法Ctrl+D时,就很有用了)
  • 下一窗口:prefix + n
  • 上一窗口:prefix + p
  • 切换到copy模式:prefix + [ (可以支持翻页,用于看日志很方便,退出按q即可)
  • 垂直分屏:prefix + %
  • 水平分屏:prefix + "
  • 选择分屏:prefix + 方向键

0x04 示例:编译Linux内核源码

这一章节,我们以一个示例演示tmux是如何帮助我们在服务器上安心地执行命令的。

编译Linux内核的过程通常是冗长的,对于一般的笔记本通常要数个小时,虽然在云服务器上可以加速,但也是一个相当长时间的任务。这类工作很适合结合tmux这类终端会话工具来完成。我们开始~

下载源码

首先,下载解压内核源码:

代码语言:javascript
复制
sudo apt install linux-source-5.4.0
mkdir kernel
cd kernel
tar -xaf /usr/src/linux-source-5.4.0.tar.bz2
cd linux-source-5.4.0

(可选)你可以尝试修改一些内核代码, 比如加些自己的测试标识日志之类的。

然后是配置:我们直接复制当前系统地配置。当然(可选地)如果你是高端玩家,也完全可以通过make menuconfig来细粒度地调整选择每一个kernel配置项。

代码语言:javascript
复制
cp /boot/config-5.4.0-48-generic .config

内核编译

接下来,我们开始编译:

代码语言:javascript
复制
time make -j4 bindeb-pkg LOCALVERSION=-custom KDEB_PKGVERSION=$(make kernelversion)-$(date +%Y%m%d)

time命令用于结束后输出程序的运行时长,-j4是指定4个线程并行编译,可以更高效地利用多核CPU。编译内核时的截图如下。注意到,我们这里还用了tmux的水平分屏功能,右边展示了top命令地结果,可以看到4个核心都在满负荷地工作。

此时编译开始,各种CC命令开始刷屏。由于我们所有的操作都是在tmux的终端下操作,得益于其服务器端会话保持的功能,我们完全不用担心SSH客户端连接断了导致服务器端的程序/命令执行有任何影响,可以直接关闭SSH客户端,或者(更优雅些)ctrl+b d解邦终端后退出ssh登录会话,都可以高枕无忧。

你可以安心地合上笔记本,开车出发,约上朋友去尽情地感受这个秋天的第N杯奶茶的浓郁与浪漫吧~

而你73分钟后回来,重新连上服务器tmux -2 a,会发现一切尽在掌控,如下图所示:

新内核安装

编译完成后,可以看到父目录出现了几个deb安装包:分别是新内核的headers包、image包、带调试信息的image包以及用户空间library的安装包。

我们通过dpkg -i命令:

代码语言:javascript
复制
sudo dpkg -i ../linux-image-5.4.60-custom_5.4.60-20201013_amd64.deb

就可以像安装普通deb包那样容易地,直接将新内核的vmlinuz、initrd等系统内核启动所需地文件解压至/boot目录。Debian系统这点做得的确是非常的方便和人性化。

最后一步:reboot服务器后登录。我们可以看到内核已经升级到我们刚刚最新编译安装的5.4.60-custom版本了,如图:

至此,任务结束~

0x05 小结

看到这里,相信你已经熟悉了通过常用的screen/tmux等终端会话保持工具,或者通过setsid等方法让你的程序长时间地运行在云服务器上了。

从表现上看起来,这样运行着的程序已经非常接近后台常驻地服务程序(daemon program/service)了,还有很多更加功能强大的工具,如systemdpm2docker等,可以帮助我们daemon化一个应用程序。从工程实践地角度看,这些工具能更好地帮我们管理云服务器上的各类后台服务,我们在后续的教程中还会根据各类场景进行针对性地讲解。

最后,祝你玩地愉快,并在Lighthouse实例跑上越来越多的程序,提升工作地效率,然后尽情地开车去远方吧!

0x06 参考资料

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 0x00 背景概述
  • 0x01 服务器准备
    • 购买机器
      • 重置密码
      • 0x02 初体验
        • setsid
          • nohup
          • 0x03 tmux工具
            • tmux简介
              • tmux操作
              • 0x04 示例:编译Linux内核源码
                • 下载源码
                  • 内核编译
                    • 新内核安装
                    • 0x05 小结
                    • 0x06 参考资料
                    相关产品与服务
                    云服务器
                    云服务器(Cloud Virtual Machine,CVM)提供安全可靠的弹性计算服务。 您可以实时扩展或缩减计算资源,适应变化的业务需求,并只需按实际使用的资源计费。使用 CVM 可以极大降低您的软硬件采购成本,简化 IT 运维工作。
                    领券
                    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档