「猫猫大学习」如何使用Tmux避免爬虫中断

原创

meme猫

修改于 2025-06-26 19:54:53

2240

视频指路：「猫猫大学习」如何用Tmux避免任务中断 https://cloud.tencent.com/developer/video/83008

相信各位猫猫已经通过视频了解了Tmux的原理，那么，如何用OrcaTerm这款终端来进行实践体验呢？

接下来我们通过一个爬取某网站中名言的事例，来手把手教大家使用OrcaTerm体验tmux的优势与效果～

1. 进入OrcaTerm

a. 官方网址：https://orcaterm.cloud.tencent.com/terminal

b. 云服务器/轻量云服务器左侧导航栏

2. 连接服务器

通过快速连接/连接管理连接至自己的服务器

3. 点击顶部工具栏中的【会话恢复】按钮

4. 新建会话后即可进入tmux会话

5. 爬虫任务执行阶段

说明：本演示仅针对“爬取一百条名言”这一事例，其余程序依赖请视需要安装

a. 安装必要包

# 对于系统 Python 环境
sudo apt update
sudo apt install -y python3 python3-pip
sudo apt install python3-requests python3-bs4

b. 创建py文件

nano quotes.py

c. 复制以下代码进入py文件

import requests
from bs4 import BeautifulSoup

# 设置请求头，模拟浏览器行为
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}

# 定义爬取每一页名言和作者信息的函数
def crawl_data(page):
    url = f"http://quotes.toscrape.com/page/{page}/"
    response = requests.get(url, headers=headers)
    
    # 如果请求成功，响应状态码为200
    if response.status_code == 200:
        soup = BeautifulSoup(response.text, 'html.parser')
        
        # 通过解析HTML来获取每个名言和作者
        quotes = soup.find_all('div', class_='quote')
        
        # 提取每个名言和作者并返回
        quotes_data = []
        for quote in quotes:
            text = quote.find('span', class_='text').get_text(strip=True)
            author = quote.find('small', class_='author').get_text(strip=True)
            quotes_data.append((text, author))
        
        return quotes_data
    else:
        print(f"无法获取页面，状态码: {response.status_code}")
        return []

# 爬取100条名言和作者
def crawl_100_quotes():
    all_quotes = []
    page = 1
    while len(all_quotes) < 100:
        print(f"当前已爬取{len(all_quotes)}条名言，继续爬取...")
        
        # 每次爬取一页的数据
        quotes = crawl_data(page)
        
        # 将名言和作者添加到结果列表
        all_quotes.extend(quotes)
        
        # 如果还没有爬够100条，再继续爬取下一页
        if len(all_quotes) < 100:
            page += 1
            print("继续爬取下一页...")
    
    # 输出爬取的100条名言和作者
    print(f"\n共爬取到 {len(all_quotes)} 条名言：")
    for i, (text, author) in enumerate(all_quotes[:100], start=1):
        print(f"{i}. \"{text}\" — {author}")

# 执行爬虫
crawl_100_quotes()

d. 保存后运行