从403到空白页：一次航班数据采集踩坑与解法分享

原创

jackcode

发布于 2025-09-18 11:06:26

11500

代码可运行

文章被收录于专栏：爬虫资料爬虫资料

运行总次数：0

代码可运行

爬虫代理

一、问题来了

大家买过机票都知道，价格和航班信息变动非常快。比如你早上查北京到上海是 750 元，下午再看可能涨到 900 元了。对做票务比价、旅游产品、甚至数据分析的人来说，及时、准确地拿到航班信息 就成了关键。

问题是：一旦你想通过爬虫批量采集携程等平台上的机票数据，就会遇到各种“拦路虎”：

页面显示“请验证身份”
返回空白数据
403 拒绝访问

二、现场回放

举个例子，我想抓取携程上「北京 → 上海」的航班。刚写了个简单的脚本，第一次运行还能拿到结果，心里还挺美：

import requests

url = "https://flights.ctrip.com/online/list/oneway-bjs-sha"
headers = {"User-Agent": "Mozilla/5.0"}

res = requests.get(url, headers=headers)
print(res.text[:500])

结果跑了几次之后，页面不是卡在验证，就是一片空白。很明显，单个IP被识别并屏蔽了。这在航班行业特别常见。

三、常见的补救办法

一般人遇到这种情况会想：

换UA：伪装成不同浏览器，结果没撑几次就又被封。
带Cookie：拷贝浏览器里的Cookie过去，能用一会儿，但很快失效。
降低频率：加上 sleep()，让请求慢点，但效率实在太低，做不了大规模采集。

这些方法在航班这种高敏感场景下，效果都不理想。核心问题还是：IP 太单一。

四、解决办法：动态IP池

真正能解决问题的，是 动态IP池。简单来说，就是让你的请求像“散客”一样，从不同的IP出去，而不是一股脑全挤在一个出口上。

下面给个基于爬虫代理IP的小示例：

import requests
import random
import time

# ====== 代理配置（亿牛云示例） ======
proxy_host = "proxy.16yun.cn"      # 代理域名
proxy_port = "3100"                # 代理端口
proxy_user = "16YUN"               # 用户名
proxy_pass = "16IP"                # 密码

proxy_url = f"http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}"

proxies = {
    "http": proxy_url,
    "https": proxy_url
}

# ====== 目标：携程航班信息 ======
url = "https://flights.ctrip.com/online/list/oneway-bjs-sha"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
}

def fetch_html(url):
    try:
        r = requests.get(url, headers=headers, proxies=proxies, timeout=10)
        if r.status_code == 200 and "航班" in r.text:
            return r.text
        else:
            print("❌ 数据异常，可能被识别，需要换IP")
            return None
    except Exception as e:
        print("⚠️ 出错:", e)
        return None

for i in range(5):
    html = fetch_html(url)
    if html:
        print(f"✅ 第 {i+1} 次成功，页面长度：{len(html)}")
    else:
        print(f"❌ 第 {i+1} 次失败")
    time.sleep(random.uniform(2, 5))  # 随机停顿，模拟真人

这里做了三件事：