某查”平台请求头反爬技术解析与应对

小白学大数据

发布于 2025-02-26 08:29:46

9100

代码可运行

文章被收录于专栏：python进阶学习python进阶学习

运行总次数：0

代码可运行

一、请求头反爬技术概述

请求头（HTTP Header）是 HTTP 协议中用于在客户端和服务器之间传递信息的一部分。它包含了请求的来源、用户代理、内容类型等关键信息。许多网站通过检查请求头中的特定字段来判断请求是否来自合法的浏览器，从而防止爬虫的非法访问。

“某查”平台也不例外。它通过多种方式检测请求头，以识别并阻止非正常的爬虫访问。这些检测方式包括但不限于：

User-Agent 检测：检查请求头中的 User-Agent 字段，判断请求是否来自常见的浏览器。
Referer 检测：验证请求的来源页面，防止直接访问某些资源。
Cookie 检测：通过检查特定的 Cookie 值，验证用户是否已经登录或是否为合法用户。
自定义字段检测：某些平台会在请求头中添加自定义字段，用于进一步验证请求的合法性。

二、“某查”平台请求头反爬技术解析

“某查”平台的请求头反爬技术主要体现在以下几个方面：

动态 User-Agent 检测 “某查”平台会定期更新其检测机制，识别出常见的爬虫 User-Agent。如果请求头中的 User-Agent 字段不符合合法浏览器的特征，平台可能会直接拒绝访问。
Referer 字段验证平台会检查 Referer 字段，确保请求是从合法的页面发起的。如果 Referer 字段为空或不符合预期，请求可能会被拦截。
Cookie 验证 “某查”平台会通过设置特定的 Cookie 来验证用户的合法性。如果请求中缺少这些 Cookie，或者 Cookie 的值不符合预期，平台可能会认为请求是非法的。
自定义请求头字段平台可能会在请求头中添加自定义字段，用于进一步验证请求的合法性。这些字段可能包含特定的签名或时间戳，用于防止伪造请求。

三、应对“某查”平台请求头反爬的策略

为了应对“某查”平台的请求头反爬机制，开发者可以采取以下策略：

模拟合法的请求头通过伪造请求头中的关键字段，使请求看起来像是来自合法浏览器的访问。以下是一个示例代码：TypeScript复制

import axios from 'axios';

const headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
  'Referer': 'https://www.moucha.com/',
  'Cookie': 'session_id=1234567890abcdef; user_token=abcde12345',
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
  'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
  'Accept-Encoding': 'gzip, deflate, br'
};

axios.get('https://www.moucha.com/data', { headers })
  .then(response => {
    console.log('请求成功:', response.data);
  })
  .catch(error => {
    console.error('请求失败:', error);
  });

在上述代码中，我们通过 axios 库发送请求，并设置了多个关键的请求头字段，以模拟合法浏览器的行为。

动态生成请求头字段对于平台的动态检测机制，开发者可以通过动态生成请求头字段来应对。例如，定期更新 User-Agent 字段，或者根据平台的规则生成自定义字段。TypeScript复制

function getRandomUserAgent() {
  const userAgents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0'
  ];
  return userAgents[Math.floor(Math.random() * userAgents.length)];
}

const headers = {
  'User-Agent': getRandomUserAgent(),
  'Referer': 'https://www.moucha.com/',
  'Cookie': 'session_id=1234567890abcdef; user_token=abcde12345',
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
  'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
  'Accept-Encoding': 'gzip, deflate, br'
};

axios.get('https://www.moucha.com/data', { headers })
  .then(response => {
    console.log('请求成功:', response.data);
  })
  .catch(error => {
    console.error('请求失败:', error);
  });

在上述代码中，我们通过 getRandomUserAgent 函数随机选择一个 User-Agent 字段，以应对平台的动态检测。

使用代理和 IP 池为了防止被平台封禁 IP，开发者可以使用代理服务器或 IP 池。以下是一个使用代理的示例代码：TypeScript复制

import axios from 'axios';

// 随机生成 User-Agent 的函数
function getRandomUserAgent() {
  const userAgents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0'
  ];
  return userAgents[Math.floor(Math.random() * userAgents.length)];
}

// 设置代理信息
const proxy = {
  host: 'www.16yun.cn',   // 代理服务器地址
  port: 5445,             // 代理服务器端口
  auth: {
    username: '16QMSOML', // 代理用户名
    password: '280651'    // 代理密码
  }
};

// 设置请求头
const headers = {
  'User-Agent': getRandomUserAgent(),
  'Referer': 'https://www.moucha.com/',
  'Cookie': 'session_id=1234567890abcdef; user_token=abcde12345',
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
  'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
  'Accept-Encoding': 'gzip, deflate, br'
};

// 发起请求
axios.get('https://www.moucha.com/data', { headers, proxy })
  .then(response => {
    console.log('请求成功:', response.data);
  })
  .catch(error => {
    console.error('请求失败:', error);
  });

在上述代码中，我们通过 axios 的 proxy 配置项设置了代理服务器，以隐藏真实的 IP 地址。

合理控制请求频率过高的请求频率可能会被平台识别为爬虫行为。开发者可以通过合理控制请求频率来降低被封禁的风险。以下是一个示例代码：TypeScript复制

import axios from 'axios';
import { sleep } from 'some-utils';

async function fetchData() {
  const headers = {
    'User-Agent': getRandomUserAgent(),
    'Referer': 'https://www.moucha.com/',
    'Cookie': 'session_id=1234567890abcdef; user_token=abcde12345',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
    'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
    'Accept-Encoding': 'gzip, deflate, br'
  };

  for (let i = 0; i < 10; i++) {
    try {
      const response = await axios.get('https://www.moucha.com/data', { headers });
      console.log('请求成功:', response.data);
    } catch (error) {
      console.error('请求失败:', error);
    }
    await sleep(1000); // 每次请求间隔 1 秒
  }
}

fetchData();

在上述代码中，我们通过 sleep 函数控制了每次请求的间隔时间，避免了过高的请求频率。