Buzz库网络爬虫实例：快速爬取百度搜索实时热点

<?php

// 发送 HTTP 请求获取页面内容（带代理）
function fetchPage($url) {
    // 代理信息
    $proxyHost = "xxxxxx";
    $proxyPort = "5445";
    $proxyUser = "16QMSOML";
    $proxyPass = "280651";

    // 代理设置
    $proxy = "$proxyHost:$proxyPort";
    $auth = base64_encode("$proxyUser:$proxyPass");
    $context = stream_context_create([
        'http' => [
            'proxy' => "tcp://$proxy",
            'request_fulluri' => true,
            'header' => "Proxy-Authorization: Basic $auth"
        ]
    ]);

    // 发送 HTTP 请求
    $response = file_get_contents($url, false, $context);

    return $response;
}

// 解析 HTML 内容，提取热点信息
function parseHotTopics($html) {
    $dom = new DOMDocument();
    @$dom->loadHTML($html);

    $hotTopics = [];

    // 定位热点内容所在的标签
    $items = $dom->getElementsByTagName('h3');

    // 提取热点信息
    foreach ($items as $item) {
        $title = $item->textContent;
        $link = $item->parentNode->getAttribute('href');

        // 去除标题中的换行符和空格
        $title = trim(preg_replace('/\s+/', ' ', $title));

        // 去除链接中的转义字符
        $link = urldecode($link);

        $hotTopics[] = [
            'title' => $title,
            'link' => $link
        ];
    }

    return $hotTopics;
}

// 模拟处理验证码
function handleCaptcha() {
    // 这里可以调用第三方验证码识别服务或手动输入验证码的方式来处理验证码
    // 此处仅作示例
    echo '请手动输入验证码：<input type="text" name="captcha"><br>';
}

// 处理 HTTP 请求，并处理可能遇到的验证码
function fetchPageWithCaptcha($url) {
    $response = file_get_contents($url);

    // 检查页面内容是否包含验证码
    if (strpos($response, '验证码') !== false) {
        handleCaptcha();
        // 这里可以根据具体情况重新发送请求或抛出异常等处理方式
    }

    return $response;
}

// 百度实时热点的 URL
$url = 'https://www.baidu.com/s?wd=%E5%AE%9E%E6%97%B6%E7%83%AD%E7%82%B9';

// 获取页面内容（带代理）
$pageContent = fetchPage($url);

// 解析 HTML 内容，提取热点信息
$hotTopics = parseHotTopics($pageContent);

// 输出热点信息
foreach ($hotTopics as $topic) {
    echo '标题：' . $topic['title'] . '<br>';
    echo '链接：' . $topic['link'] . '<br><br>';
}

?>