Puppeteer的高级用法：如何在Node.js中实现复杂的Web Scraping

npm install puppeteer

const puppeteer = require('puppeteer');

// 配置代理IP的信息 爬虫代理加强版
const proxy = {
    host: 'proxy.16yun.cn', // 代理IP端口服务器
    port: 8000, // 代理IP端口
    username: '你的代理用户名', // 代理IP用户名
    password: '你的代理密码' // 代理IP密码
};

// 用户代理信息（User-Agent）
const userAgent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.63 Safari/537.36';

// 预设的Cookies信息
const cookies = [
    {
        name: 'your_cookie_name', // 替换为实际的Cookie名称
        value: 'your_cookie_value', // 替换为实际的Cookie值
        domain: '.zhipin.com' // Boss直聘的域名
    }
];

(async () => {
    // 启动Puppeteer浏览器实例，并设置代理IP
    const browser = await puppeteer.launch({
        headless: true, // 无头模式
        args: [
            `--proxy-server=${proxy.host}:${proxy.port}` // 配置代理IP
        ]
    });

    // 创建一个新的浏览器页面
    const page = await browser.newPage();

    // 设置User-Agent
    await page.setUserAgent(userAgent);

    // 设置代理IP的认证
    await page.authenticate({
        username: proxy.username,
        password: proxy.password
    });

    // 设置Cookies
    await page.setCookie(...cookies);

    // 导航到Boss直聘的应聘简历页面
    await page.goto('https://www.zhipin.com/web/geek/job-recommend', { waitUntil: 'networkidle2' });

    // 等待页面中的简历列表加载完成
    await page.waitForSelector('.geek-item');

    // 抓取简历信息
    const resumes = await page.evaluate(() => {
        const resumeElements = document.querySelectorAll('.geek-item');
        const resumeData = [];

        resumeElements.forEach((element) => {
            const name = element.querySelector('.name').innerText; // 应聘者姓名
            const jobTitle = element.querySelector('.job-name').innerText; // 目标职位
            const experience = element.querySelector('.text').innerText; // 工作经验
            const location = element.querySelector('.address').innerText; // 所在城市
            const salary = element.querySelector('.salary').innerText; // 期望薪资

            resumeData.push({ name, jobTitle, experience, location, salary });
        });

        return resumeData;
    });

    // 打印抓取的简历数据
    console.log(resumes);

    // 在抓取完成后关闭浏览器
    await browser.close();
})();