在循环内的puppeteer中创建新选项卡导致导航超时

基础概念

Puppeteer 是一个 Node.js 库，它提供了一个高级 API 来通过 DevTools 协议控制 Chrome 或 Chromium。它可以用于网页自动化、爬虫、测试等场景。

问题描述

在循环内使用 Puppeteer 创建新选项卡时，可能会导致导航超时。这是因为每个新选项卡的创建和初始化都需要一定的时间，而循环内的操作可能会并发执行，导致资源竞争和超时问题。

原因

资源竞争：在循环内创建多个选项卡，浏览器需要同时处理多个页面的初始化和加载，这会消耗大量资源。
导航超时：Puppeteer 默认的导航超时时间可能不足以处理大量并发请求，导致某些请求超时。

解决方案

1. 增加导航超时时间

可以通过设置 page.setDefaultNavigationTimeout 来增加导航超时时间。

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();

  // 增加导航超时时间
  page.setDefaultNavigationTimeout(60000); // 60秒

  for (let i = 0; i < 10; i++) {
    const newPage = await browser.newPage();
    await newPage.goto('https://example.com');
    // 处理新页面
    await newPage.close();
  }

  await browser.close();
})();

2. 限制并发数量

可以通过使用队列或限制并发数量来避免资源竞争。

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();
  const maxConcurrent = 3; // 最大并发数量
  let currentConcurrent = 0;
  const queue = [];

  for (let i = 0; i < 10; i++) {
    queue.push(async () => {
      const newPage = await browser.newPage();
      await newPage.goto('https://example.com');
      // 处理新页面
      await newPage.close();
    });

    if (currentConcurrent < maxConcurrent) {
      currentConcurrent++;
      const task = queue.shift();
      task().finally(() => {
        currentConcurrent--;
      });
    }
  }

  await Promise.all(queue.map(task => task()));
  await browser.close();
})();

3. 使用 `browser.newTab()`

Puppeteer 还提供了 browser.newTab() 方法来创建新选项卡，这可能会更高效一些。

const puppeteer = require('puppeteer');

(async () => {
  const browser = await puppeteer.launch();

  for (let i = 0; i < 10; i++) {
    const newTab = await browser.newTab();
    await newTab.goto('https://example.com');
    // 处理新页面
    await newTab.close();
  }

  await browser.close();
})();