如何使用axios和cheerio实现多页抓取？

使用axios和cheerio可以实现多页抓取的步骤如下：

首先，通过npm安装axios和cheerio模块：

npm install axios cheerio

在代码中引入axios和cheerio模块：

const axios = require('axios');
const cheerio = require('cheerio');

创建一个异步函数，用于获取每个页面的HTML内容：

async function getPage(url) {
  try {
    const response = await axios.get(url);
    return response.data;
  } catch (error) {
    console.error(`Failed to fetch page: ${url}`, error);
    return null;
  }
}

解析HTML内容并提取所需数据。使用cheerio加载HTML内容，并使用CSS选择器进行元素定位和提取：

function parsePage(html) {
  const $ = cheerio.load(html);
  
  // 根据HTML结构和数据定位元素，并提取数据
  const title = $('h1').text();
  const content = $('#content').text();
  
  return { title, content };
}

创建一个主函数，用于控制多页抓取的流程：

async function scrapePages() {
  const urls = ['https://example.com/page1', 'https://example.com/page2', 'https://example.com/page3'];

  for (const url of urls) {
    const html = await getPage(url);
    
    if (html) {
      const data = parsePage(html);
      console.log(data);
    }
  }
}