NodeJS网站抓取多个网站与承诺输出到json文件

是指使用Node.js编写程序，实现从多个网站上抓取数据，并将抓取到的数据以JSON格式输出到文件中。

Node.js是一个基于Chrome V8引擎的JavaScript运行时环境，可以在服务器端运行JavaScript代码。它具有高效、轻量级、事件驱动等特点，非常适合用于开发网络应用和处理大量并发请求。

网站抓取是指通过程序模拟浏览器行为，访问网站并获取网页内容或数据。Node.js提供了丰富的网络请求库，如axios、request等，可以方便地发送HTTP请求，获取网页内容。

多个网站的抓取可以通过循环遍历的方式，依次访问每个网站并抓取数据。可以使用异步编程的方式，如Promise、async/await等，确保在一个请求完成之后再发送下一个请求，以提高效率和稳定性。

抓取到的数据可以以JSON格式进行存储，JSON是一种轻量级的数据交换格式，易于阅读和解析。Node.js提供了fs模块，可以方便地读写文件。可以将抓取到的数据整理成JSON对象，然后使用fs.writeFile方法将其写入到指定的文件中。

以下是一个示例代码，实现了从多个网站抓取数据并输出到JSON文件的功能：

const axios = require('axios');
const fs = require('fs');

// 定义要抓取的网站列表
const websites = [
  'https://www.example1.com',
  'https://www.example2.com',
  'https://www.example3.com'
];

// 定义存储抓取结果的数组
const results = [];

// 循环遍历网站列表，发送请求并获取数据
websites.forEach(async (website) => {
  try {
    const response = await axios.get(website);
    // 处理获取到的数据，将其添加到结果数组中
    results.push(response.data);
  } catch (error) {
    console.error(`抓取网站 ${website} 失败：${error.message}`);
  }
});

// 等待所有请求完成后，将结果数组写入到JSON文件中
Promise.all(results)
  .then((data) => {
    const jsonData = JSON.stringify(data);
    fs.writeFile('output.json', jsonData, (error) => {
      if (error) {
        console.error(`写入文件失败：${error.message}`);
      } else {
        console.log('数据已成功写入到output.json文件中');
      }
    });
  })
  .catch((error) => {
    console.error(`处理抓取结果失败：${error.message}`);
  });

上述代码中，首先引入了axios和fs模块。然后定义了要抓取的网站列表和存储抓取结果的数组。接着使用forEach方法遍历网站列表，使用axios发送请求并获取数据，将获取到的数据添加到结果数组中。最后使用Promise.all方法等待所有请求完成后，将结果数组转换成JSON字符串，并使用fs.writeFile方法将其写入到output.json文件中。

需要注意的是，由于Node.js是单线程的，上述代码中的异步操作可以保证在一个请求完成后再发送下一个请求，但是无法保证请求的顺序。如果需要保证请求的顺序，可以使用async/await结合for循环来实现。

以上是关于NodeJS网站抓取多个网站与承诺输出到json文件的解答，希望能对您有所帮助。如果您对其他问题有疑问，请随时提问。