编写一个与浏览器交互的简单Web爬虫(Java)

import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;
import org.openqa.selenium.chrome.ChromeOptions;

public class SimpleWebCrawler {
    public static void main(String[] args) {
        // 设置ChromeDriver的路径
        System.setProperty("webdriver.chrome.driver", "/path/to/chromedriver");

        // 创建ChromeDriver实例
        ChromeOptions options = new ChromeOptions();
        options.addArguments("--headless"); // 设置无头模式
        WebDriver driver = new ChromeDriver(options);

        // 访问目标网站
        driver.get("https://www.example.com");

        // 获取网页中的所有链接
        List<WebElement> links = driver.findElements(By.tagName("a"));
        for (WebElement link : links) {
            System.out.println(link.getAttribute("href"));
        }

        // 关闭WebDriver
        driver.quit();
    }
}