大模型让网页数据采集这件事有了新的用法。

过去，企业做爬虫通常是为了把网页上的标题、正文、公告等字段保存到数据库；现在，采集到的数据还可以继续交给大模型做摘要、分类、实体提取和翻译，或者经过清洗、切分和向量化之后进入企业知识库，成为 RAG 系统的数据来源。

在 Java 里，这条链路的后半段已经有了顺手的工具：LangChain4j 把提示词组装、结构化输出、工具调用这些与大模型打交道的胶水代码，都封装成了类型安全的 API。缺的是前半段——把一个满是 JavaScript 的现代网页，变成模型读得动的干净文本。

---

## 现有解决方案

收集网页数据最常见的做法，是向 Web 服务器发送 HTTP 请求、拿回 HTML 响应，再从中解析出需要的字段。LangChain4j 自带的 `UrlDocumentLoader` 走的就是这条路。

对静态页面，这足够了。但现代网页大量使用 JavaScript：服务器返回的往往只是一个引导页面，标题、正文、列表都是脚本执行之后才渲染出来的。

## 利用 Web 浏览器的功能

一种更可靠的做法是使用真正的浏览器加载页面，让 JavaScript 正常执行，并在动态内容渲染完成后提取结果。对于需要登录、点击或滚动才能访问目标内容的网站，浏览器方案同样能够处理。

Fuzio 是一款 Java 浏览器库，可将完整的 Chromium 集成到 Java 应用中。浏览器实例由应用直接创建和管理，无需安装或连接外部驱动，网页加载、交互和内容提取都可以在同一个 Java 程序中完成。对于使用 Java 技术开发和销售软件解决方案的公司，或者需要为内部 Java 应用配备高级、可靠浏览器组件的团队，它都非常实用。

## 准备工作

文中代码基于 Fuzio 2026.5.0 和 LangChain4j 1.18.1，JDK 17 及以上。构建脚本需要三个依赖：

```kotlin
plugins {
    java
    application
    id("tech.fuzio.gradle") version "1.0.0"
}

fuzio {
    version = "2026.5.0"
}

dependencies {
    // 只下载当前操作系统对应的 Chromium 二进制。
    implementation(fuzio.currentPlatform)

    implementation("dev.langchain4j:langchain4j:1.18.1")
    implementation("dev.langchain4j:langchain4j-open-ai:1.18.1")
}
```


## 第一步：启动 Fuzio

Fuzio 的核心对象层次包括 `Engine`、`Browser`、`Frame`。`Engine` 会启动一整套 Chromium 进程；本文顺序抓取多个页面，因此只创建一个 `Engine` 和一个 `Browser` 并复用。

```java
engine = Engine.newInstance(
        EngineOptions.newBuilder(HARDWARE_ACCELERATED)
                .enableIncognito()
                .timeZone(ZoneId.of("Asia/Shanghai"))
                .build());

engine.network().acceptLanguage("zh-CN,zh;q=0.9,en;q=0.8");

browser = engine.newBrowser();
browser.resize(1440, 900);
```

## 第二步：加载页面，等内容真正就绪

```java
browser.navigation().loadUrlAndWait(url, Duration.ofSeconds(45));
```

现代网页在加载事件触发后，内容可能仍在异步渲染。一个简单实用的办法是轮询 `document.body.innerText` 的长度；如果连续两次没有变化，就认为页面文本已基本稳定，可以开始提取。

```java
void waitUntilTextStable() {
    Frame frame = mainFrame();   // 主 Frame 的来历见下一步
    double previous = -1;
    for (int i = 0; i < 20; i++) {
        double length = frame.executeJavaScript("document.body.innerText.length");
        if (length == previous) {
            return;
        }
        previous = length;
        sleep(500);
    }
}
```

## 第三步：把页面变成 Document

取网址、标题和正文，包装成 LangChain4j 的 `Document`：

```java
Frame frame  = browser.mainFrame().orElseThrow();
String url   = frame.executeJavaScript("document.location.href");
String title = frame.executeJavaScript("document.title");
String body  = frame.executeJavaScript("document.body.innerText");

Metadata metadata = Metadata.from(Document.URL, url);
metadata.put("title", title);
metadata.put("fetched_at", Instant.now().toString());
Document page = Document.from(body, metadata);
```

这段代码里有两个选择值得说清楚。

**为什么是 `innerText`。** 它反映渲染后的可见文本：跳过 `display:none` 的元素、保留自然换行。

**为什么是 `Document`。** 它是 LangChain4j 处理文本的标准数据类型，可以直接交给 `DocumentSplitter` 切分，也可以通过 `EmbeddingStoreIngestor` 写入向量库。将渲染结果封装成 Document 后，Fuzio 抓取的内容就能自然接入 LangChain4j 的后续处理流程。

### 图片怎么办

`innerText` 有个天然限制：只返回文本，页面里的 `<img>` 不会变成描述。图片的 `alt` 信息可以用一小段脚本原位保留成文本标记：

```java
frame.executeJavaScript("""
        document.querySelectorAll('img').forEach(img => {
            const alt = (img.getAttribute('alt') || '').trim();
            const marker = document.createElement('span');
            marker.textContent = alt ? '\\n[图片：' + alt + ']\\n' : '\\n[图片]\\n';
            img.replaceWith(marker);
        });
        """);
```

这样至少可以让模型知道： 这里原本有一张图片。以及图片作者提供的 alt 描述。

如果图表、信息图本身承载关键信息，光有 `alt` 就不够了，得走视觉路线。Fuzio 这边先把 `Browser` 调到页面完整宽高，再取整页位图：

```java
double pageWidth = frame.executeJavaScript(
        "Math.max(document.body.scrollWidth, document.documentElement.scrollWidth)");
double pageHeight = frame.executeJavaScript(
        "Math.max(document.body.scrollHeight, document.documentElement.scrollHeight)");
browser.resize((int) pageWidth, (int) pageHeight);

// 给重新布局留一点渲染时间，再取位图。
        Thread.sleep(2000);

var bitmap = browser.bitmap();
var image = BitmapImage.toToolkit(bitmap);

var output = new ByteArrayOutputStream();
ImageIO.write(image, "PNG", output);
String base64Png = Base64.getEncoder().encodeToString(output.toByteArray());
```

`BitmapImage.toToolkit()` 把 Fuzio 的 Bitmap 转成标准的 `BufferedImage`，之后就能交给 ImageIO 编码。一个实际使用中的提醒：页面特别长时位图会占大量内存，可以改成按固定视口高度分段截取、再拼接。

LangChain4j 这边，图像和文字一样，都是 `UserMessage` 的一种内容，交给一个普通的 `ChatModel` 即可（构造方式见第四步）。`gpt-4o-mini` 本身就接受图像输入，不用换模型：

```java
UserMessage message = UserMessage.from(
        TextContent.from("这张网页截图里的图表说明了什么？用中文概括。"),
        ImageContent.from(base64Png, "image/png"));

String answer = model.chat(message).aiMessage().text();
```

对纯文本页面，`innerText` 是更便宜的输入；当布局、表格和图片本身承载语义时，才值得上截图 + 多模态。

## 第四步：交给大模型

正文到手，剩下的交给模型。网页信息提取通常需要模型返回 JSON 等结构化数据。仅在提示词中约定输出格式并不稳定，模型仍可能遗漏字段或返回不合法的 JSON。对于支持结构化输出的模型，LangChain4j 可以根据 Java 类型生成 JSON Schema，在模型侧约束输出格式，并自动将结果转换成对应的 Java 对象。

先用一个 record 声明想要什么。字段说明写在 `@Description` 上，这个 record 就是抽取契约本身：

```java
public record ArticleSummary(
        @Description("网页的中文标题") String titleZh,
        @Description("中文标题对应的英文翻译") String titleEn,
        @Description("150 字以内的中文摘要") String summaryZh,
        @Description("与中文摘要对应的英文摘要") String summaryEn,
        @Description("2 到 4 个主题分类") List<String> topics) {
}
```

接着声明一个用于网页分析的接口。@SystemMessage 定义模型的角色和回答规则，@UserMessage 则是提示词模板，其中的 {{url}} 和 {{content}} 会由 @V 标注的参数填充。

AiServices 会在运行时创建动态代理，根据注解组装消息并调用模型，再将返回结果转换成 ArticleSummary：

```java
public interface ArticleAnalyzer {

    @SystemMessage("""
            你是一个严谨的中文网页信息抽取助手。
            只依据给定的网页正文作答，无法确定的字段留空字符串或空数组，不要编造。
            """)
    @UserMessage("""
            请从以下网页内容中提取信息。

            网页地址：{{url}}
            网页内容：
            {{content}}
            """)
    ArticleSummary analyze(@V("url") String url, @V("content") String content);
}
```

构造模型时打开 JSON Schema 能力，输出格式就从"提示词里的君子协定"变成"模型侧的硬约束"：

```java
ChatModel model = OpenAiChatModel.builder()
        .apiKey(System.getenv("OPENAI_API_KEY"))
        .modelName("gpt-4o-mini")
        // 从返回类型反射生成 JSON Schema 随请求发出，由模型侧保证输出合法；
        // strict 进一步要求所有字段必填、不允许多余字段。
        .supportedCapabilities(RESPONSE_FORMAT_JSON_SCHEMA)
        .strictJsonSchema(true)
        // 抽取要的是稳定复现，不是创造性。
        .temperature(0.0)
        // 长正文的抽取比普通对话慢不少，默认超时容易踩线。
        .timeout(Duration.ofSeconds(120))
        .build();
```

要加抽取字段时只改 record，提示词一个字不用动。串起来只剩两行：

```java
ArticleAnalyzer analyzer = AiServices.create(ArticleAnalyzer.class, model);
ArticleSummary summary = analyzer.analyze(page.metadata().getString(Document.URL), page.text());
```
    
> 严格 JSON Schema 是 OpenAI 系接口的能力。换成只支持 `json_object` 的兼容端点时（例如 DeepSeek，它收到 `json_schema` 会直接返回 400），把上面两行能力声明换成 `responseFormat("json_object")`，并把字段说明写回提示词，其余代码不变。

到这里，一个中文页面就变成了带标题、日期、中英摘要、要点、实体和主题的 Java 对象。

## 两个会遇到的问题

以上完成了基本的抓取流程。在实际使用中，还需要处理两个常见问题。

### 一、列表页：先滚动展开

文章详情页通常加载一次就够；信息流、搜索结果和瀑布流页面则会随着滚动继续加载。程序化滚动就能触发懒加载：

```java
static final String PAGE_HEIGHT =
        "Math.max(document.body.scrollHeight, document.documentElement.scrollHeight)";

void scrollToBottom(int maxRounds) {
    Frame frame = mainFrame();
    double lastHeight = -1;
    for (int i = 0; i < maxRounds; i++) {
        double height = frame.executeJavaScript(PAGE_HEIGHT);
        if (height == lastHeight) {
            return;
        }
        lastHeight = height;
        frame.executeJavaScript("window.scrollTo(0, " + PAGE_HEIGHT + ")");
        sleep(800);   // 给懒加载的网络请求留时间
    }
}
```

### 二、重试与礼貌限速

真实网络里失败是常态。很多站点在请求过密时会直接掐断连接，Fuzio 会抛出 `NavigationException`：

```java
private void loadWithRetry(String url) {
    for (int attempt = 1; attempt <= MAX_ATTEMPTS; attempt++) {
        try {
            // 礼貌延迟，且随重试次数递增，给被限流的服务器留出喘息时间。
            sleep(500L * attempt);
            browser.navigation().loadUrlAndWait(url, LOAD_TIMEOUT);
            return;
        } catch (NavigationException e) {
            boolean retryable = e.netError() == NetError.ABORTED;
            if (!retryable || attempt == MAX_ATTEMPTS) {
                throw e;
            }
        }
    }
}
```

> 这个示例只面向公开可访问的页面。抓取前请遵守目标站点的 `robots.txt` 与服务条款，控制好对同一域名的请求频率，并遵守数据来源地关于数据采集与个人信息保护的相关法规。

---

## 拓展：把浏览器交给模型

到目前为止，页面的访问和操作都由 Java 代码控制，模型只负责理解抓取到的内容。借助 LangChain4j 的工具调用（@Tool），还可以把打开页面、点击和滚动等浏览器操作交给模型，由它根据任务自行规划并执行下一步。

```java
public final class WebTools {

    private final FuzioDocumentLoader loader;   // 四个工具共享同一个浏览器

    @Tool("打开指定网址，等待页面（含 JavaScript 动态内容）渲染完成，"
            + "返回页面标题和正文开头。读取任何网页前都要先调用它。")
    public String openPage(
            @P("完整网址，必须以 http:// 或 https:// 开头") String url) { /* … */ }

    @Tool("读取当前页面已渲染的完整正文。当 openPage 返回的开头部分不足以回答问题时调用。")
    public String readPage() { /* … */ }

    @Tool("在当前页面上找到文字匹配的链接或按钮并点击。用于进入搜索结果、翻页或展开折叠区块。")
    public String clickText(
            @P("链接或按钮上显示的文字，支持部分匹配，尽量用最短的关键词") String text) { /* … */ }

    @Tool("向下滚动当前页面以触发懒加载，返回新加载出来的内容。列表页内容看起来不完整时调用。")
    public String scrollForMore() { /* … */ }
}
```

`@Tool` 和 `@P` 中的描述会作为工具定义发送给模型，帮助模型理解每个工具的用途和参数，并据此决定何时调用以及传入什么内容。

这些工具封装了打开页面、读取正文、点击元素和滚动加载等浏览器操作，Fuzio 都提供了对应的导航、DOM 和输入 API。四个工具共享同一个 FuzioDocumentLoader，因此也共享同一个浏览器实例，页面状态、Cookie、登录信息和滚动位置都能在多次调用之间保留。

LangChain4j 负责将 @Tool 方法提供给模型，并根据模型的选择执行相应方法，再把结果返回给模型，直到它完成任务并给出最终答案。

## 结论

把"抓取动态网站"这件麻烦事拆开看，其实是三个不同性质的问题，各自交给擅长的角色反而简单：

- **让 Fuzio 负责加载网页。** 通过集成完整的 Chromium，Fuzio 能够执行页面中的 JavaScript，并获取动态渲染后的内容。
- **让 LangChain4j 负责与模型衔接。** 从 Document、结构化输出到 @Tool 工具调用，都可以通过统一的类型化 API 完成，减少手写提示词组装、结果解析和调用流程等胶水代码。
- **让大模型负责理解内容。** 由模型完成摘要、分类和信息提取，使处理逻辑不再依赖特定的页面结构。

这套骨架的用途也不止"抓文章"。渲染结果已经是标准的 `Document`，接上 `DocumentSplitter` 切分、`EmbeddingStore` 入库，就是 RAG 的数据源。




过去，企业做爬虫通常是为了把网页上的标题、正文、公告等字段保存到数据库；现在，采集到的数据还可以继续交给大模型做摘要、分类、实体提取和翻译，或者经过清洗、切分和向量化之后进入企业知识库，成为 RAG 系统的数据来源。

Java 抓取动态网页：Chromium 渲染 + LangChain4j 大模型结构化提取

Java 如何抓取 JavaScript 渲染的动态网页：用内嵌 Chromium 真实加载页面、等待动态内容渲染完成，再通过 LangChain4j 让大模型输出结构化 JSON，附完整代码与 RAG 接入思路。

编程语言

大模型驱动网页数据采集新范式：Java开发者可通过Fuzio集成完整Chromium，执行JavaScript获取动态渲染内容，结合LangChain4j类型安全API实现结构化提取、摘要分类及RAG知识库构建。方案支持图片多模态分析、懒加载滚动、重试限速，并可通过@Tool将浏览器操作交由AI自主规划执行。

结构化数据

代码解释

数据库

服务器

DeepSeek

JSON

Java

热销域名限时优惠，新客首年免费！


domain

2026上云采购 | AI焕新·智启新局

lexiang

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

Java 抓取动态网页：Chromium 渲染 + LangChain4j 大模型结构化提取-腾讯云开发者社区-腾讯云

Java 抓取动态网页：Chromium 渲染 + LangChain4j 大模型结构化提取

Java 抓取动态网页：Chromium 渲染 + LangChain4j 大模型结构化提取

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐