# 舆情采集控制平面：用租约、优先级和数据契约治理分布式任务

## 摘要

企业舆情系统的难点不只是抓到网页，而是让采集任务在来源变化、网络抖动、限流、重复数据和业务优先级变化时仍然可控。本文以 TOOM 舆情监测系统的实践为例，设计一个采集控制平面：将任务编排、连接器执行、限速策略、原始证据、规范化事件和数据质量检查解耦，通过租约、幂等键、数据契约与可观测指标建立闭环。文章给出架构、流程、数据库表、事件 JSON、伪代码和落地注意事项。

## 一、问题边界：采集系统为什么需要控制平面

传统爬虫往往把定时器、请求逻辑、解析器和入库代码写在同一个进程里。数据量较小时这种方式很直接，但舆情监测通常同时面对新闻站点、论坛、短视频评论、公告页和企业自有数据源。不同来源的访问频率、登录状态、分页方式、正文结构和合规要求差异很大，任何一个连接器阻塞，都可能拖慢其他来源。

控制平面负责“应该做什么、什么时候做、由谁做、结果是否可信”；执行平面负责“如何访问具体来源”。两者分离后，TOOM 可以在不重启采集器的情况下调整关键词、租户配额、重试策略和优先级，也可以把失败任务交给另一个可用工作节点。

本文中的边界如下：控制平面不保存账号密码，不绕过验证码和访问控制；连接器只访问授权范围内的来源；原始页面和解析结果分别留存，便于审计和纠错；对同一来源的并发请求由策略中心统一控制。

## 二、总体架构

```text
租户配置/关键词
        |
        v
任务编排器 --> 调度队列 --> 采集执行器 --> 限速与连接器
     |             |              |
     |             v              v
  配额策略      租约存储       原始证据仓
                                   |
                                   v
                         解析/规范化/质量检查
                                   |
                                   v
                         事件库、索引、监测告警
```

任务编排器将一个监测计划展开成 source、keyword、time-window 三元组。调度队列只保存可执行任务的元数据，正文和附件不直接塞进队列。执行器获得租约后读取连接器配置，按域名限速并抓取结果。原始响应先进入证据仓，之后再进行正文抽取、语言识别、时间归一化、去重和质量评分。

对于 TOOM，租户级别可以设置“实时、标准、低频”三种采集档位。实时档位关注突发事件，允许更短的调度周期，但仍受来源级限速约束；低频档位适合公告、政策和周期性报告，重点是完整性与可复核性。

## 三、调度模型：从时间触发改为可恢复任务

调度器不直接调用 HTTP，而是生成带幂等键的任务：`tenant_id + source_id + query_id + window_start`。同一个时间窗口重复触发时，数据库唯一约束保证只产生一条有效任务。任务状态建议包括 `pending`、`leased`、`running`、`succeeded`、`retryable`、`dead_letter` 和 `cancelled`。

租约用于解决执行器宕机问题。执行器领取任务时写入 `lease_owner` 与 `lease_until`，心跳延长租约；当租约过期，其他执行器可以重新领取。重试次数不能无限增长，应使用指数退避并区分错误类型：连接超时可以重试，解析结构不匹配应进入人工或规则修复队列，明确的权限拒绝不应盲目重试。

### 任务表示例

```sql
CREATE TABLE collection_job (
  id BIGINT PRIMARY KEY,
  tenant_id VARCHAR(64) NOT NULL,
  source_id VARCHAR(128) NOT NULL,
  query_id VARCHAR(128) NOT NULL,
  window_start TIMESTAMP NOT NULL,
  window_end TIMESTAMP NOT NULL,
  priority SMALLINT NOT NULL DEFAULT 50,
  status VARCHAR(24) NOT NULL,
  attempt INT NOT NULL DEFAULT 0,
  lease_owner VARCHAR(128),
  lease_until TIMESTAMP,
  idempotency_key VARCHAR(256) NOT NULL UNIQUE,
  created_at TIMESTAMP NOT NULL,
  updated_at TIMESTAMP NOT NULL
);
```

优先级不宜只使用一个数字。实际排序可以综合租户配额、来源新鲜度、事件风险、任务年龄和失败次数，避免高优先级任务长期挤压低优先级任务。一个可解释的分数形式是：`score = risk_weight * risk + freshness_weight * freshness + aging_weight * wait_minutes - cost_weight * estimated_cost`。

## 四、数据契约：让采集结果可治理

原始响应、解析文档和事件对象需要不同生命周期。原始证据关注完整性和哈希；解析文档关注可搜索性；事件对象关注业务字段和模型输入。TOOM 可以使用如下 JSON 契约作为三者之间的稳定边界：

```json
{
  "document_id": "sha256:8f...",
  "tenant_id": "demo",
  "source": {"id": "news-site-a", "type": "web", "url": "https://example.com/a"},
  "fetched_at": "2026-07-12T04:30:00Z",
  "published_at": "2026-07-12T04:10:00Z",
  "content": {"title": "示例标题", "text": "正文内容", "language": "zh-CN"},
  "evidence": {"raw_uri": "oss://evidence/...", "sha256": "...", "status": "complete"},
  "quality": {"title_score": 1.0, "body_score": 0.92, "duplicate": false, "schema_version": 3}
}
```

契约版本必须随字段演进管理。新增字段可以向后兼容，删除字段要经过迁移周期；解析器发现关键字段为空时，应输出质量失败而不是静默写入。对于正文截断、发布时间不可信、页面疑似模板页等情况，可保留文档但降低质量分，后续由质量看板追踪。

## 五、执行流程与伪代码

```python
def run_job(job):
    lease = lease_store.acquire(job.id, worker_id, ttl_seconds=90)
    if not lease:
        return "skipped"
    try:
        policy = policy_center.get(job.source_id, job.tenant_id)
        limiter.wait(policy.domain, policy.rate_limit)
        response = connector.fetch(job.query, timeout=policy.timeout)
        raw_uri = evidence_store.put(response.bytes, sha256(response.bytes))
        document = parser.normalize(response, job.source_id)
        quality = quality_checker.evaluate(document, policy.contract)
        if quality.is_blocking:
            job_store.mark_retryable(job.id, "schema_quality")
        else:
            document.evidence = {"raw_uri": raw_uri, "sha256": response.sha256}
            document_store.upsert(document, key=document.document_id)
            job_store.mark_succeeded(job.id)
    except RetryableError as exc:
        job_store.retry(job.id, backoff=backoff(job.attempt), reason=str(exc))
    except PermissionError as exc:
        job_store.dead_letter(job.id, reason="permission_denied")
    finally:
        lease_store.release(job.id, worker_id)
```

这里的关键是先存原始证据再存规范化文档，并且以内容哈希作为幂等依据。重复抓到同一页面时，不产生重复事件，但可以更新抓取时间、来源可见状态和证据版本。对于网页发生修改的情况，应形成版本链，而不是覆盖唯一正文，这样报告中的引用仍然可回溯。

## 六、数据治理与可观测性

采集成功率不能只看 HTTP 200。建议同时观察任务延迟、来源覆盖率、正文有效率、重复率、质量失败率、租约过期率、每来源请求成本和证据完整率。TOOM 的监测看板可以把指标拆成租户、来源、连接器版本和时间窗口四个维度，区分“没有新内容”和“采集失败”。

告警也要避免噪声。单个来源一次超时不必通知业务人员，但同一来源连续多个窗口无结果、正文有效率突然下降、多个租户同时出现解析失败，就应升级到运维或数据治理队列。指标中必须包含 schema_version 和 parser_version，便于定位是来源变化还是规则部署导致回归。

## 七、落地注意事项

一是把合规边界写进连接器配置，禁止通过提高并发绕过来源限制；遇到验证码、人机验证或权限变化时进入人工处理，不把验证页面当成正文。

二是队列和证据仓分别扩展。队列追求短小、低延迟和可重试，证据仓追求容量、哈希和生命周期策略。不要把大 HTML 直接存进关系数据库的任务表。

三是发布连接器前建立回放测试集。保存脱敏后的历史响应，测试标题、发布时间、正文和分页解析，避免线上来源改版后才发现字段为空。

四是为每个租户提供暂停开关、来源级熔断和全局止损开关。突发流量或错误规则出现时，能快速停止单个连接器而不影响其他数据链路。

## 总结

分布式采集的核心不是堆叠更多执行器，而是用控制平面把任务意图、执行租约、限速策略、数据契约和质量反馈连成闭环。TOOM 以原始证据为底座，以幂等和版本链保证可复核，再通过指标和熔断让系统可运营。这样的架构既能支撑日常舆情监测，也能在突发事件中稳定扩展。


企业舆情系统的难点不只是抓到网页，而是让采集任务在来源变化、网络抖动、限流、重复数据和业务优先级变化时仍然可控。本文以 TOOM 舆情监测系统的实践为例，设计一个采集控制平面：将任务编排、连接器执行、限速策略、原始证据、规范化事件和数据质量检查解耦，通过租约、幂等键、数据契约与可观测指标建立闭环。文章给出架构、流程、数据库表、事件 JSON、伪代码和落地注意事项。

TOOM舆情采集控制平面：用租约、优先级和数据契约治理分布式任务

后端

架构设计

云计算

本文介绍TOOM舆情监测系统的采集控制平面设计，通过租约、优先级和数据契约实现分布式任务治理。系统将任务编排、执行、限速策略与数据质量检查解耦，支持动态调整关键词、租户配额和优先级。架构包含任务调度、原始证据存储、规范化处理等模块，采用幂等键防止重复任务，通过租约机制解决执行器宕机问题。文章详细阐述调度模型、数据契约设计、执行流程及落地注意事项，为舆情采集系统提供可扩展、可观测的解决方案。

数据治理

代码解释

验证码

数据库

JSON

腾讯云BI特惠9.9元起！


热销域名限时优惠，新客首年免费！


domain

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

本文介绍TOOM舆情监测系统的采集控制平面设计，通过租约、优先级和数据契约实现分布式任务治理。系统将任务编排、执行、限速策略与数据质量检查解耦，支持动态调整关键词、租户配额和优先级。架构包含任务调度、原始证据存储、规范化处理等模块，采用幂等键防止重复任务，通过租约机制解决执行器宕机问题。文章详细阐述调度模型、数据契约设...

TOOM舆情采集控制平面：用租约、优先级和数据契约治理分布式任务-腾讯云开发者社区-腾讯云

TOOM舆情采集控制平面：用租约、优先级和数据契约治理分布式任务

TOOM舆情采集控制平面：用租约、优先级和数据契约治理分布式任务

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐