多模态数据标注：RustFS + CubeStudio + LabelStudio

一、多模态标平台——功能架构

多模态标注平台依托Web在线标注工作台，支持图像、文本、遥感影像等多模态素材的标注任务创建、样本分发、在线标注、版本比对、质检验收与数据集导出全流程管理。支持单人标注、双人双标校验、批量样本处理等多种标注生产模式，能够对接中台数据资产库，实现标注样本读取、标注成果回写资产目录，打通标注数据与AI模型训练链路，降低标注工程化落地成本。

整体架构划分为标注任务编排层、样本标注算子层、标注成果管控层四层，四层协同完成从样本接入到标注资产入库的完整闭环：

1、多模态标注能力，图像/文本 / 遥感等素材统一工作台标注；

2、支持双人双标比对校验，自动留存标注历史版本，便于质检追溯；

3、与数据中台资产打通，标注成果直接入库，无缝支撑AI模型训练。

二、核心能力演示

1、多模态样本接入与标注任务分发

支持图片、遥感影像、文本等多类型原始样本接入，内置丰富标注工具；支持批量导入样本、自定义抽样策略、任务批量拆分下发，区分标注、质检两道工序，按需分配任务，支撑规模化标注生产作业。

2、双标校验+版本追溯，保障标注数据集质量

支持双人独立标注、系统自动比对标注结果，快速识别标注分歧；自动保存全量标注历史版本，支持样本回退、驳回重标。支持自定义抽检规则，隔离不合格样本，减少人工质检工作量，保障训练数据集可靠性。

3、AllData数据中台资产互通，全链路可观测适配行业AI场景

实时展示任务进度、标注完成率、质检通过率等核心指标，快速定位标注卡点。标注完成的数据集可直接沉淀到中台资产目录，支持数据集导出，打通从样本接入、标注加工到模型训练的数据链路；一套平台适配水利遥感、煤矿图像、政务文本等行业AI数据集生产。

三、多模态标注平台——功能能力演示

1、首页概览

展示最近标注项目列表与任务完成进度，支持创建标注项目、邀请成员、查看项目详情。

创建项目：可以通过项目名称、本地导入数据或选择模版3种方式进行创建。

2、工程项目

展示所有标注项目卡片，这里的工程项目是独立的标注项目实例，里面完整保存一套：标注任务、标签模板、数据集、标注结果、权限配置。

💡 标注工程项目是自带标注规则、标签集、任务状态、标注结果、权限，是一个完整AI数据集工程单元。一个工程项目下可以导入多批图片，产出一套统一规范的标注数据集，导出给模型训练

展示该工程下全部标注任务清单，支持批量操作、筛选、导入导出、新增视图，可查看单条任务的JSON标注数据。

查看单条标注任务的源码弹窗，Code视图以原始JSON文本展示任务信息，包含图片存储路径、多边形标注坐标、标签文本等完整标注结果。

2.1 工程项目设置页面 (基础信息、标注界面、标注配置、模型、云存储、回调通知、危险操作区)：

设置-基础信息：可编辑项目名称、描述、工作空间与主题色，配置任务采样策略(顺序/随机/不确定性采样)并保存。

设置-标注界面：可视化视图，可视化配置标签集、标注绘制参数，实时预览图片多边形标注效果，用于定义标注交互样式。还可以选择使用模版快速创建任务

设置-标注界面模版选择：提供计算机视觉、NLP、OCR、视频等多模态预置标注模板，可直接选用快速搭建标注任务。

系统提供多种类模版，覆盖日常业务各种类型(如以下为部分模版展示)：

音频/语音处理：

自然语言处理：

对话处理：

社区共享模版处理：

2.2 模版适合业务场景推荐：

计算机视觉： 图像目标检测、语义/实例分割、图片分类。 场景：遥感航拍(机/矿区/水利)、工业质检、安防、煤矿GIS影像、自动驾驶图片标注。 自然语言处理： 文本实体抽取、文本分类、情感分析。 场景：政务工单抽取、金融合同信息提取、客服文本意图识别、煤矿运维日志文本打标。 音频/语音处理： 语音转写、说话人分割、对话角色/意图标注。 场景：客服通话质检、政务热线语音、井下对讲音频、会议录音转写标注。 对话 AI： 对话内关键点标记。 场景：大模型对话关键信息抽取、人机对话行为标记、智能客服对话要点提取。 对话： 多轮聊天会话标注。 场景：智能客服、政务对话机器人、煤矿调度对话、大模型对话数据集制作。 排序与打分： 内容打分、优先级排序标注。 场景：大模型回答质量评估、工单优先级打分、检索结果相关性排序。 结构化数据解析： 表格、JSON结构化数据标注。 场景：财务报表、政务表单、设备结构化采集数据的字段抽取与校验。 时序分析： 时序曲线、异常区间、异常点标注。 场景：火电/煤矿传感器、水利监测、IoT设备指标曲线，标注异常波动。 视频：视频帧标注、视频目标追踪。 场景：工地/井下视频、安防摄像头、工业产线视频，做目标跟踪与行为识别。 生成式AI：大模型输出内容评估、偏好标注。 场景：大模型问答打分、人类偏好RLHF标注、AI生成内容合规性评估。 社区贡献模板 行业用户自定义模板，可复用行业特殊标注需求，快速扩展标注能力。

设置-标注配置：支持配置标注前提示文案，开启 AI 预标注并选择对应的预测模型，辅助提升标注效率。

设置-模型：支持接入机器学习模型，实现实时预测、AI预标注与主动学习，加速数据集标注。

设置-AI预标注：用于上传、管理模型预测结果，加载预标注数据自动生成标注，减少人工打标工作量。

设置-云存储：对接S3对象存储作为数据源/结果存储，可新增源存储、目标存储，执行存储同步、编辑、删除。

💡 云存储的核心作用： 1、多模态标注的数据(遥感大图、煤矿图像、视频、音频)体积巨大，不把文件上传拷贝到平台内部，平台直接远程读取对象存储里的原始文件，节省存储与带宽。 2、支持数据资产回流：标注完的标签、标注结果，可以回写到对象存储，直接供给下游Flink、Doris、模型训练使用，形成完整数据流。 3、一套标注项目可以挂载多个独立存储，比如同时接入水利数据集、煤矿图像库，在同一个项目里切换不同数据源。 4、适配私有化信创部署，兼容S3协议的国产对象存储(RustFS/MinIO)。

2.3 添加源存储步骤：

步骤1：选择数据存放的存储类型

步骤2：配置存储连接，用来填写存储的接入地址、账号密钥，测试连通性

步骤3：导入配置与数据预览，设置数据筛选规则，挑选存储桶里哪些文件作为标注任务数据。

步骤4：确认并同步

3、多模态标注平台(LabelStudio)和多模态数据存储(RustFS)平台的联动

这里通过云存储连接多模态数据存储平台将非结构化数据同步到多模态标注平台中，将数据活用成企业资产。在Bucket Prefix（桶前缀）划分数据读取范围，同桶可创建多套存储实例，绑定不同虚拟目录，实现数据集隔通过Bucket Name接入同一个底层RustFS对象存储桶，这一层不做任何目录隔离。

在这里通过Bucket Prefix来指定桶内部的子文件夹路径，告诉系统获取存储桶中哪个子目录。

完成后点击【同步存储】跟多模态数据平台的存储目录进行核对刷新数据，当多模态数据平台有新数据存入时，再点击【同步存储】进行同步即可，不用再新建连接获取。

这里两个功能的联动业务价值：

1、独立同步控制、独立状态管理

每个存储实例拥有独立的同步按钮、同步任务、上次同步时间。水利项目新增遥感图片，只需要触发【同步存储】，不会把其他数据刷新进来；可以单独删除某一个数据集的存储配置，不影响同Bucket下其他业务数据集。

2、适配甲方多项目、多团队的权限与资产管理

面向甲方交付时，不同业务线(如：水利/煤矿)属于独立数据集资产；在中台资产目录里，需要分开登记、独立统计任务数量。 存储连接命名直接对应业务数据集名称，方便项目管理员一眼识别，区分不同业务数据源，方便资产盘点。

3、支持差异化过滤规则

每个存储连接可单独配置文件过滤正则：比如水利只同步.tif遥感影像；语音数据集只同步.wav音频，同一桶下不同业务使用不同过滤规则。

设置-回调通知：支持添加Webhook，订阅标注事件，事件触发时自动向外推送HTTP回调消息。

设置-危险操作区：提供重置缓存、清除标签页、删除项目等高风险操作，用于项目数据重置与销毁。

4、单个任务进行标注

这里是正式对一张图片进行标注的操作。

⚠️ 这里一个图片有多个样本的常见来源： 1、多人标注(双标/众包校验)：A标注一遍，B再对同一张图片独立标注一遍；同一样本产生2份标注。用来做标注一致性校验，评估标注员的重合度。 2、同一人多次修改保存：同一个标注员，保存一次 → 修改再提交保存一次，系统会留存历史版本，形成2套标注。

💡 在对比页面管理员/质检员可以： 1、肉眼对比两套标注的多边形区域是否符合规范； 2、可以进入其中任意一份标注版本，编辑、删除这一份标注记录； 3、可以选择保留合格的那一套，删掉不合格的那套标注；

5、多模态标注平台(LabelStudio)和机器学习平台(CubeStudio)联动使用

核心联动底座：共享同一套S3兼容多模态对象存储RustFS + HTTP/API 打通 ML Backend，形成预标注 → 人工校验标注 → 模型训练 → 模型回灌预标注的AI数据闭环。

在多模态标注平台(LabelStudio)【模型】功能中通过接入机器学习平台(CubeStudio)训练好的模型，部署成推理服务，作为 LabelStudio的ML Backend接入标注项目：

这个联动的业务价值： 1、标注员打开待标注样本时，LabelStudio自动调用CubeStudio推理服务，返回预测结果(框、掩码、文本标签、大模型回答)； 2、标注人员只做校验+少量修正，不用从零全手工标注； 3、还可以作为主动学习智能进阶。CubeStudio返回预测置信度，LabelStudio优先把低置信度难样本推给标注人员，用最少标注量提升模型效果。