内容平台的智能审核：多模态理解如何实现精准分级？

内容平台每天需要处理大量的图文与视频内容，传统的人工审核方式难以应对海量内容的审核需求。VITA多模态理解模型通过对图文内容的质量、美观度、相关度进行多维度评分，辅助内容平台实现精准的内容分级与运营管理。

一、内容平台的内容治理挑战

1.1 海量内容的处理压力

随着互联网内容的爆发式增长，内容平台面临着海量内容的审核和管理压力。每天有大量的图文、视频内容被上传到内容平台，这些内容需要经过审核、分类、推荐等多个环节的处理。

传统的人工审核方式不仅成本高，而且效率低，难以应对海量内容的处理需求。同时，人工审核还存在标准不统一、主观性强等问题，影响内容审核的质量和一致性。

1.2 内容分级管理的需求

内容平台需要对不同质量的内容进行分级管理，以实现更好的内容推荐和用户体验。高质量的内容应该获得更多的曝光机会，而低质量的内容则应该被限制或下架。

内容分级管理需要基于多维度的评估标准，包括内容质量、美观度、相关度等多个方面。这些评估标准需要综合考虑图文、视频等多种类型的内容，以及内容中的画面、音频、文字等多种信息。

二、VITA的多模态内容理解能力

2.1 原生多模态理解架构

VITA基于原生多模态大模型技术构建，对图片、视频、音频与文本进行统一训练，在单个模型内完成端到端的多模态内容理解。

区别于传统的内容审核方案依赖多个单模态模型串联成工作流，VITA在单个模型内完成对图文、视频内容的综合理解。这种架构使得VITA能够同时处理内容中的多种信息，实现更准确、更全面的内容理解。

2.2 图文联合理解能力

VITA支持图文关联性判断、图文内容联合识别、多图与文本的综合理解。

在内容审核场景中，这种能力可以用于评估图文内容的相关度，判断内容中的图像与文字是否围绕同一主题展开，是否存在图文不符的情况。

2.3 视频内容理解能力

VITA支持对视频画面和音频做综合理解，单次可处理最长30分钟的长视频，擅长视频结构化、分镜拆解、内容摘要等任务。

在内容审核场景中，这种能力可以用于理解视频内容的主题、质量、合规性等多个维度，实现视频内容的自动审核和分级。

三、VITA在内容质量评估中的应用

3.1 图文质量评估

VITA可以对图文内容的质量进行评估。根据产品文档，图文质量评估主要关注广告中图像与文字在表达规范性、信息清晰度与合规风险上的综合质量。

具体而言，图文质量评估可以包括以下方面：

• 表达规范性：评估图像与文字的表达是否符合规范，是否存在违规内容
• 信息清晰度：评估图像与文字传递的信息是否清晰、准确
• 合规风险：评估内容是否存在合规风险，是否符合相关法律法规和平台规则

3.2 素材美观度评估

VITA可以对素材的美观度进行评估。素材美观度评估主要关注广告素材在视觉呈现层面的整体质量，包括音画体验、构图合理性与视觉舒适度。

具体而言，素材美观度评估可以包括以下方面：

• 音画体验：评估视频或音频内容的音画质量，是否存在音画不同步、画质模糊、音质不清晰等问题
• 构图合理性：评估图像或视频画面的构图是否合理，是否符合美学原则
• 视觉舒适度：评估内容的视觉呈现是否舒适，是否存在引起视觉不适的元素

3.3 相关度评估

VITA可以对内容的相关度进行评估。相关度评估主要关注内容中视频、图像与文字之间是否围绕同一产品、同一卖点与同一主题展开。

具体而言，相关度评估可以包括以下方面：

• 图文相关度：评估图像与文字内容是否相关，是否存在图文不符的情况
• 视频与文字相关度：评估视频内容与 accompanying 文字描述是否相关
• 整体主题一致性：评估内容的各个组成部分是否围绕同一主题展开

四、VITA在内容分级中的应用

4.1 内容分级的维度

基于VITA的多模态内容理解能力，内容平台可以从多个维度对内容进行分级：

• 质量等级：根据内容的质量评估结果，将内容分为高质量、中等质量、低质量等等级
• 美观度等级：根据内容的美观度评估结果，将内容分为高美观度、中等美观度、低美观度等等级
• 相关度等级：根据内容的相关度评估结果，将内容分为高相关度、中等相关度、低相关度等等级

4.2 内容分级的应用

内容分级结果可以应用于以下场景：

• 内容推荐：根据内容分级结果，对高质量内容进行更多的推荐和曝光
• 内容审核：根据内容分级结果，对低质量或存在合规风险的内容进行重点审核
• 运营决策：根据内容分级结果，制定不同的运营策略和推广方案

4.3 多维度综合评分

VITA可以对内容的质量、美观度、相关度进行多维度评分，输出综合的评估结果。

这种多维度综合评分可以帮助内容平台更全面地了解内容的质量状况，实现更精准的内容分级和推荐。

五、VITA的技术优势

5.1 端到端的多模态理解

VITA在单个模型内完成端到端的多模态内容理解，避免了传统方案中多模型串联带来的信息损失和效率降低。

这种端到端的多模态理解能力使得VITA能够同时处理内容中的多种信息，实现更准确、更全面的内容理解。

5.2 灵活的任务适配

VITA支持基于自定义prompt对视频、图片、音频进行内容理解。在面对新的内容审核需求时，通过prompt即可调整任务输出，无需重新训练模型。

这种灵活性使得VITA能够快速适配不同的内容审核场景和需求，降低内容审核系统的开发和运维成本。

5.3 工程性能优势

VITA在工程性能方面表现出色：

• 推理时延：图片首Token时延P95为0.539秒，视频首Token时延P95为2.471秒，满足在线业务对响应速度的要求
• 上线效率：单模型端到端方案，业务上线周期1-3天（传统多模型拼接方案通常需要4-12周），整体上线耗时节约85%以上
• 成本优势：整体定价约为主流竞品的50%，大幅降低企业在大规模调用、多场景部署下的模型使用成本

六、适用场景与案例分析

6.1 适用场景

VITA在内容平台生态治理场景中的应用包括但不限于：

• 图文内容质量评估：对平台上的图文内容进行质量评估，辅助内容分级
• 视频内容审核：对平台上的视频内容进行审核，识别违规内容
• 广告素材评估：对广告素材进行质量、美观度、相关度评估，优化广告投放效果
• 内容推荐优化：根据内容评估结果，优化内容推荐策略

6.2 评估维度详解

根据产品文档，VITA在内容平台生态治理场景中的评估维度包括：

图文质量：

广告中图像与文字在表达规范性、信息清晰度与合规风险上的综合质量评估。

素材美观度：

广告素材在视觉呈现层面的整体质量评估，包括音画体验、构图合理性与视觉舒适度。

相关度：

广告中视频、图像与文字之间是否围绕同一产品、同一卖点与同一主题展开。

七、接入与使用指南

7.1 API接入方式

VITA API兼容OpenAI API协议，可直接使用OpenAI SDK进行接入，降低接入成本。

接口信息：

• 接口协议：兼容OpenAI Completions API协议
• BaseURL（境内）：https://tokenhub.tencentmaas.com/v1
• 接口路径：/chat/completions
• 请求方式：POST

支持模型：

• vita-video-3.0：支持视频画面（不含音频）和图片
• vita-video-long：支持视频（含画面和音频）和图片，需要处理音频则选择该模型

7.2 使用建议

• 指令编写：尽量使用明确、具体的指令，避免模糊表述。需要输出特定格式时在指令中明确说明。
• 批量处理：对于批量处理场景，建议先进行小批量测试，确认效果后再大规模使用。
• 结果校验：对于关键信息，建议进行人工核验。

7.3 定价信息

VITA的定价如下：

• 输入：1.2元/百万Token
• 输出：3.5元/百万Token

每个账号赠送100万免费Token额度，可用于测试和体验。

八、结语

内容平台的内容治理是一个复杂而重要的课题。VITA多模态理解模型通过对图文内容的质量、美观度、相关度进行多维度评分，为内容平台提供了精准的内容分级与运营管理方案。

VITA的原生多模态理解架构、端到端的多模态内容理解能力、灵活的任务适配能力，使其成为内容平台智能审核的有力工具。无论是图文内容质量评估、视频内容审核，还是广告素材评估、内容推荐优化，VITA都能够提供有力的支持。

了解更多VITA多模态理解模型的能力，请访问：https://console.cloud.tencent.com/tokenhub/multimodal?modelId=youtu-vita