视频译制功能简介
字幕级视频译制:擦除+字幕提取+字幕翻译。自动识别视频中的原始字幕,进行精准擦除和大模型翻译,并将翻译后的字幕无缝压制到视频中。
配音级视频译制:在字幕级视频译制的同时,提供自然流畅的 AI 配音,生成带有 AI 翻译语言字幕配音的新视频。

前置操作

方式一、控制台使用
发起任务
1. 选择需要发起任务的视频,并单击媒体处理。

2. 处理类型选择“媒体智能”的智能分析,选择25号预设模板。开启更多设置的扩展参数,参考下文 扩展参数说明,传入所需参数。
说明:
25号预设模板默认为智能擦除-去水印基础版功能。如需发起视频译制任务,必须传入扩展参数,否则仅对视频进行去水印处理。
控制台会自动转义,请直接传入 JSON 数据,不要传入转义后的字符串,否则会导致任务失败。

查看任务结果


方式二、API 接入
发起任务
调用 ProcessMediaByMPS,FileId 处填写需要处理的媒资 ID,SubAppId 处填入子应用 ID,MPSProcessMediaParams 参数中填写 AiAnalysisTask 任务,并将 Definition 设置为 25(预置模板)。ExtendedParameter 根据需求填额外的扩展参数,通过该参数实现特定的能力。
视频译制任务 MPSProcessMediaParams 参数示例如下:
{"AiAnalysisTask":{"Definition":25,"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}"}}

查询任务结果
可以在输出信息中找到输出文件路径。

ExtendedParameter 扩展参数说明
请根据视频译制使用场景,设置相应的扩展参数,以下为常见场景说明。
场景1:OCR 提取字幕并翻译+擦除原字幕+压制新字幕+AI 克隆配音(最常用)
将视频字幕及配音翻译为指定语言,生成带有翻译语言字幕及配音的新视频。其中,字幕及配音内容来源于 OCR 文本提取(提取视频画面上的源字幕)。对于画面上带有源语言字幕的视频,建议使用该场景处理。
计费说明
使用该场景能力,收取 MPS「去字幕」、「OCR 提取字幕并翻译+压制字幕」及 「AI 配音(克隆音色)」三个计费项的费用。定价可参考 计费说明。
若不开启压制字幕,收取 MPS「去字幕」、「OCR 提取字幕并翻译」及 「AI 配音(克隆音色)」三个计费项的费用。定价可参考 计费说明。
ExtendedParameter 传参如下:
{"delogo": {"cluster_id": "gpu_pre","CustomerAppId": "audio_clone_ocr"}}//若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}
指定语言
默认为中转英(源语言为简体中文,目标翻译语言为英语),若需要其他语言,可通过在 ExtendedParameter 中补充传入 translate_src_language 和 translate_dst_language 参数。支持语种及对应 code 请参考下文视频译制支持语种,示例:
{"delogo": {"cluster_id": "gpu_pre","CustomerAppId": "audio_clone_asr","subtitle_param": {"translate_src_language": "de", //德语"translate_dst_language": "id" //印度尼西亚语}}}/*若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_asr\\",\\"subtitle_param\\":{\\"translate_src_language\\":\\"de\\",\\"translate_dst_language\\":\\"id\\"}}}translate_src_language: 用于指定视频源语言,不传则默认为中文translate_dst_language: 用于指定翻译目标语言,不传则默认为英语*/
不开启压制字幕
若您不需要将翻译语言字幕压制到视频画面上,可以在 ExtendedParameter 中补充以下传参 "subtitle_param": { "use_draw": false } 。
{"delogo": {"cluster_id": "gpu_pre","CustomerAppId": "audio_clone_ocr","subtitle_param": {"use_draw": false}}}/*use_draw: 不传或传true表示压制字幕,false表示不压制字幕若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\",\\"subtitle_param\\":{\\"use_draw\\":false}}}*/
场景2:ASR 提取字幕并翻译+压制新字幕+AI 克隆配音
与场景1类似,场景2也是将视频字幕及配音翻译为指定语言,生成带有翻译语言字幕及配音的新视频。不过字幕及配音内容来源于 ASR 语音识别(识别视频源语音内容,转写为字幕)。场景2不会自动进行去字幕处理。
计费说明
使用该场景能力,收取「 ASR 生成字幕并翻译+压制字幕」及 「AI 配音(克隆音色)」两个计费项的费用。定价可参考 MPS 计费说明。
若不开启压制字幕,收取「 ASR 语音翻译」及 「AI 配音(克隆音色)」两个计费项的费用。定价可参考 MPS 计费说明。
ExtendedParameter 传参如下:
{"delogo": {"cluster_id": "gpu_pre","CustomerAppId": "audio_clone_asr"}}//若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}
指定语言
默认为中转英(源语言为简体中文,目标翻译语言为英语),若需要其他语言,可通过在 ExtendedParameter 中补充传入 translate_src_language 和 translate_dst_language 参数。支持语种及对应 code 请参考 视频译制支持语种。示例:
{"delogo": {"cluster_id": "gpu_pre","CustomerAppId": "audio_clone_asr","subtitle_param": {"translate_src_language": "de", //德语"translate_dst_language": "id" //印度尼西亚语}}}/*若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_asr\\",\\"subtitle_param\\":{\\"translate_src_language\\":\\"de\\",\\"translate_dst_language\\":\\"id\\"}}}translate_src_language: 用于指定视频源语言,不传则默认为中文translate_dst_language: 用于指定翻译目标语言,不传则默认为英语*/
不开启压制字幕
若您不需要将翻译语言字幕压制到视频画面上,可以在 ExtendedParameter 中补充以下传参 "subtitle_param": { "use_draw": false } 。
{"delogo": {"cluster_id": "gpu_pre","CustomerAppId": "audio_clone_asr","subtitle_param": {"use_draw": false}}}/*若直接调用API或使用 API Explorer 的 JSON 模式,请使用转义版本:{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_asr\\",\\"subtitle_param\\":{\\"use_draw\\":false}}}*/
场景3:AI 配音指定音色 ID
当前在一站式配音级译制功能中, AI 配音能力默认使用高情感克隆音色模型,一站式自动完成视频角色智能识别、角色声纹克隆、基于翻译语言字幕生成克隆配音、替换原始配音。
还支持指定音色 ID 进行 AI 配音。音色 ID 可以通过参考音频克隆合成,或从 MPS 提供的系统音色库中选择。指定音色 ID 的功能正在开发升级中,敬请期待。
附:视频译制支持语种
视频译制功能,若选用 AI 配音克隆音色,支持以下语种:
语种 | Code | 是否可用于源语言(translate_src_language) | 是否可用于翻译目标语言(translate_dst_language) |
中文 (Chinese) | zh | ✓ | ✓ |
英语 (English) | en | ✓ | ✓ |
日语 (Japanese) | ja | ✓ | ✓ |
德语 (German) | de | ✓ | ✓ |
法语 (French) | fr | ✓ | ✓ |
韩语 (Korean) | ko | ✓ | ✓ |
俄语 (Russian) | ru | ✓ | ✓ |
乌克兰语 (Ukrainian) | uk | ✓ | ✓ |
葡萄牙语 (Portuguese) | pt | ✓ | ✓ |
意大利语 (Italian) | it | ✓ | ✓ |
西班牙语 (Spanish) | es | ✓ | ✓ |
印度尼西亚语 (Indonesian) | id | ✓ | ✓ |
荷兰语 (Dutch) | nl | ✓ | ✓ |
土耳其语 (Turkish) | tr | ✓ | ✓ |
菲律宾语 (Filipino) | fil | ✓ | ✓ |
马来语 (Malay) | ms | ✓ | ✓ |
希腊语 (Greek) | el | ✓ | ✓ |
芬兰语 (Finnish) | fi | ✓ | ✓ |
克罗地亚语 (Croatian) | hr | ✓ | ✓ |
斯洛伐克语 (Slovak) | sk | ✓ | ✓ |
波兰语 (Polish) | pl | ✓ | ✓ |
瑞典语 (Swedish) | sv | ✓ | ✓ |
印地语 (Hindi) | hi | ✓ | ✓ |
保加利亚语 (Bulgarian) | bg | ✓ | ✓ |
罗马尼亚语 (Romanian) | ro | ✓ | ✓ |
阿拉伯语 (Arabic) | ar | ✓ | ✓ |
捷克语 (Czech) | cs | ✓ | ✓ |
丹麦语 (Danish) | da | ✓ | ✓ |
泰米尔语 (Tamil) | ta | ✓ | ✓ |
匈牙利语(Hungarian) | hu | ✓ | ✓ |
越南语(Vietnamese) | vi | ✓ | ✓ |