北京时间12月19日凌晨,引人注目的2022世界杯决赛完美落幕,阿根廷常规时间3-3战平法国,点球大战4-2战胜法国,夺得卡塔尔世界杯冠军!
中国移动作为本届世界杯持权转播商,也继续运用“黑科技”为“科技观赛”注入了“人文情怀”。在这场激烈的比赛中,数智手语主播弋瑭站好最后一班岗,为这场比赛带来了精彩的数智手语解说,也为本次的世界杯手语解说画上了圆满的句号。
这是中国移动为了让更多听障人士感受到绿茵场上的赛事激情,专门为此打造了数智手语主播——弋瑭,以及AI手语数字人——华同学,他们共带来世界杯包括¼决赛、半决赛和决赛在内的10场赛事的专业、准确的手语解说。
\ | /
★
今天,小编就带大家一起去看看世界杯背后暖心的移动“黑科技”吧!
全球有很多听力受损者,他们被“听不清、听不真”所困扰,而因为种种原因,高水平的手语翻译员是非常稀缺的。为了让更多人同频感受到体育赛事的激情,中国移动咪咕的专家团队们通过提取2018年世界杯8场比赛近1000分钟的语音解说文本以及超过200名球员进行了手语翻译词序列的语料标注,最终助力打破“无声的世界”,这也是行业内首次实现世界杯实时赛事手语播报。
现场赛事千变万化,数智人又是如何及时进行赛场解说的呢?
据专家介绍,首先要生成智能字幕,依托中国移动“九天人工智能平台”,将语音转为高精准的驱动字幕,完成实时字幕转写,输出字幕流,随后通过中文语义蒸馏模型和AI手语分词快编算法将字母转换成符合手语表达的词汇序列,进而驱动手语动作,将字幕流转成手语视频流,最后根据字幕、手语、视频源流的时间戳信息实现音频解说、中英双语字幕及数字手语主播的“音”“字”“人”三位一体实时同步呈现。
比如针对解说“倒挂金钩”手语表达复杂费时,用户无法理解,为此还构建了基于预训练的垂直领域“数字脑”,其中包含了语义蒸馏系统和手语分词快编系统会自动将“倒挂金钩”文本进行关键语音信息的提取,转变成如“头朝下踢球”等词汇,并且通过手语角色算法选出最简洁的一句,然后再划分手语词汇序列,进行手语翻译输出给AI数智手语主播。
之前体育赛事有过数智人吗?这次相比之前做了什么升级?
其实,咪咕早在北京冬奥会期间就将数智人相关技术运用到体育赛事中了,依托于语音识别技术,结合神经网络算法在国内首次实现大型国际赛事超高清直播的实时双语字幕创新规模化商用,让不同人群在任何环境中都可以畅享实时专业解说,也为听力受损群体打开了观赛的“新窗口”。
而这次世界杯期间,也是做了全新的技术升级,最为关键的就是全新的数智人技术,通过高精度人脸人体重建、动作捕捉、面部表情捕捉、手指捕捉等技术,手语主播可实现二维和三维肢体动作、表情、手指等手语语料高效同步采集,而这些正是“为了听不到的你”无障碍观赛视角的暖心升级。
★
有温度的科技将竞赛的快乐与美好无限放大,让听障人士同频共振“听到”世界的声音。小编认为,这才是科技和信息发展的意义。
中国移动在世界杯期间所展现的“科技不让每一个人掉队”,很暖心,也很有借鉴意义。未来,运营商更应该推动数智系统“走入”文旅、公共服务等领域,承担咨询播报、语音导览、多语种及手语主播等多重角色,满足听障人士学习、娱乐、社交等日常需求,让所有人都能感受到信息技术带来的便利。
领取专属 10元无门槛券
私享最新 技术干货