语音转写解决「说了什么」,说话人分离(diarization)解决「谁说的」。会议纪要、访谈整理、客服质检这三类场景里,后者才是决定稿子能不能直接用的那一步——没有说话人标记的转写稿,超过三个人发言时基本失去价值。这篇拆一下 diarization 的管线实现和工程上的坑。
现代方案的骨架是:语音活动检测(VAD)→ 嵌入提取 → 聚类 → 与 ASR 输出对齐。
重叠语音。这是会议录音的第一杀手。抢话、同时附和(「对对对」)时,单通道音频上两路语音叠加,VAD 只给一段、ASR 只会转出一路。方案上要么上多通道/麦克风阵列做波束分离,要么用分离模型先拆轨,要么退而求其次:重叠段合并标给「多说话」,把判断留给人。工程上第三种最便宜,实际损失比想象小——纪要里丢的往往是附和词而不是论点。
短发言。一个人全程只说了两句「没问题」,声纹样本太少,聚类几乎必错。常见对策是给短于某阈值的段不单独聚类,按距离挂靠到相邻段的说话人。
信道与混响。笔记本扬声器录音、隔桌发言,声纹被混响污染。前端加混响抑制或者干脆要求「设备收音近讲」,都是运营层面的解法。
自己搭管线(VAD+嵌入+聚类+ASR 拼接)适合有算法团队、对数据出域敏感的私有化场景;大多数团队更务实的是把 diarization 当接口能力验收:拿一份三到五人的真实会议录音,数三个指标——说话人数量对不对、论点段归属错没错、重叠段的处理策略是什么。这三个数过关,稿子才具备「按人整理待办」的可用性。识别率的高低反而是次要变量,因为人都会看稿改错字,但没人愿意把一大坨无主语句拆回每个人头上。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。