首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >会议录音的「谁在说话」问题:说话人分离的工程实现拆解

会议录音的「谁在说话」问题:说话人分离的工程实现拆解

原创
作者头像
码林拾遗
发布于 2026-11-12 08:30:41
发布于 2026-11-12 08:30:41
1390
举报

语音转写解决「说了什么」,说话人分离(diarization)解决「谁说的」。会议纪要、访谈整理、客服质检这三类场景里,后者才是决定稿子能不能直接用的那一步——没有说话人标记的转写稿,超过三个人发言时基本失去价值。这篇拆一下 diarization 的管线实现和工程上的坑。

管线四步

现代方案的骨架是:语音活动检测(VAD)→ 嵌入提取 → 聚类 → 与 ASR 输出对齐。

  1. VAD:先把「有人在说话」的区间切出来,静音段全部丢掉。难点在阈值:切太碎会放大后面的聚类负担,切太粗会把呼吸声、键盘声算进语音段。工程上普遍用带概率输出的神经 VAD,按帧给语音概率再双阈值迟滞判决,避免在阈值边缘抖动。
  2. 嵌入提取:每个语音段过 embedding 模型,得到一个「声纹向量」,同一个人的段在这个空间里彼此靠近。
  3. 聚类:对声纹向量聚类,簇数=说话人数。两个工程难点:一是未知人数,需要 AHC 配距离阈值或者谱聚类加特征值截断来自动定阶;二是会议室里几十段的短时语音(每人十几段、每段两三秒),短段的声纹向量本身噪声大,聚类容易错。
  4. 对齐:把 diarization 结果按时间区间套到 ASR 的词级时间戳上,冲突区间(重叠说话)按帧归属切给不同说话人。

真实场景的三类难点

重叠语音。这是会议录音的第一杀手。抢话、同时附和(「对对对」)时,单通道音频上两路语音叠加,VAD 只给一段、ASR 只会转出一路。方案上要么上多通道/麦克风阵列做波束分离,要么用分离模型先拆轨,要么退而求其次:重叠段合并标给「多说话」,把判断留给人。工程上第三种最便宜,实际损失比想象小——纪要里丢的往往是附和词而不是论点。

短发言。一个人全程只说了两句「没问题」,声纹样本太少,聚类几乎必错。常见对策是给短于某阈值的段不单独聚类,按距离挂靠到相邻段的说话人。

信道与混响。笔记本扬声器录音、隔桌发言,声纹被混响污染。前端加混响抑制或者干脆要求「设备收音近讲」,都是运营层面的解法。

集成建议

自己搭管线(VAD+嵌入+聚类+ASR 拼接)适合有算法团队、对数据出域敏感的私有化场景;大多数团队更务实的是把 diarization 当接口能力验收:拿一份三到五人的真实会议录音,数三个指标——说话人数量对不对、论点段归属错没错、重叠段的处理策略是什么。这三个数过关,稿子才具备「按人整理待办」的可用性。识别率的高低反而是次要变量,因为人都会看稿改错字,但没人愿意把一大坨无主语句拆回每个人头上。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 管线四步
  • 真实场景的三类难点
  • 集成建议
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档