首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

AI语音转录工具Whisper被曝存在严重“幻觉” ,时常瞎编胡造

最近,一款由 OpenAI 的 Whisper 技术驱动的 AI 转录工具在医疗行业广受欢迎。许多医生和医疗机构都在使用这个工具来记录和总结与患者的会面。

根据 ABC 新闻的报道,研究人员却发现这款工具在某些情况下会出现 “幻觉” 现象,有时甚至会完全编造内容。

这款由名为 Nabla 的公司开发的转录工具,已经成功转录了超过700万次医学对话,目前有超过3万名临床医生和40个健康系统在使用它。尽管如此,Nabla 公司也意识到了 Whisper 会产生幻觉的可能性,并表示正在努力解决这个问题。

一组来自康奈尔大学、华盛顿大学等机构的研究人员进行了一项研究,发现 Whisper 在大约1% 的转录中会出现幻觉。在这些情况下,工具会在录音的沉默时段内随机生成一些毫无意义的短语,甚至有时候表达出暴力情绪。这些研究人员从 TalkBank 的 AphasiaBank 中收集了音频样本,并指出,当语言障碍患者说话时,沉默的现象尤为常见。

康奈尔大学的研究员艾莉森・科内克(Allison Koenecke)在社交媒体上分享了一些示例,展示了 Whisper 生成的幻觉内容。研究人员发现,工具所生成的内容中还包括一些虚构的医学术语,甚至是类似于 “感谢观看!” 这样的短语,这些句子听起来就像是 YouTube 视频中的话语。

这项研究于6月在巴西的计算机协会 FAccT 会议上进行展示,但目前尚不清楚是否经过同行评审。对于这一问题,OpenAI 的发言人 Taya Christianson 在接受《The Verge》采访时表示,他们非常重视这个问题,并会持续努力改善,尤其是在减少幻觉方面。同时,她提到,在他们的 API 平台上使用 Whisper 时,有明确的使用政策禁止在某些高风险决策环境中使用该工具。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/ORrsiHvxjegy_FdBd2eQ8rCg0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券