Microsoft Teams 现在使用 AI 来改善回声、中断和声学效果

Microsoft Teams 现在使用 AI 来改善回声、中断和声学效果

微软在过去两年中一直在为Teams添加华丽的新生产力功能,现在该公司正在彻底改变基础知识的工作原理,这要归功于人工智能。我们都曾接到过一个电话,有人的房间音响效果很差,很难听到他们的声音,或者看到两个人试图同时说话,从而造成一个尴尬的“不,你继续前进”的时刻。微软新的人工智能语音质量改进应该会改善甚至消除这些日常烦恼。

微软现在正在使用机器学习模型来改善房间的声学效果,这样你就不会再像躲在山洞里一样。“虽然我们一直在尽最大努力在数字信号处理方面做得很好,但我们现在已经开始首次使用机器学习来构建回声消除,在那里你可以真正减少来自所有不同设备的回声,”微软智能对话和通信云首席项目经理Robert Aichner解释说。 在接受The Verge采访时

微软几个月来一直在对此进行测试,在现实世界中测量其模型,以确保Teams用户注意到回声减少和呼叫质量的提高。该软件制造商使用 30,000 小时的语音来帮助训练其模型,并通过众包捕获数千台设备,其中 Teams 用户付费录制其语音并从其设备播放音频。

“我们还模拟了大约100,000个不同的房间......房间声学在回声消除中起着重要作用,“Aichner说。结果是呼叫音频质量有了很大的提高,并且消除了回声,这也允许多个人同时说话。您可以在上面的视频中看到所有改进措施。

如果 Teams 检测到房间内的声音在弹跳或混响,导致音频较浅,则模型还将转换捕获的音频并对其进行处理,使其听起来像 Teams 参与者正在对近距离麦克风讲话,而不是回声混乱。

最令人印象深刻的部分是人们现在能够在Teams呼叫中相互打断,而不会出现尴尬的重叠,由于回声而无法听到对方的声音。微软现在正在Teams中发布所有这些工作,以及它以前通过基于AI的噪声抑制所做的改进。所有处理都是在客户端设备上本地完成的,而不是在云上完成的。

“我们说过我们想在客户端上这样做,因为如果你想做在云中处理的每个呼叫,云仍然很昂贵......显然,我们必须将成本转嫁给客户,“Aichner解释说。这意味着可能会将这些重要的 Teams 改进限制为付费客户,而设备上的路由意味着 90% 使用 Teams 的设备上都可以使用噪声抑制等功能。

所有这些新的 Microsoft Teams 改进现已上线,此外还对视频中的文本进行了一些实时屏幕优化,并对视频或屏幕共享呼叫期间的带宽限制进行了基于 AI 的改进。

原文主题:Microsoft Teams now uses AI to improve echo, interruptions, and acoustics

原文链接:https://www.theverge.com/2022/6/13/23165520/microsoft-teams-ai-machine-learning-acoustics-interruptions-echo-cancellation-features

原文作者:Tom Warren

编译:LCR

发表评论
留言与评论(共有 0 条评论) “”
   
验证码:

相关文章

推荐文章