服务粉丝

我们一直在努力
当前位置:首页 > 财经 >

颠覆声音的想象,凤鸣 AI 引擎打开新路径

日期: 来源:极客公园收集编辑:奇爱


下一代音频场景即将爆发。


作者 | 奇爱


打射击游戏时耳机质量挂钩胜率,陌生人社交时一段语音就能给人慰藉,线上 K 歌主播的声卡决定流量,会议的语音质量直接关系会议效率……

声音在互联网时代其实扮演着十分重要的角色,但又由于其底层基础的特点没有得当应有的重视。在通往下一代互联网的过程中,可以预见的是,声音将起着更大的作用。AIGC 的版图里已经有声音的重要位置。元宇宙拟真和超现实的特点下,声音在传达信息和提高体验两方面都不可或缺。

当前,一款更进一步地处理声音的 AI 引擎发布,已经可以让和声音有关的应用获得新一轮增长。3 月 23 日,实时互动云服务商声网在北京举办「凤鸣 AI 引擎」发布会,正式发布了囊括 AI 降噪、AI 回声消除、空间音频、最佳音效在内的声网新一代音频技术智能引擎。

开发者与企业可以如搭积木般灵活调用对应组件,并广泛应用在语聊社交、在线 K 歌、线上会议、游戏竞技、虚拟活动等诸多场景,为用户带来更纯净、更动听、更沉浸的语音互动体验,探索更多营收增长空间。



AI 加持,应用涌现,大量声音场景即将爆发。


01

RTE 场景不断丰富,

高音质互动需求急需满足



实时音视频技术的发展带出大量的创新场景,从狼人杀、直播连麦到直播电商、在线 K 歌、互动播客、元宇宙,伴随着场景的不断扩展,用户对实时音视频体验的诉求也越来越高。

传统的 RTC 概念,从信息传递的角度出发,音频功能仅提供简单的语音沟通,满足单一的场景和通话标准,对于音质并无太高的需求,也就是所谓的「能够沟通」。

声网发现,伴随着实时互动创新场景的涌现,用户对于音频体验的需求也产生了从量变到质变的进化,比如在线 K 歌、线上会议等场景,用户的需求早已从能够沟通到希望「脱离现实」,屏蔽外界干扰,实现纯净沟通;对于元宇宙、虚拟活动、游戏竞技等场景,用户则是希望从简单沟通实现「极致拟真」的沉浸式体验。

同时声网也观察到,音频体验的提升能够增强平台用户的核心体验。比如,对噪音的抑制能够提升语聊房用户活跃度和留存,以及游戏开黑场景的通话时长;回声消除能显著提升用户的在线 K 歌体验;而立体、具备空间感的音频体验则能提升元宇宙社交、游戏竞技、线上会议、虚拟活动等场景中用户的临场感和沉浸感。

声网针对以上痛点和需求,声网凤鸣 AI 引擎应势而生。


02

3 大音频能力+最佳音效实践,

回归互动本真



通过 AI 驱动的方式,声网打通了音频采集、前后处理、云端传输、编解码等链路,旨在为用户打造更纯净、更动听、更沉浸的语音体验,在现有实时互动玩法的基础上锦上添花,赋能行业开发者和企业。



1.AI降噪强力抑制 100+突发噪声,兼顾语音无损伤与混响抑制

想要在「脱离现实」的环境中办公、娱乐,屏蔽外界干扰是基础。相比于传统的降噪算法,凤鸣·AI 降噪的效果有显著提升,可以一次性解决 100+种突发性噪声,比如办公场景经常遇到的敲键盘、鼠标点击、电话铃声;家庭环境中遇到的小孩哭叫、装修、厨房做饭声;户外环境中的风声、雨声、汽车噪声等。

凤鸣·AI 降噪在强降噪的同时还能兼顾高保真,即使在人声密集场景下,也能实现纯净通话体验,甚至还实现了在不增加额外运算量的前提下,对远场语音具有明显的混响抑制能力。如果用户在一个房间中距离麦克风较远,这时候对方听到的声音是模糊的,若使用了声网的 AI 降噪算法,对端也能清晰地听到该用户的声音。



此外,声网自研的 AI 推理引擎还可以使得 AI 降噪算法在 Android、iOS、Mac、Windows、Web 等主流平台以低精度损伤、高性能、低功耗方式运行,使用户的设备不卡不烫。经数据测算,仅开启凤鸣·AI 降噪功能,相应设备 CPU 消耗增幅平均值<1%。

2.AI 回声消除强力抑制非线性回声,还原本来音质

回声是影响音视频通话质量的主要因素之一,尤其在线上会议、在线 K 歌、多人连麦等场景中,不仅损害通话质量,影响用户体验,还可能导致带宽增加。凤鸣·AI 回声消除利用算法对环境中产生的回声混响进行有效抑制,智能适应各类环境,实现精准音源分离,从混合的近端信号中消除不必要的远端信号,保留近端人声发送到远端,全面消除回声,实现高保真音频体验。比如,在双人合唱等在线音乐场景下,AI 回声消除可以使得人声自然流畅,增益效果显著。



3. 空间音频极致拟真,打造「声临其境」互动玩法

凤鸣·空间音频通过纯软件算法方案,模拟头部球面区域立体声场,利用范围音频、人声模糊、空气衰减模拟等能力,完美模拟现实听觉感受。当用户操作相应角色在虚拟场景里移动,可以实现根据虚拟人物的面部朝向、音源朝向、远近距离与上下高度,呈现不同声音效果。



空间音频是元宇宙和游戏这类具备 3D 场景玩法的最佳搭档,如狼人杀、虚拟演唱会、虚拟活动等场景,可以有效的增强用户在线上的互动、听觉体验,重构用户在虚拟世界的沉浸感与临场感。同时,开发者不必担心空间音频功能对于用户设备的影响,据数据测算,开启凤鸣·空间音频功能后,相应设备 CPU 消耗增幅平均值<0.7%,内存消耗增幅平均值<2M。

那么以上音频能力该如何组合使用?



多年来,声网汇总梳理语聊领域各类头部 App 的音效配置,综合声网超过万亿分钟的用户音效偏好的数据模型,并结合声网音频专家的多年沉淀与研究,能够为平台提供针对各种语音场景的最佳音效配置,助力平台用户享受行业顶尖的音效体验。目前已上线的最佳音效包括语聊社交、K 歌、游戏陪玩、专业主播等场景。国内某头部语音社交平台就是通过声网提供的最佳音效配置方案,将空间音频、美声、电音等丰富的声音玩法融入互动中,增强平台留存和变现能力。



据声网音频娱乐产品负责人杨帆介绍,凤鸣 AI 引擎目前正在开发变声这一功能,用户将可以体验 20+变声风格,多样角色扮演花式玩转语聊场景。

声网算法专家许冉指出,凤鸣 AI 引擎代表声网在 RTC 音频领域针对核心技术的长期投入和产出,以及声网基于音频核心能力衍生出各种复杂功能和高端效果的决心,未来声网将基于凤鸣 AI 引擎形成新一代 RTC 音频解决方案,比如探索更个性化的语音方案、语音超分、co-experiencing 场景等。



*头图来源:视觉中国



极客一问


你看好 AI 在声音场景的应用吗?











相关阅读

  • 从 Midjourney 看平台的设计策略

  • 对策略的理解能提升设计师产品设计的能力,而不仅仅执着于好看与否。1.前阵子网飞前业务人员透露,网飞的会员套餐是有引导意味的,它们会在不同时间段给出不同的销售策略。最常见
  • 工具产品的易用性设计-实例总结

  • VR采集工具是什么互联网行业的发展重点已经从消费互联网逐步转向产业互联网。对房产、汽车等行业来说,实体商品的数字化成为企业的发展空间、增强客户体验、扩大商业收益的必
  • 设计师必看 | 摩登的东方美学设计

  • 2018年,李宁“悟道”系列设计首次亮相后,“国潮元年”便正式开启。到目前为止,国潮的设计风格在各个品类中已经渗透使用的非常普遍,以致当提起“国潮”二字时,消费者脑海中便会闪
  • 自媒体内容输出50个技巧(11-20)

  • 11、利用搜索找到爆款主题通过搜索主题关键词下的内容数据,需要看内容的发布时间,如果持续一直在出高数据的内容,那就可以作为选择的方向。12、借助热门话题输出关注持续的热门
  • 不只是聊天!ChatGPT又有新功能

  • 澎湃新闻记者 杨阳澎湃新闻编辑 李垚瑞(01:08)数据仅更新到2021年的聊天机器人ChatGPT可以联网了。当地时间3月23日,OpenAI宣布ChatGPT能够支持第三方插件接入,这些插件是专门
  • 你的旧手机,保值率高吗

  • 小伙伴们买了新手机,之前的旧手机会怎么处理呢?卖掉?还是继续留着?前段时间,调查机构 CIRP 发布了最新研究,着眼于用户如何处理他们的旧智能手机。调查显示,iPhone 用户和安卓用户
  • 对营销人来说,最难推的产品是什么?

  • 李叫兽曾经发起过一个话题:最难推的产品是什么?据说有上千人回复评论。后来他根据这次讨论写了一篇文章,今天分享给大家。什么样的产品最难推广?我想所有的营销人员都有这样的疑
  • 300亿市值蒸发,资讯界“拼多多”跌倒

  • 来源丨电商在线(ID:dianshangmj)作者丨王崭编辑丨斯问下沉市场的流量有多香,曾经的下沉三巨头可能最有体会。拼多多、快手和趣头条有着类似的起点:下沉市场起家,创始人都在用着精

热门文章

  • “复活”半年后 京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后,杀入公益事业,试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日,“益心一益·守护梦想每一步”2018年四

最新文章

  • 颠覆声音的想象,凤鸣 AI 引擎打开新路径

  • 下一代音频场景即将爆发。作者 | 奇爱打射击游戏时耳机质量挂钩胜率,陌生人社交时一段语音就能给人慰藉,线上 K 歌主播的声卡决定流量,会议的语音质量直接关系会议效率……声音
  • 上海最新经济数据出炉:韧性增强 回稳向好

  • 对于上海,2022年是极不平凡的一年。严峻复杂的海内外形势和疫情等多重超预期因素的冲击,上海面临的风险和挑战前所未有。3月22日,《2022年上海国民经济和社会发展统计公报》(以