期刊介绍
期刊导读
- 09/14国网信息通信股份有限公司股东集中竞价减持股
- 09/14腾讯视频通信云专场落幕 腾讯商世东:天籁音频
- 09/14“通信行程卡”助力掌握COVID-19密切接触信息
- 09/142020年信息与通信工程类专业大学排名和录取分数
- 09/14信息通信行业电信网络诈骗防范处置态势一周盘
腾讯视频通信云专场落幕 腾讯商世东:天籁音频(2)
同时网络条件也存在着很大的不一样,有的是这种公司内网,有的是这种4G移动网络,有的会是家里的WiFi,这种网络条件与传统会议场景里面的网络存在着很大的不同。
然后更为复杂的还是声学环境,相对以前也变得更加更加复杂得多。我们将会存在着各种的近讲,比方说拿着耳机的近讲,或者远距离的在会议室里讲话,声音场景可能会有很多噪声,有平稳的噪声、还有突发的噪声。
然后这种入会的形式也会相比较以前丰富了很多。以前在会议室里面基本上就是打开视频会议,然后就开始通话了,但现在语音视频会议我们发现可能会存在这种典型的同地多设备入会的形式情况。在一个会议室里,大家都拿着电脑和大屏或者视频机开始纷纷入会,就是在同一个地方,存在的有多种设备进入同一个会议的情况,通常这样的情况肯定会导致啸叫或者漏回声。
客户的使用习惯相对以前也发生很大的变化,以前通过这种视频机入会的时候 ,基本上就是屏幕分享,然后视频这个打开。但现在我们发现用户需求有可能会存在一种共享音频的需求,比方说他可能会拿他的客户端设备来做一些视频和音频内容的分享,把这个PPT里面的音频内容或者是一首歌、甚至一个视频通过云视频会议的场景分享到对端,这种新的场景是在传统的这种会议场景里面你是不会碰到的,音频内容分享或者音乐内容都会很少碰到。
另外,还有一个因为是云视频会议这里面存在着这么多的不可控的可变的因素,所以我们对于端到端的质量的评估、实时质量评估,这也是一个需求。如果没有这样的一个实时质量评估的系统,我们无法知道在这样一个存在的复杂多变的网络环境下,到底端到端实时云通讯的质量如何。
在这种云视频会议场景下,声音场景会有很大的不同。还是讲像刚才以前我们会在这种可控的传统会议室里面开会,现在我们可能会在会议室里面,也可能是在开放的这种办公区域里面,也可能是在家里面,如果是在家里面,可能这种场景更多的是。我们是来自于厨房的或者电视的噪声,这样的场景在以前的视频会议场里面是我们碰都不会碰到的,或者甚至于是在移动的场景,特别是在车载的场景里面来入会。在车载的场景里面,汽车的这些噪声以及在车载环境里面重混响会对整个入会的音质提出非常大的挑战。在不同的场景下,用户对于音质的期望也会有所不同。
我们讲腾讯天籁音频技术系统里面,为了解决我们上面所说的面对云视频会议场景下的各种挑战,我们开发了一整套的技术和一套完整的框架,我们围绕着”听得见 听得清 听得真“这样子的目标。具体从技术角度来讲,就是语音的可懂度、语音的自然度和语音的舒适度,围绕这样的目标,我们打造了音频实时通信的完整的解决方案。用户的核心体验,我刚才讲过,主要指高音质、低码率、低延迟这样的核心体验,围绕着声音场景,在不同的声音场景下面,我们有定制化的这样的高音质、高清音频的解决方案,以及围绕着我们在这种云视频会议场景下的用户痛点和难点问题进行在重点攻关。
比如说我们讲,用语音分离技术来解决我后面会提到的这种鸡尾酒会的问题。然后还有进一步的,是我们在天籁音频系统里面提供的一些差异化体验。我们提供的这种差异化的体验,比如说我们后面会讲到的这种特定主讲人增强或者是特定目标人语音增强,就是它只增强你希望增强的特定人的声音。然后我们还会有这种音视频多模态的音频跟视频技术,应用他的脸部信息,特别是唇部信息来做语音增强工作。
下面一页是我们端到端整个实时语音通讯技术的一个全景图。基本的框架我们是从音频工程开始,经过了音频分析、分类、视频和处理之后,然后送到我们的音频引擎和网络抗性增强里面来做进一步的编解码。因为只有经过这样子的音频引擎和网络抗性的处理之后,我们讲音频语音包才适合在这种基于IP的网络上面进行传输,然后在下行端或者我们讲播放端,我们收到了语音包,经过各种音频下行语音后处理之后,经过它适配过的这种音频硬件外设上面,给他以这种失真尽可能小,用户尽可能感到舒适的这种方式给他播放出来。
下面我讲一下几个我们在天籁音频技术里面比较有亮点的技术。
第一个是超宽带语音技术。超宽带语音技术主要是在这种云视频会议里面因为存在着一些外设,他们有很强的采集和播放能力。它可以提供一个非常宽的音频带宽,在这样的音频带宽下使用超宽带语音技术可以提供一个更优秀的音质,所以我们把整个语音的带宽从这种宽带进一步提升到超宽带,然后这个实现过程并不是简单的把采样率升级就行的。
文章来源:《信息通信技术与政策》 网址: http://www.xxtxzz.cn/zonghexinwen/2020/0914/745.html