期刊介绍
期刊导读
- 09/14国网信息通信股份有限公司股东集中竞价减持股
- 09/14腾讯视频通信云专场落幕 腾讯商世东:天籁音频
- 09/14“通信行程卡”助力掌握COVID-19密切接触信息
- 09/142020年信息与通信工程类专业大学排名和录取分数
- 09/14信息通信行业电信网络诈骗防范处置态势一周盘
腾讯视频通信云专场落幕 腾讯商世东:天籁音频(3)
音频外设存在着的多样性、复杂性,在这里我们为了保证我们超宽率语音技术能够适配于各种硬件,我们在解决方案的鲁棒性做了很多的工作,以保证在我们的超宽带语音技术能够在各种各样的设备上面都尽可能地展现出它最优异的能力,提供一个最好的体验。我们可以看到右边一幅图里,经过超宽带和非超宽带处理,其实整个语音的清晰度是有很大的不一样的。
另外 ,下面一个技术我们讲是多次道语音增强技术。因为这也是在云视频会议场景里面有一些会议室里面,它会存在着多通道的音频采集跟播放功能。我们在整个天籁音频技术里面会根据终端设备它能力的不一样,来自动决定你是采用单通道还是多通道的语音降噪和增强功能。如果是多通道,还有另外一个值得在这里介绍的,就是我们相应的去混响的技术。因为我们讲是在一些特别是现在的办公室里面存在着这种玻璃房,里面会存在通常有很强的混响。在这样的条件之下, 经过我们的多通道去混响和降噪技术能够大幅度提升整个音质。
另外,值得一讲的是,毕竟我们端到端的实时语音通讯,除了端上面的各种音效处理之外,我们的各种技术还是要跑在IP网络上面。IP网络我们都知道,面临就是这样一个最不确定的问题,就是它网络的QOS 它的丢包、延迟、还有抖动,会对整个语音的流畅性连续性有一个很大的影响。所以我们在天籁音频里面有专门利用深度学习的技术,能够突破业界里面现在通常使用的20到40毫秒的这样一个语音丢包补偿的局限性。
我们在我们的天籁音频里面,我们可以支持连续补偿20到100毫秒的这样的一个语音包的语音数据,能够显著的提升我们在弱网环境下的一个通信质量和可容度。我们可以看到其实经过我们实际的现网的一些数据证明我们可以把在现网上45%甚至45%丢包率的场景下,可以有效提升正个语音质量的MOS分到0.2到0.3分。
刚才我也提到声学场景识别,其实对于我们整个方案的定制化有很重要的作用。在不同的声学场景里面,其实我们如果能够准确的检测到入会的参会人是什么样声学场景,可以有针对性的进行很多处理。我们在整个声音场景上面,我们今天还参加了DCASE2020的比赛,DCASE 2020比赛采集了12个欧洲城市的10种不同的声学场景,有四大类不同录音设备,我们的方案在这里面取得了一个两项单项排名第二的成绩。现在我们方案可以有效的识别就像我刚才讲的我们这种常用的入会场景,并且在不同的入会场景里面根据它给出来的声学场景识别的信息,做定制化的处理。
除此之外,我们发现在整个云视频会议里面,我们还会有一些音乐内容。就像我讲的一些或者屏幕分享的时候,你可能会是想把一些PPT的内容或者视频的内容需要分享给对端的播放端的人来听,这时候这里面很大一部分内容可能是音乐内容,对于音乐内容来说,你的音质的要求可能会更高。
音乐的内容的话,不论从码率来说,还是在采样率来说,相对于传统的语音来说都会丰富了很多,有更多的这样的高频的细节在这里面。所以如果不能够很有效的把音频内容检测出来的话,对于用户来说,在听到这样的视频或者音乐或者是电影内容的时候,那他的体验是不佳的。所以我们在整个天籁音频里面加入了音乐内容检测。可以看到,我们的音乐内容检测的准确率是很高的。我们在各种不同的端上面,在各种不同的场景里面,只要是音乐内容我们都可以达到一个非常高的这样的音乐内容检测。然后一旦检测到音乐内容 ,现在正在通过网络传输,我们会有效提升整个音乐内容的音质。
另外,还有就是我们在整个我们讲云视频会议场景里面,其实碰到比较多的一个挑战,就是同地多设备现象。在以前的这样的一个传统的视频会议场景里面,其实因为入会设备就那么几个。一个房间里面就一个大屏,就一个电话是不存在这种多设备检测入会的,但是现在在这种云视频会议场景里面,每个人都拿一个电脑,他电脑都会入会,然后同时在房间里面还会有各种传统的设备可以入会。这里面带来了非常大的声音挑战,最直观的就是这里面很容易引起啸叫,但实际上发生的时候问题的复杂度远远超过啸叫,会带来音质的损伤,会带来漏回声、 会带来啸叫、会带来一系列的影响整个会议体验的这样的一些问题。然后我们在这里面,我们在天籁音频里面,我会讲到我们通过一些语音相关性的信号以及我们通过音频水印的内容,可以有效的检测出现在是否存在着同点多设备现象,以及如果发生这种现象我们可以怎么办?
文章来源:《信息通信技术与政策》 网址: http://www.xxtxzz.cn/zonghexinwen/2020/0914/745.html