全球最实用的IT互联网信息网站!

AI人工智能P2P分享&下载搜索网页发布信息网站地图

当前位置:诺佳网 > 电子/半导体 > 音视频/家电 >

嵌入式多麦克风Conversa语音套件介绍

时间:2023-02-21 18:09

人气:

作者:admin

标签: TWS耳机  麦克风 

导读:嵌入式多麦克风Conversa语音套件介绍-Conversa软件包包含了三种不同的模式,分别为Conversa模式、USB模式和返回模式。其中的差异是在Conversa模式当中,所收送的声音都会经过Conversa演算的处...

Conversa是一个全双工免提电话语音处理综合套件,可全面控制上行和下行音频。Conversa嵌入式多麦克风,全双工语音处理,为扬声器和耳机应用提供终极音质。 无论您是在设计扬声器、耳机、TWS耳机、可穿戴设备还是汽车语音解决方案,都需要将在所有噪音类型中执行的全双工语音处理,而Conversa正是提供此类需求的最佳解答。

09198d34-a91a-11ed-bfe3-dac502259ad0.png

Conversa能够将背景的吵杂人声、强风吹拂的声音等等不相干的噪音透过内部的算法将其去除,如同下图中所显示的架构,远程的音频资料收到后或是资频数据要传送之前,Conversa利用内部的SG、NR、EQ等等的模块予以调整出最佳的质量。

092970e6-a91a-11ed-bfe3-dac502259ad0.png

目前Conversa在下列的平台上都已经可以支持,其中的i.MX RT500和i.MX RT600更是直接运用强大的DSP资源来做运算

i.MX RT500: 跨界MCU, 配备Arm Cortex-M33内核

i.MX RT600: 跨界MCU,配备Arm Cortex-M33和DSP内核

i.MX RT1060: 跨界MCU搭载Arm Cortex-M7内核

i.MX RT1170: 跨界MCU系列——首款GHz MCU,带Arm Cortex-M7和Cortex-M4内核

以下用i.MX RT1170为例子,跟各位介绍一下整个的操作流程

093dc2da-a91a-11ed-bfe3-dac502259ad0.png

首先硬件方面有两种选择,基本上都是基于RT1170 EVK, 初次尝试可以利用耳挂式耳麦直接连接到EVK就可以马上开始做测试,如果要追求最极致的声音体验,可以参考上图的mockup配置,包含一个RT1170 EVK再加上两个喇叭和一个功率放大器。软件包的部分则是基于MCU SDK,並且加上了语音通话框架和微软的预认证

095457d4-a91a-11ed-bfe3-dac502259ad0.png

Conversa软件包包含了三种不同的模式,分别为Conversa模式、USB模式和返回模式。其中的差异是在Conversa模式当中,所收送的声音都会经过Conversa演算的处理。

0964c7b8-a91a-11ed-bfe3-dac502259ad0.png

而在USB模式中,音频数据从USB收进来后就直接到耳机或喇叭,麦克风所收到的声音也是直接透过USB传送出去,皆不会做任何的处理。

09a0f7a6-a91a-11ed-bfe3-dac502259ad0.png

如果选择返回模式,那表示从本地端的麦克风所收取的音频数据,直接会接往耳机端传送,在这样的模式之下,可以帮助用户先行厘清Conversa之外的问题并且专注于微调算法的各个参数

09dad96c-a91a-11ed-bfe3-dac502259ad0.png

介绍完硬件与软件之后,接下来介绍一些预先定义好的配置。下图展示了根据不同采样率与帧的大小,定义了配置1、配置2跟配置3,同时也说明所需要CPU和内存的资源。

09f7d79c-a91a-11ed-bfe3-dac502259ad0.png

总而言之,不同硬件对应到不同的软件模式再对应到不同的配置,在RT1170上就已经预先准备了许许多多的参数以供使用者使用。其中配置3的情况下又特别针对1.5公尺大小的会议空间convswp3d15、2.3公尺convswp3d23、3.5公尺convswp3d35以及4.5公尺大小convswp3d45,等不同大小尺寸的会议空间事先予以优化。

0a392e22-a91a-11ed-bfe3-dac502259ad0.png

使用者在执行Conversa的同时可以以命令行的形式输入不同的参数。

0a5714fa-a91a-11ed-bfe3-dac502259ad0.png

成功地执行Conversa之后,用户可以在自己的计算机上找到RT1170的装置。

0a728f46-a91a-11ed-bfe3-dac502259ad0.png

最后附上Conversa的所有功能列表以供参考

  • 上行和下行音频全面处理
  • 高达Fs=32kHz的超宽带音频
  • 声学回声消除
  • 55dB总回声消除(AEC),包括非线性处理(NLP)
  • 环境降噪
  • 利用机器学习的自适应多麦克风波束成型
  • 风噪消除
  • 处理噪音消除
  • 动态压缩范围
  • 限幅器和静噪
  • 侧音
  • 参数方程式

编辑:黄飞

 

温馨提示:以上内容整理于网络,仅供参考,如果对您有帮助,留下您的阅读感言吧!
相关阅读
本类排行
相关标签
本类推荐

CPU | 内存 | 硬盘 | 显卡 | 显示器 | 主板 | 电源 | 键鼠 | 网站地图

Copyright © 2025-2035 诺佳网 版权所有 备案号:赣ICP备2025066733号
本站资料均来源互联网收集整理,作品版权归作者所有,如果侵犯了您的版权,请跟我们联系。

关注微信