网站首页 全球最实用的IT互联网站!

人工智能P2P分享Wind搜索发布信息网站地图标签大全

当前位置:诺佳网 > 电子/半导体 > 嵌入式技术 >

基于RT-Thread和N32G457的家庭语音助手方案

时间:2022-04-15 18:50

人气:

作者:admin

标签:

导读:本方案通过N32G457+RT-Thread,实现一个家庭语音助手,提供语音唤醒、多路开关、倒计时、闹钟提醒、天气提醒、新闻播报、音乐播放等功能,为家庭生活增添便利和趣味性。...

出处:RT-Thread

作者:王胖胖

应用方案说明及使用场景描述:
本方案通过N32G457+RT-Thread,实现一个家庭语音助手,提供语音唤醒、多路开关、倒计时、闹钟提醒、天气提醒、新闻播报、音乐播放等功能,为家庭生活增添便利和趣味性。
具体实现功能如下:
1.一键配网(未实现)
2.特定唤醒词唤醒
3.语音控制多路开关
4.语音设置倒计时
5.语音设置闹钟(未实现)
6.语音播报天气提醒
7.语音播报新闻
8.语音控制音乐播放
硬件平台
N32G45XVL-STB开发板
软件平台
RT-Thread 4.0.4
RT-Thread Studio
功能模块
ADC
Timer
msh
Serial
pyaudio
pyserial
百度实时语音识别realtime-asr
百度语音合成tts
全家福

初步方案


语音识别是本项目的核心,一般有语音识别模块、在线语音识别、离线语音识别等三种方案。一开始觉得语音识别模块、在线语音识别没有技术含量,离线语音识别才能最大限度的发挥开发板的性能。于是春节期间查阅了不少离线语音识别的资料,最终确定了MFCC+DTW的离线语音识别方案。节后事情比较多,中断了很长时间。等再拾起来的时候,发现没有想象中那么简单,像FFT/DCT等DSP运算不是新手能轻易搞定的。距离截稿时间已经没几天了,无奈只能选择降级方案。
降级方案
降级后的方案是使用ADC采样音频信号,交由上位机(或ESP8266)进行在线语音识别。ADC进行了配置之后,给VREF接上3.3V,测试正常。可问题还是出现了,首先是自制的音频放大电路的放大能力不足,远达不到3.3v的上限,导致采样精度不足;其次是音频采样需要8k的采样速率,也就是125us采样一次,而系统定时器最小周期默认是10ms,就算配置成1ms也是不能满足需求的。文档里的高精度定时器还需要进一步研究,无奈只能再次降级。

再次降级

复制

def process_instruct(instruct):
  """
  处理语音指令
  """
  instruct = str(instruct).replace("。", "").replace("?", "")
  cmd = ""
  voice = ""
  match instruct:
  case "小白小白":
    cmd = "mini_rgb up"
    voices = "在呢|嗯|爷爷在此".split("|")
    random.shuffle(voices)
    voice = voices[0]
  case "打开红灯":
    cmd = "light_control red on"
    voice = "红灯已打开"
  case "关闭红灯":
    cmd = "light_control red off"
    voice = "红灯已关闭"
  case "打开绿灯":
    cmd = "light_control green on"
    voice = "绿灯已打开"
  case "关闭绿灯":
    cmd = "light_control green off"
    voice = "绿灯已关闭"
  case "打开蓝灯":
    cmd = "light_control blue on"
    voice = "蓝灯已打开"
  case "关闭蓝灯":
    cmd = "light_control blue off"
    voice = "蓝灯已关闭"
  case "天气":
    cmd = "mini_rgb up"
    voice = "有你的每一天都是晴天"
  case "几点了":
    cmd = "mini_rgb up"
    now = time.strftime("%Y年%m月%d日%H点%M分%S秒", time.localtime()) 
    voice = "现在是" + now
  case "早上好":
    cmd = "mini_rgb up"
    voice = "morning"
  case "我想听歌":
    cmd = "mini_rgb up"
    voice = "一闪一闪亮晶晶,满天都是小星星"
  case "倒计时五秒钟":
    cmd = "count_down 5"
    voice = "已为您设置好倒计时"
  case "新闻":
    cmd = "mini_rgb up"
    voice = "【一眼新闻丨3月16日贝果财经早间资讯】中国塞尔维亚驾*互认正式生效;106班上海入境国际航班将更改入境点;邓伦偷逃税被处罚并追缴1.06亿元;最高法明确电商不得以拆封为由拒绝退货;茅台回应潘长江直播事件;白俄罗斯和俄罗斯将在能源交易中放弃使用美元;英国将取消所有新冠疫情旅行限制措施;韩国开发全球首个可拉伸无失真元显示技术;美国航天局证实:美航天员将乘俄飞船返回......"
  case "再见":
    cmd = "mini_rgb down"
    voice = "再见"
  case _:
    cmd = "mini_rgb down"
    voices = "不知道你说了什么|不懂".split("|")
    random.shuffle(voices)
    voice = voices[0]
  if cmd != "":
  logger.info('cmd:'+cmd)
  cmd = cmd + "\n"
  cmd = cmd.encode("ascii")
  n32_serial.write(cmd)
  if voice != "":
  tts_file = tts(voice)
  if tts_file != "":
    play_audio(tts_file)


再次降级后,使用上位机通过pyaudio进行音频录制,语音片段通过websocket上传至百度实时语音接口进行语音识别,返回的结果转换为指令通过pyserial写入开发板,触发对应动作,同时通过百度语音合成tts生成对应语音回复,通过pyaudio播放。基本实现了前期预定目标。
总结
由于是第一个硬件项目,经验有限加上知识储备不足,一开始的想法并没有完全实现出来,只能一再降级,好在也不辱使命,完成了作品。后期我会继续完善这个项目,把离线语音识别方案实现出来,真正发挥这块开发板的价值!
bilibili:https://gitee.com/grinow/home-voice-assistant
gitee:https://www.bilibili.com/video/BV1gU4y1o7XJ/

温馨提示:以上内容整理于网络,仅供参考,如果对您有帮助,留下您的阅读感言吧!
相关阅读
本类排行
相关标签
本类推荐

CPU | 内存 | 硬盘 | 显卡 | 显示器 | 主板 | 电源 | 键鼠 | 网站地图

Copyright © 2025-2035 诺佳网 版权所有 备案号:赣ICP备2025066733号
本站资料均来源互联网收集整理,作品版权归作者所有,如果侵犯了您的版权,请跟我们联系。

关注微信