【智能家居】设计一种语音控制识别规则模型—结合思必驰DUI平台

目录

智能家具语音识别的应用场景

[En]

Application scenario of Intelligent Furniture speech recognition

相信大家或多或少接触过语音识别产品,例如天猫精灵、百度音响这些IOT设备,或者siri、小爱同学这些手机语音引擎。现在再框定智能家居应用,语音识别功能就比较清晰了。鄙人根据行业经验,将其概括为以下几点:

控制音乐播放

比如,家庭音乐主持人、汽车、音箱等产品都离不开音乐播放能力。在这个场景中,它包括但不限于以下热词:

[En]

For example, home music hosts, cars, speakers and other products are inseparable from the ability to play music. In this scenario, it includes, but is not limited to, the following hot words:

a、该能力触发类语音:”帮我放首歌”、”我想听音乐”
b、该能力特有技能语音:”播放流行音乐”、”播放刘德华的歌”
c、通用能力控制类语音:”下一首”、”暂停”、”继续播放”、”结束播放”、”增大音量”

结合思必驰DUI平台

a、首先需要在DUI平台需要在平台按照指引创建项目和产品,就不赘述了,可以去官网实操一下https://www.duiopen.com/;
b、关于音乐播放,dui平台上作为一个在线技能展示

【智能家居】设计一种语音控制识别规则模型---结合思必驰DUI平台
音乐技能也分了好多种,如下图所示,开发者可以配置成酷我、咪咕、QQ音乐、HIFI资源等对接方式。对接方式主要分为APK对接、SDK对接、webAPI对接:前两者需要定制第三方的软件,一般个人开发是获取不到的;webapi对接则是根据返回的在线音频资源链接,进行播放;
【智能家居】设计一种语音控制识别规则模型---结合思必驰DUI平台
c、当然也可以完全本地播放,根据返回的技能,识别到是要触发音乐播放,然后调用本地的音乐播放接口;
d、播放控制则是走的另一个技能”播放控制”,譬如下一首、暂停等操作;
【智能家居】设计一种语音控制识别规则模型---结合思必驰DUI平台

; 智能家居设备控制

智能家居语音控制可以概括为以下几个因素:

[En]

Smart home voice control can be summarized into the following factors:

操作类型 + 房间/分组 + 对象昵称 + 操作的设备属性名 + 参数
根据常见的智能家居技能,从“设备控制”和“场景控制”两个方面进行分析:

[En]

According to the common smart home skills, analyze them from “device control” and “scene control”:

设备控制

对于设备控制来说,触发的语音类似于《打开客厅灯》、《关掉所有开关》、《把客厅空调开到27度》等。这些因素被细分为关键因素。

[En]

For device control, the voice triggered is similar to “turn on the living room light”, “turn off all switches”, turn on the living room air conditioner to 27 degrees, and so on. These are broken down into key factors.

a、开关 + 客厅 + 灯 + 电源开关 + 1
b、开关 + ALL + 开关 + 电源开关 + 0
c、调温 + 客厅 + 空调 + 温度 + 27

场景控制

对于场景控制,触发的声音类似于“打开访客场景”、“打开主卧室睡眠模式”等。与设备属性控制相比,场景控制的关键因素较少,仅由:打开+位置+场景名称组成。

[En]

For scene control, the triggered voice is similar to “open the visitor scene”, “turn on the master bedroom sleep mode”, and so on. Compared with the device attribute control, the key factors of scene control are less, only composed of: open + location + scene name.

DUI平台智能家居技能解析

源数据:
{“skillId”:”2019052300000366″,”recordId”:”f4e73f6cd5d84d4d9c5d96c99b4a76ef”,”dm”:{“intentId”:”5efd78314b389a0001ace3d0″,”nlg”:””,”status”:1,”widget”:{“type”:”text”,”duiWidget”:”text”,”widgetName”:”default”,”name”:”default”},”command”:{“api”:”DUI.SmartHome.Device.TurnOn”,”param”:{“location”:”阳台”,”deviceType”:”窗帘”}},”shouldEndSession”:true,”speak”:{“text”:””,”type”:”text”},”input”:”打开阳台窗帘”,”runSequence”:”nlgFirst”,”intentName”:”设备控制”,”task”:”家居控制”,”taskId”:”5ce646e359864e000d4063d9″},”contextId”:”e2b4462ce21343ba899533c8dd0ced56″,”sessionId”:”e2b4462ce21343ba899533c8dd0ced56″,”requestId”:”f4e73f6cd5d84d4d9c5d96c99b4a76ef”,”skill”:”智能家居”}

以上参数主要选取:DUI.SmartHome.Device.TurnOn”, // param”:{“location”:”阳台”,”deviceType”:”窗帘”}},
转换语义为:打开阳台上的,名字带”窗帘”的设备;或者阳台上的窗帘类型设备;根据需求来选定语义

设计一个简单的语音控制流程

首先为什么是简单的呢,就是我们仅仅使用枚举法去覆盖不同的语音输入,不在枚举之内就无法识别。其次对于离线,很简单,这是一种部署在IOT设备上的语音规则引擎,可以脱离云平台工作。

语音匹配规则模型

根据上面分析的智能家居设备和场景控制的关键因素,我们设计了一个语音匹配规则模型,该模型可以满足大部分要求。

[En]

According to the key factors of smart home devices and scene control analyzed above, we design a speech matching rule model, which can achieve most of the requirements.

[{
“version”:”1.0″,
“words”:[
“打开客厅灯”,
“开灯”
],
“operate”:[{
“type”:”设备控制”,
“location”:”客厅”,
“dev_name”:”客厅灯”,
“dev_type”:”1″,
“opt_item”:[{
“identifier”:”电源开关”,
“value”:”1″
},{
“identifier”:”Level”,
“value”:”100″
}]
}]
},{
“version”:”1.0″,
“words”:[
“睡眠模式”
],
“operate”:[{
“type”:”场景控制”,
“location”:”主卧”,
“sence_name”:”会客场景”,
}]
}]

语音识别处理流程

【智能家居】设计一种语音控制识别规则模型---结合思必驰DUI平台

; 优化的点

优化语音输入条目的枚举匹配-尝试训练人工神经网络将条目解析为不同的语义,就像人脑的处理流程一样。

[En]

Optimization of enumeration matching of speech input entries-try to train an artificial neural network to parse entries into different semantics, just like the processing flow of the human brain.

Original: https://blog.csdn.net/weixin_38662952/article/details/125561454
Author: 加油太阳骑士
Title: 【智能家居】设计一种语音控制识别规则模型—结合思必驰DUI平台

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/497648/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球