gaoyiyeah / asr_syllable

基于卷积神经网络的语音识别声学模型的研究

ASR_Syllable

首先感谢西安电子科技大学聂师兄，北理工詹师兄，工大薛师兄，以及携程郝师兄等好友对本项目提出高贵建议；
采用端到端方法构建声学模型，以音节为建模单元，采用DCNN-CTC网络结构，希望集众人力量改进以音节为建模单元的声学模型。

配置环境要求

python 3.x
keras 2.0
Tensorflow 1.8.0
numpy
wave
python_speech_features
random
os
scipy
difflib

THCHS-30数据

程序的实验数据可以从Thchs30下载，在此感谢清华大学对语音识别领域的贡献； 下载完成解压后放在程序的同级目录； 程序不仅是对中文语音识别声学模型以字为建模单元的的构建，而且为英文语音识别以字为建模单元提供一定的指导意义。

算法框架

拼帧与跳帧

代码位置在 ./general_function/pinzhen.py

CTC损失函数：

采用DCNN-CTC构建语音识别声学模型；
CTC损失函数介绍可以观看本人的博客；
(1)CTC原理介绍;
(2)CTC损失函数推导;

网络构建；

(1)构建类似VGG网络架构，Conv-BN-Conv-BN-Maxpool-Dropout
(2)采用MNIST数据集构建Densenet网络架构，自己可以直接把Densenet网络架构用于声学模型，脚本对应的是speechmodel_17；
(3)为了解决CTC在最后Dense层分类无法捕捉前后信息，我对Dense层加入了Attention机制，代码如下： ####融入了attention机制于全连接层；
dense1 = Dense(units=512, activation='relu', use_bias=True, kernel_initializer='he_normal')(reshape)
attention_prob = Dense(units=512, activation='softmax', name='attention_vec')(dense1)
attention_mul = multiply([dense1, attention_prob])
dense1 = BatchNormalization(epsilon=0.0002)(attention_mul)
dense1 = Dropout(0.3)(dense1)

实验结果

DCNN-CTC:25.09%
Densenet-CTC:SER=31.23%，优化之前为SER=32.27%
DCNN-Attention-CTC:SER=24.32%

实验改进

欢迎各位同行对本声学模型提供宝贵建议；
个人博客 包含自己近期的学习总结