LSTM通過輸入門、輸出門和遺忘門可以更好的控制信息的流動和傳遞，具有長短時記憶能力。雖然LSTM的計算復雜度會比DNN增加，但其整體性能比DNN有相對20%左右穩定提升。BLSTM是在LSTM基礎上做的進一步改進，考慮語音信號的歷史信息對當前幀的影響，還要考慮未來信息對當前幀的影響，因此其網絡中沿時間軸存在正向和反向兩個信息傳遞過程，這樣該模型可以更充分考慮上下文對于當前語音幀的影響，能夠極大提高語音狀態分類的準確率。BLSTM考慮未來信息的代價是需要進行句子級更新，模型訓練的收斂速度比較慢，同時也會帶來解碼的延遲，對于這些問題，業屆都進行了工程優化與改進，即使現在仍然有很多大公司使用的都是該模型結構。圖像識別中主流的模型就是CNN，而語音信號的時頻圖也可以看作是一幅圖像，因此CNN也被引入到語音識別中。要想提高語音識別率，就需要克服語音信號所面臨的多樣性，包括說話人自身、說話人所處的環境、采集設備等，這些多樣性都可以等價為各種濾波器與語音信號的卷積。而CNN相當于設計了一系列具有局部關注特性的濾波器，并通過訓練學習得到濾波器的參數，從而從多樣性的語音信號中抽取出不變的部分。目前的主流語音識別系統多采用隱馬爾可夫模型HMM進行聲學模型建模。河北語音識別代碼
該模型比百度上一代DeepPeak2模型提升相對15%的性能。開源語音識別Kaldi是業界語音識別框架的基石。Kaldi的作者DanielPovey一直推崇的是Chain模型。該模型是一種類似于CTC的技術，建模單元相比于傳統的狀態要更粗顆粒一些，只有兩個狀態，一個狀態是CDPhone，另一個是CDPhone的空白，訓練方法采用的是Lattice-FreeMMI訓練。該模型結構可以采用低幀率的方式進行解碼，解碼幀率為傳統神經網絡聲學模型的三分之一，而準確率相比于傳統模型有提升。遠場語音識別技術主要解決真實場景下舒適距離內人機任務對話和服務的問題，是2015年以后開始興起的技術。由于遠場語音識別解決了復雜環境下的識別問題，在智能家居、智能汽車、智能會議、智能安防等實際場景中獲得了應用。目前國內遠場語音識別的技術框架以前端信號處理和后端語音識別為主，前端利用麥克風陣列做去混響、波束形成等信號處理，以讓語音更清晰，然后送入后端的語音識別引擎進行識別。語音識別另外兩個技術部分：語言模型和解碼器，目前來看并沒有太大的技術變化。語言模型主流還是基于傳統的N-Gram方法，雖然目前也有神經網絡的語言模型的研究，但在實用中主要還是更多用于后處理糾錯。解碼器的指標是速度。江蘇語音識別率語音識別技術還可以應用于自動口語翻譯。
因此一定是兩者融合才有可能更好地解決噪聲下的語音識別問題。（3）上述兩個問題的共性是目前的深度學習用到了語音信號各個頻帶的能量信息，而忽略了語音信號的相位信息，尤其是對于多通道而言，如何讓深度學習更好的利用相位信息可能是未來的一個方向。（4）另外，在較少數據量的情況下，如何通過遷移學習得到一個好的聲學模型也是研究的熱點方向。例如方言識別，若有一個比較好的普通話聲學模型，如何利用少量的方言數據得到一個好的方言聲學模型，如果做到這點將極大擴展語音識別的應用范疇。這方面已經取得了一些進展，但更多的是一些訓練技巧，距離目標還有一定差距。（5）語音識別的目的是讓機器可以理解人類，因此轉換成文字并不是終的目的。如何將語音識別和語義理解結合起來可能是未來更為重要的一個方向。語音識別里的LSTM已經考慮了語音的歷史時刻信息，但語義理解需要更多的歷史信息才能有幫助，因此如何將更多上下文會話信息傳遞給語音識別引擎是一個難題。（6）讓機器聽懂人類語言，靠聲音信息還不夠，“聲光電熱力磁”這些物理傳感手段，下一步必然都要融合在一起，只有這樣機器才能感知世界的真實信息，這是機器能夠學習人類知識的前提條件。而且。
Hinton提出深度置信網絡（DBN），促使了深度神經網絡（DNN）研究的復蘇。2009年，Hinton將DNN應用于語音的聲學建模，在TIMIT上獲得了當時好的結果。2011年底，微軟研究院的俞棟、鄧力又把DNN技術應用在了大詞匯量連續語音識別任務上，降低了語音識別錯誤率。從此語音識別進入DNN-HMM時代。DNN-HMM主要是用DNN模型代替原來的GMM模型，對每一個狀態進行建模，DNN帶來的好處是不再需要對語音數據分布進行假設，將相鄰的語音幀拼接又包含了語音的時序結構信息，使得對于狀態的分類概率有了明顯提升，同時DNN還具有強大環境學習能力，可以提升對噪聲和口音的魯棒性。簡單來說，DNN就是給出輸入的一串特征所對應的狀態概率。由于語音信號是連續的，各個音素、音節以及詞之間沒有明顯的邊界，各個發音單位還會受到上下文的影響。雖然拼幀可以增加上下文信息，但對于語音來說還是不夠。而遞歸神經網絡（RNN）的出現可以記住更多歷史信息，更有利于對語音信號的上下文信息進行建模。由于簡單的RNN存在梯度炸和梯度消散問題，難以訓練，無法直接應用于語音信號建模上，因此學者進一步探索，開發出了很多適合語音建模的RNN結構，其中有名的就是LSTM。語音識別（Speech Recognition）是以語音為研究對象。
用來描述雙重隨機過程。HMM有算法成熟、效率高、易于訓練等優點，被***應用于語音識別、手寫字識別和天氣預報等多個領域，目前仍然是語音識別中的主流技術。HMM包含S1、S2、S3、S4和S55個狀態，每個狀態對應多幀觀察值，這些觀察值是特征序列(o1、o2、o3、o4,...,oT)，沿時刻t遞增，多樣化而且不局限取值范圍，因此其概率分布不是離散的，而是連續的。自然界中的很多信號可用高斯分布表示，包括語音信號。由于不同人發音會存在較大差異，具體表現是，每個狀態對應的觀察值序列呈現多樣化，單純用一個高斯函數來刻畫其分布往往不夠，因此更多的是采用多高斯組合的GMM來表征更復雜的分布。這種用GMM作為HMM狀態產生觀察值的概率密度函數(pdf)的模型就是GMM-HMM，每個狀態對應的GMM由2個高斯函數組合而成。其能夠對復雜的語音變化情況進行建模。把GMM-HMM的GMM用DNN替代，HMM的轉移概率和初始狀態概率保持不變。把GMM-HMM的GMM用DNN替代DNN的輸出節點與所有HMM(包括"a"、"o"等音素)的發射狀態一一對應，因此可通過DNN的輸出得到每個狀態的觀察值概率。DNN-HMM4.端到端從2015年，端到端模型開始流行，并被應用于語音識別領域。聲音從本質是一種波，也就是聲波，這種波可以作為一種信號來進行處理。廣州光纖數據語音識別介紹
在語音對話場景采買一句話識別（短語音）接口或者實時語音識別（長語音流）接口，都屬于流式語音識別。河北語音識別代碼
提升用戶體驗，仍然是要重點解決的問題。口語化。每個說話人的口音、語速和發聲習慣都是不一樣的，尤其是一些地區的口音(如南方口音、山東重口音)，會導致準確率急劇下降。還有電話場景和會議場景的語音識別，其中包含很多口語化表達，如閑聊式的對話，在這種情況下的識別效果也很不理想。因此語音識別系統需要提升自適應能力，以便更好地匹配個性化、口語化表達，排除這些因素對識別結果的影響，達到準確穩定的識別效果。低資源。特定場景、方言識別還存在低資源問題。手機APP采集的是16kHz寬帶語音。有大量的數據可以訓練，因此識別效果很好，但特定場景如銀行/證券柜臺很多采用專門設備采集語音，保存的采樣格式壓縮比很高，跟一般的16kHz或8kHz語音不同，而相關的訓練數據又很缺乏，因此識別效果會變得很差。低資源問題同樣存在于方言識別，中國有七大方言區，包括官話方言(又稱北方方言)、吳語、湘語、贛語、客家話、粵語、閩語(閩南語)，還有晉語、湘語等分支，要搜集各地數據(包括文本語料)相當困難。因此如何從高資源的聲學模型和語言模型遷移到低資源的場景，減少數據搜集的代價，是很值得研究的方向。語種混雜(code-switch)。在日常交流中。河北語音識別代碼