英國倫敦大學的科學家Fry和Denes等人di一次利用統計學的原理構建出了一個可以識別出4個元音和9個輔音的音素識別器。在同一年，美國麻省理工學院林肯實驗室的研究人員則shou次實現了可以針對非特定人的可識別10個元音音素的識別器。語音識別技術的發展歷史，主要包括模板匹配、統計模型和深度學習三個階段。di一階段：模板匹配(DTW)20世紀60年代，一些重要的語音識別的經典理論先后被提出和發表出來。1964年，Martin為了解決語音時長不一致的問題，提出了一種時間歸一化的方法，該方法可以可靠地檢測出語音的端點，這可以有效地降低語音時長對識別結果的影響，使語音識別結果的可變性減小了。19...

已有20年歷史了，在Github和SourceForge上都已經開源了，而且兩個平臺上都有較高的活躍度。（2）Kaldi從2009年的研討會起就有它的學術根基了，現在已經在GitHub上開源，開發活躍度較高。（3）HTK始于劍橋大學，已經商用較長時間，但是現在版權已經不再開源軟件了。它的新版本更新于2015年12月。（4）Julius起源于1997年，一個主版本發布于2016年9月，主要支持的是日語。（5）ISIP是新型的開源語音識別系統，源于密西西比州立大學。它主要發展于1996到1999年間，版本發布于2011年，遺憾的是，這個項目已經不復存在。語音識別技術研究難點目前，語音識別研...

使處理后的信號更完全地反映語音的本質特征提取。智能語音系統的未來實現人機之間的自由語音交互將成為未來AI的發展趨勢，新技術投入市場會帶來一些熱情，但有一定的改善空間。首先，智能語音市場需要對特定人群適當地改變特定的場景。現在人機交互在實時性、正確性等方面也需要提高。其次，語音輸入的內容與各種專業知識相關，智能語音系統在理解人類語言的表面意義的基礎上，認識到更深的意義，因此智能語音系統的知識圖譜也是一大挑戰，對輸入輸出、編譯代碼提出了很高的要求，語音識別技術利用高速發展的信息網，可以實現計算機全球網絡和信息資源的共享，因此應用的系統有語音輸入和控制系統、電銷機器人、智能手機查詢系統、智能...

它相對于GMM-HMM系統并沒有什么優勢可言，研究人員還是更傾向于基于統計模型的方法。在20世紀80年代還有一個值得一提的事件，美國3eec6ee2-7378-4724-83b5-9b技術署(NIST)在1987年di一次舉辦了NIST評測，這項評測在后來成為了全球語音評測。20世紀90年代，語音識別進入了一個技術相對成熟的時期，主流的GMM-HMM框架得到了更廣的應用，在領域中的地位越發穩固。聲學模型的說話人自適應(SpeakerAdaptation)方法和區分性訓練(DiscriminativeTraining)準則的提出，進一步提升了語音識別系統的性能。1994年提出的大后驗概率...

DFCNN使用大量的卷積直接對整句語音信號進行建模，主要借鑒了圖像識別的網絡配置，每個卷積層使用小卷積核，并在多個卷積層之后再加上池化層，通過累積非常多卷積池化層對，從而可以看到更多的歷史信息。2018年，阿里提出LFR-DFSMN（LowerFrameRate-DeepFeedforwardSequentialMemoryNetworks）。該模型將低幀率算法和DFSMN算法進行融合，語音識別錯誤率相比上一代技術降低20%，解碼速度提升3倍。FSMN通過在FNN的隱層添加一些可學習的記憶模塊，從而可以有效的對語音的長時相關性進行建模。而DFSMN是通過跳轉避免深層網絡的梯度消失問...

在過去功能型操作系統的打造過程中，國內的程序員們更多的是使用者的角色，但智能型操作系統雖然也可以參照其他，但這次必須自己來從頭打造完整的系統。（國外巨頭不管在中文相關的技術上還是內容整合上事實上都非常薄弱，不存在國內市場的可能性）隨著平臺服務商兩邊的問題解決的越來越好，基礎的計算模式則會逐漸發生改變，人們的數據消費模式會與不同。個人的計算設備（當前主要是手機、筆記本、Pad）會根據不同場景進一步分化。比如在車上、家里、酒店、工作場景、路上、業務辦理等會根據地點和業務進行分化。但分化的同時背后的服務則是統一的，每個人可以自由的根據場景做設備的遷移，背后的服務雖然會針對不同的場景進行優...

Google將其應用于語音識別領域，取得了非常好的效果，將詞錯誤率降低至。如下圖所示，Google提出新系統的框架由三個部分組成：Encoder編碼器組件，它和標準的聲學模型相似，輸入的是語音信號的時頻特征；經過一系列神經網絡，映射成高級特征henc，然后傳遞給Attention組件，其使用henc特征學習輸入x和預測子單元之間的對齊方式，子單元可以是一個音素或一個字。，attention模塊的輸出傳遞給Decoder，生成一系列假設詞的概率分布，類似于傳統的語言模型。端到端技術的突破，不再需要HMM來描述音素內部狀態的變化，而是將語音識別的所有模塊統一成神經網絡模型，使語音識別朝...

LSTM)的循環神經網絡RNN，能夠通過遺忘門和輸出門忘記部分信息來解決梯度消失的問題。由LSTM也衍生出了許多變體，較為常用的是門控循環單元(GatedRecurrentUnit，GRU)，在訓練數據很大的情況下GRU相比LSTM參數更少，因此更容易收斂，從而能節省很多時間。LSTM及其變體使得識別效果再次得到提升，尤其是在近場的語音識別任務上達到了可以滿足人們日常生活的標準。另外，時延神經網絡(TimeDelayNeuralNetwork，TDNN)也獲得了不錯的識別效果，它可以適應語音的動態時域變化，能夠學習到特征之間的時序依賴。深度學習技術在近十幾年中，一直保持著飛速發展的狀態...

因此在平臺服務上反倒是可以主推一些更為面向未來、有特色的基礎服務，比如兼容性方面新興公司做的會更加徹底，這種兼容性對于一套產品同時覆蓋國內國外市場是相當有利的。類比過去的Android，語音交互的平臺提供商們其實面臨更大的挑戰，發展過程可能會更加的曲折。過去經常被提到的操作系統的概念在智能語音交互背景下事實上正被賦予新的內涵，它日益被分成兩個不同但必須緊密結合的部分。過去的Linux以及各種變種承擔的是功能型操作系統的角色，而以Alexa的新型系統則承擔的則是智能型系統的角色。前者完成完整的硬件和資源的抽象和管理，后者則讓這些硬件以及資源得到具體的應用，兩者相結合才能輸出終用戶可感知的...

導致我國的語音識別研究在整個20世紀80年代都沒有取得學術成果，也沒有開發出具有優良性能的識別系統。20世紀90年代，我國的語音識別研究持續發展，開始逐漸地緊追國際水平。在"863"計劃、國家科技攻關計劃、國家自然科學基金的支持下，我國在中文語音識別技術方面取得了一系列研究成果。21世紀初期，包括科大訊飛、中科信利、捷通華聲等一批致力于語音應用的公司陸續在我國成立。語音識別企業科大訊飛早在2010年，就推出了業界中文語音輸入法，移動互聯網的語音應用。2010年以后，百度、騰訊、阿里巴巴等國內各大互聯網公司相繼組建語音研發團隊，推出了各自的語音識別服務和產品。在此之后，國內語音識別的研究...

DTW）技術基本成熟，特別提出了矢量量化（Vec?torQuantization，VQ）和隱馬爾可夫模型（HiddenMar?kovModel，HMM）理論。20世紀80年代，語音識別任務開始從孤立詞、連接詞的識別轉向大詞匯量、非特定人、連續語音的識別，識別算法也從傳統的基于標準模板匹配的方法轉向基于統計模型的方法。在聲學模型方面，由于HMM能夠很好的描述語音時變性和平穩性，開始被應用于大詞匯量連續語音識別（LargeVocabularyContinousSpeechRecognition，LVCSR）的聲學建模；在語言模型方面，以N元文法的統計語言模型開始應用于語音識別系統。在這一階...

2）初始化離線引擎：初始化訊飛離線語音庫，根據本地生成的語法文檔，構建語法網絡，輸入語音識別器中；（3）初始化聲音驅動：根據離線引擎的要求，初始化ALSA庫；（4）啟動數據采集：如果有用戶有語音識別請求，語音控制模塊啟動實時語音采集程序；（5）靜音切除：在語音數據的前端，可能存在部分靜音數據，ALSA庫開啟靜音檢測功能，將靜音數據切除后傳送至語音識別引擎；（6）語音識別狀態檢測：語音控制模塊定時檢測引擎系統的語音識別狀態，當離線引擎有結果輸出時，提取語音識別結果；（7）結束語音采集：語音控制模塊通知ALSA，終止實時語音數據的采集；（8）語義解析：語音控制模塊根據語音識別的結果，完...

語音文件“/timit/test/dr5/fnlp0/”的波形圖、語譜圖和標注SwitchBoard——對話式電話語音庫，采樣率為8kHz，包含來自美國各個地區543人的2400條通話錄音。研究人員用這個數據庫做語音識別測試已有20多年的歷史。LibriSpeech——英文語音識別數據庫，總共1000小時，采樣率為16kHz。包含朗讀式語音和對應的文本。Thchs-30——清華大學提供的一個中文示例，并配套完整的發音詞典，其數據集有30小時，采樣率為16kHz。AISHELL-1——希爾貝殼開源的178小時中文普通話數據，采樣率為16kHz。包含400位來自中國不同口音地區的發音人的語...

英國倫敦大學的科學家Fry和Denes等人di一次利用統計學的原理構建出了一個可以識別出4個元音和9個輔音的音素識別器。在同一年，美國麻省理工學院林肯實驗室的研究人員則shou次實現了可以針對非特定人的可識別10個元音音素的識別器。語音識別技術的發展歷史，主要包括模板匹配、統計模型和深度學習三個階段。di一階段：模板匹配(DTW)20世紀60年代，一些重要的語音識別的經典理論先后被提出和發表出來。1964年，Martin為了解決語音時長不一致的問題，提出了一種時間歸一化的方法，該方法可以可靠地檢測出語音的端點，這可以有效地降低語音時長對識別結果的影響，使語音識別結果的可變性減小了。19...

因此一定是兩者融合才有可能更好地解決噪聲下的語音識別問題。（3）上述兩個問題的共性是目前的深度學習用到了語音信號各個頻帶的能量信息，而忽略了語音信號的相位信息，尤其是對于多通道而言，如何讓深度學習更好的利用相位信息可能是未來的一個方向。（4）另外，在較少數據量的情況下，如何通過遷移學習得到一個好的聲學模型也是研究的熱點方向。例如方言識別，若有一個比較好的普通話聲學模型，如何利用少量的方言數據得到一個好的方言聲學模型，如果做到這點將極大擴展語音識別的應用范疇。這方面已經取得了一些進展，但更多的是一些訓練技巧，距離目標還有一定差距。（5）語音識別的目的是讓機器可以理解人類，因此轉換成文字并...

聲音的感知qi官正常人耳能感知的頻率范圍為20Hz~20kHz，強度范圍為0dB~120dB。人耳對不同頻率的感知程度是不同的。音調是人耳對不同頻率聲音的一種主觀感覺，單位為mel。mel頻率與在1kHz以下的頻率近似成線性正比關系，與1kHz以上的頻率成對數正比關系。02語音識別過程人耳接收到聲音后，經過神經傳導到大腦分析，判斷聲音類型，并進一步分辨可能的發音內容。人的大腦從嬰兒出生開始，就不斷在學習外界的聲音，經過長時間的潛移默化，終才聽懂人類的語言。機器跟人一樣，也需要學習語言的共性和發音的規律，才能進行語音識別。音素(phone)是構成語音的*小單位。英語中有48個音素(2...

在識別時可以將待識別的語音的特征參數與聲學模型進行匹配，得到識別結果。目前的主流語音識別系統多采用隱馬爾可夫模型HMM進行聲學模型建模。（4）語言模型訓練語言模型是用來計算一個句子出現概率的模型，簡單地說，就是計算一個句子在語法上是否正確的概率。因為句子的構造往往是規律的，前面出現的詞經常預示了后方可能出現的詞語。它主要用于決定哪個詞序列的可能性更大，或者在出現了幾個詞的時候預測下一個即將出現的詞語。它定義了哪些詞能跟在上一個已經識別的詞的后面（匹配是一個順序的處理過程），這樣就可以為匹配過程排除一些不可能的單詞。語言建模能夠有效的結合漢語語法和語義的知識，描述詞之間的內在關系，從而提...

在我們的生活中，語言是傳遞信息重要的方式，它能夠讓人們之間互相了解。人和機器之間的交互也是相同的道理，讓機器人知道人類要做什么、怎么做。交互的方式有動作、文本或語音等等，其中語音交互越來越被重視，因為隨著互聯網上智能硬件的普及，產生了各種互聯網的入口方式，而語音是簡單、直接的交互方式，是通用的輸入模式。在1952年，貝爾研究所研制了世界上能識別10個英文數字發音的系統。1960年英國的Denes等人研制了世界上語音識別（ASR）系統。大規模的語音識別研究始于70年代，并在單個詞的識別方面取得了實質性的進展。上世紀80年代以后，語音識別研究的重點逐漸轉向更通用的大詞匯量、非特定人的連續語...

聲音的感知qi官正常人耳能感知的頻率范圍為20Hz~20kHz，強度范圍為0dB~120dB。人耳對不同頻率的感知程度是不同的。音調是人耳對不同頻率聲音的一種主觀感覺，單位為mel。mel頻率與在1kHz以下的頻率近似成線性正比關系，與1kHz以上的頻率成對數正比關系。02語音識別過程人耳接收到聲音后，經過神經傳導到大腦分析，判斷聲音類型，并進一步分辨可能的發音內容。人的大腦從嬰兒出生開始，就不斷在學習外界的聲音，經過長時間的潛移默化，終才聽懂人類的語言。機器跟人一樣，也需要學習語言的共性和發音的規律，才能進行語音識別。音素(phone)是構成語音的*小單位。英語中有48個音素(2...

自2015年以來，谷歌、亞馬遜、百度等公司陸續開始了對CTC模型的研發和使用，并且都獲得了不錯的性能提升。2014年，基于Attention(注意力機制)的端到端技術在機器翻譯領域中得到了廣的應用并取得了較好的實驗結果，之后很快被大規模商用。于是，JanChorowski在2015年將Attention的應用擴展到了語音識別領域，結果大放異彩。在近的兩年里，有一種稱為Seq2Seq(SequencetoSequence)的基于Attention的語音識別模型在學術界引起了極大的關注，相關的研究取得了較大的進展。在加拿大召開的國際智能語音領域的會議ICASSP2018上，谷歌公司發表的研...

feed-forwardsequentialmemorynetwork，FSMN)，在DNN的隱層旁增加了一個“記憶模塊”，這個記憶模塊用來存儲對判斷當前語音幀有用的語音信號的歷史信息和未來信息，并且只需等待有限長度的未來語音幀。隨后，科大訊飛進一步提出了深度全序列卷積神經網絡(DFCNN)。2018年，阿里巴巴改良并開源了語音識別模型DFSMN(DeepFSMN)。2018年，中科院自動化所率先把Transformer應用到語音識別任務，并進一步拓展到中文語音識別。不管是在研究成果還是在產品性能體驗上，國內的語音行業整體水平已經達到甚至超越了國際水平。2016年10月，時任百度首席科...

語音識別是一門綜合性學科，涉及的領域非常廣，包括聲學、語音學、語言學、信號處理、概率統計、信息論、模式識別和深度學習等。語音識別的基礎理論包括語音的產生和感知過程、語音信號基礎知識、語音特征提取等，關鍵技術包括高斯混合模型(GaussianMixtureModel，GMM)、隱馬爾可夫模型(HiddenMarkovModel，HMM)、深度神經網絡(DeepNeuralNetwork，DNN)，以及基于這些模型形成的GMM-HMM、DNN-HMM和端到端(End-to-End，E2E)系統。語言模型和解碼器也非常關鍵，直接影響語音識別實際應用的效果。為了讓讀者更好地理解語音信號的特性，...

即在解碼端通過搜索技術尋找優詞串的方法。連續語音識別中的搜索，就是尋找一個詞模型序列以描述輸入語音信號，從而得到詞解碼序列。搜索所依據的是對公式中的聲學模型打分和語言模型打分。在實際使用中，往往要依據經驗給語言模型加上一個高權重，并設置一個長詞懲罰分數。語音識別本質上是一種模式識別的過程，未知語音的模式與已知語音的參考模式逐一進行比較，佳匹配的參考模式被作為識別結果。當今語音識別技術的主流算法，主要有基于動態時間規整（DTW）算法、基于非參數模型的矢量量化（VQ）方法、基于參數模型的隱馬爾可夫模型（HMM）的方法、以及近年來基于深度學習和支持向量機等語音識別方法。站在巨人的肩膀上：開源...

提升用戶體驗，仍然是要重點解決的問題?？谡Z化。每個說話人的口音、語速和發聲習慣都是不一樣的，尤其是一些地區的口音(如南方口音、山東重口音)，會導致準確率急劇下降。還有電話場景和會議場景的語音識別，其中包含很多口語化表達，如閑聊式的對話，在這種情況下的識別效果也很不理想。因此語音識別系統需要提升自適應能力，以便更好地匹配個性化、口語化表達，排除這些因素對識別結果的影響，達到準確穩定的識別效果。低資源。特定場景、方言識別還存在低資源問題。手機APP采集的是16kHz寬帶語音。有大量的數據可以訓練，因此識別效果很好，但特定場景如銀行/證券柜臺很多采用專門設備采集語音，保存的采樣格式壓縮比很高...

CNN本質上也可以看作是從語音信號中不斷抽取特征的一個過程。CNN相比于傳統的DNN模型，在相同性能情況下，前者的參數量更少。綜上所述，對于建模能力來說，DNN適合特征映射到空間，LSTM具有長短時記憶能力，CNN擅長減少語音信號的多樣性，因此一個好的語音識別系統是這些網絡的組合。端到端時代語音識別的端到端方法主要是代價函數發生了變化，但神經網絡的模型結構并沒有太大變化?？傮w來說，端到端技術解決了輸入序列的長度遠大于輸出序列長度的問題。端到端技術主要分成兩類：一類是CTC方法，另一類是Sequence-to-Sequence方法。傳統語音識別DNN-HMM架構里的聲學模型，每一幀輸入都...

訓練通常來講都是離線完成的，將海量的未知語音通過話筒變成信號之后加在識別系統的輸入端，經過處理后再根據語音特點建立模型，對輸入的信號進行分析，并提取信號中的特征，在此基礎上建立語音識別所需的模板。識別則通常是在線完成的，對用戶實時語音進行自動識別。這個過程又基本可以分為“前端”和“后端”兩個模塊。前端主要的作用就是進行端點檢測、降噪、特征提取等。后端的主要作用是利用訓練好的“聲音模型”和“語音模型”對用戶的語音特征向量進行統計模式識別，得到其中包含的文字信息。語音識別技術的應用語音識別技術有著應用領域和市場前景。在語音輸入控制系統中，它使得人們可以甩掉鍵盤，通過識別語音中的要求、請求、...

語音文件“/timit/test/dr5/fnlp0/”的波形圖、語譜圖和標注SwitchBoard——對話式電話語音庫，采樣率為8kHz，包含來自美國各個地區543人的2400條通話錄音。研究人員用這個數據庫做語音識別測試已有20多年的歷史。LibriSpeech——英文語音識別數據庫，總共1000小時，采樣率為16kHz。包含朗讀式語音和對應的文本。Thchs-30——清華大學提供的一個中文示例，并配套完整的發音詞典，其數據集有30小時，采樣率為16kHz。AISHELL-1——希爾貝殼開源的178小時中文普通話數據，采樣率為16kHz。包含400位來自中國不同口音地區的發音人的語...

CNN本質上也可以看作是從語音信號中不斷抽取特征的一個過程。CNN相比于傳統的DNN模型，在相同性能情況下，前者的參數量更少。綜上所述，對于建模能力來說，DNN適合特征映射到空間，LSTM具有長短時記憶能力，CNN擅長減少語音信號的多樣性，因此一個好的語音識別系統是這些網絡的組合。端到端時代語音識別的端到端方法主要是代價函數發生了變化，但神經網絡的模型結構并沒有太大變化。總體來說，端到端技術解決了輸入序列的長度遠大于輸出序列長度的問題。端到端技術主要分成兩類：一類是CTC方法，另一類是Sequence-to-Sequence方法。傳統語音識別DNN-HMM架構里的聲學模型，每一幀輸入都...

傳統的人機交互依靠復雜的鍵盤或按鈕來實現，隨著科技的發展，一些新型的人機交互方式也隨之誕生，帶給人們全新的體驗?；谡Z音識別的人機交互方式是目前熱門的技術之一。但是語音識別功能算法復雜、計算量大，一般在計算機上實現，即使是嵌入式方面，多數方案也需要運算能力強的ARM或DSP，并且外擴RAM、FLASH等資源，增加了硬件成本，這些特點無疑限制了語音識別技術的應用，尤其是嵌入式領域。本系統采用的主控MCU為Atmel公司的ATMEGA128，語音識別功能則采用ICRoute公司的單芯片LD3320。LD3320內部集成優化過的語音識別算法，無需外部FLASH，RAM資源，可以很好地完成...

語音識別在噪聲中比在安靜的環境下要難得多。目前主流的技術思路是，通過算法提升降低誤差。首先，在收集的原始語音中，提取抗噪性較高的語音特征。然后，在模型訓練的時候，結合噪聲處理算法訓練語音模型，使模型在噪聲環境里的魯棒性較高。在語音解碼的過程中進行多重選擇，從而提高語音識別在噪聲環境中的準確率。完全消除噪聲的干擾，目前而言，還停留在理論層面。（3）模型的有效性識別系統中的語言模型、詞法模型在大詞匯量、連續語音識別中還不能完全正確的發揮作用，需要有效地結合語言學、心理學及生理學等其他學科的知識。并且，語音識別系統從實驗室演示系統向商品的轉化過程中還有許多具體細節技術問題需要解決。智能語音識...