一個(gè)完整的基于統(tǒng)計(jì)的語音識別系統(tǒng)可大致分為三部分：

(1)語音信號預(yù)處理與特征提取；

(2)聲學(xué)模型與模式匹配；

(3)語言模型與語言處理 選擇識別單元是語音識別研究的第一步。語音識別單元有單詞（句）、音節(jié)和音素三種，具體選擇哪一種，由具體的研究任務(wù)決定。

單詞（句）單元廣泛應(yīng)用于中小詞匯語音識別系統(tǒng)，但不適合大詞匯系統(tǒng)，原因在于模型庫太龐大，訓(xùn)練模型任務(wù)繁重，模型匹配算法復(fù)雜，難以滿足實(shí)時(shí)性要求。

音節(jié)單元多見于漢語語音識別，主要因?yàn)闈h語是單音節(jié)結(jié)構(gòu)的語言，而英語是多音節(jié)，并且漢語雖然有大約1300個(gè)音節(jié)，但若不考慮聲調(diào)，約有408個(gè)無調(diào)音節(jié)，數(shù)量相對較少。因此，對于中、大詞匯量漢語語音識別系統(tǒng)來說，以音節(jié)為識別單元基本是可行的。

音素單元以前多見于英語語音識別的研究中，但目前中、大詞匯量漢語語音識別系統(tǒng)也在越來越多地采用。原因在于漢語音節(jié)僅由聲母（包括零聲母有22個(gè)）和韻母（共有28個(gè)）構(gòu)成，且聲韻母聲學(xué)特性相差很大。實(shí)際應(yīng)用中常把聲母依后續(xù)韻母的不同而構(gòu)成細(xì)化聲母，這樣雖然增加了模型數(shù)目，但提高了易混淆音節(jié)的區(qū)分能力。由于協(xié)同發(fā)音的影響，音素單元不穩(wěn)定，所以如何獲得穩(wěn)定的音素單元，還有待研究。

語音識別一個(gè)根本的問題是合理的選用特征。特征參數(shù)提取的目的是對語音信號進(jìn)行分析處理，去掉與語音識別無關(guān)的冗余信息，獲得影響語音識別的重要信息，同時(shí)對語音信號進(jìn)行壓縮。在實(shí)際應(yīng)用中，語音信號的壓縮率介于10-100之間。語音信號包含了大量各種不同的信息，提取哪些信息，用哪種方式提取，需要綜合考慮各方面的因素，如成本，性能，響應(yīng)時(shí)間，計(jì)算量等。非特定人語音識別系統(tǒng)一般側(cè)重提取反映語義的特征參數(shù)，盡量去除說話人的個(gè)人信息；而特定人語音識別系統(tǒng)則希望在提取反映語義的特征參數(shù)的同時(shí)，盡量也包含說話人的個(gè)人信息。 

線性預(yù)測（LP）分析技術(shù)是目前應(yīng)用廣泛的特征參數(shù)提取技術(shù)，許多成功的應(yīng)用系統(tǒng)都采用基于LP技術(shù)提取的倒譜參數(shù)。但線性預(yù)測模型是純數(shù)學(xué)模型，沒有考慮人類聽覺系統(tǒng)對語音的處理特點(diǎn)。

也有研究者嘗試把小波分析技術(shù)應(yīng)用于特征提取，但目前性能難以與上述技術(shù)相比，有待進(jìn)一步研究。 聲學(xué)模型通常是將獲取的語音特征使用訓(xùn)練算法進(jìn)行訓(xùn)練后產(chǎn)生。在識別時(shí)將輸入的語音特征同聲學(xué)模型（模式）進(jìn)行匹配與比較，得到最佳的識別結(jié)果。

聲學(xué)模型是識別系統(tǒng)的底層模型，并且是語音識別系統(tǒng)中最關(guān)鍵的一部分。聲學(xué)模型的目的是提供一種有效的方法計(jì)算語音的特征矢量序列和每個(gè)發(fā)音模板之間的距離。聲學(xué)模型的設(shè)計(jì)和語言發(fā)音特點(diǎn)密切相關(guān)。聲學(xué)模型單元大小（字發(fā)音模型、半音節(jié)模型或音素模型）對語音訓(xùn)練數(shù)據(jù)量大小、系統(tǒng)識別率，以及靈活性有較大的影響。必須根據(jù)不同語言的特點(diǎn)、識別系統(tǒng)詞匯量的大小決定識別單元的大小。

以漢語為例：

漢語按音素的發(fā)音特征分類分為輔音、單元音、復(fù)元音、復(fù)鼻尾音四種，按音節(jié)結(jié)構(gòu)分類為聲母和韻母。并且由音素構(gòu)成聲母或韻母。有時(shí)，將含有聲調(diào)的韻母稱為調(diào)母。由單個(gè)調(diào)母或由聲母與調(diào)母拼音成為音節(jié)。漢語的一個(gè)音節(jié)就是漢語一個(gè)字的音，即音節(jié)字。由音節(jié)字構(gòu)成詞，最后再由詞構(gòu)成句子。

漢語聲母共有22個(gè)，其中包括零聲母，韻母共有38個(gè)。按音素分類，漢語輔音共有22個(gè)，單元音13個(gè)，復(fù)元音13個(gè)，復(fù)鼻尾音16個(gè)。

目前常用的聲學(xué)模型基元為聲韻母、音節(jié)或詞，根據(jù)實(shí)現(xiàn)目的不同來選取不同的基元。漢語加上語氣詞共有412個(gè)音節(jié)，包括輕音字，共有1282個(gè)有調(diào)音節(jié)字，所以當(dāng)在小詞匯表孤立詞語音識別時(shí)常選用詞作為基元，在大詞匯表語音識別時(shí)常采用音節(jié)或聲韻母建模，而在連續(xù)語音識別時(shí)，由于協(xié)同發(fā)音的影響，常采用聲韻母建模。

基于統(tǒng)計(jì)的語音識別模型常用的就是HMM模型λ(N,M,π,A,B)，涉及到HMM模型的相關(guān)理論包括模型的結(jié)構(gòu)選取、模型的初始化、模型參數(shù)的重估以及相應(yīng)的識別算法等。 語言模型包括由識別語音命令構(gòu)成的語法網(wǎng)絡(luò)或由統(tǒng)計(jì)方法構(gòu)成的語言模型，語言處理可以進(jìn)行語法、語義分析。

語言模型對中、大詞匯量的語音識別系統(tǒng)特別重要。當(dāng)分類發(fā)生錯誤時(shí)可以根據(jù)語言學(xué)模型、語法結(jié)構(gòu)、語義學(xué)進(jìn)行判斷糾正，特別是一些同音字則必須通過上下文結(jié)構(gòu)才能確定詞義。語言學(xué)理論包括語義結(jié)構(gòu)、語法規(guī)則、語言的數(shù)學(xué)描述模型等有關(guān)方面。目前比較成功的語言模型通常是采用統(tǒng)計(jì)語法的語言模型與基于規(guī)則語法結(jié)構(gòu)命令語言模型。語法結(jié)構(gòu)可以限定不同詞之間的相互連接關(guān)系，減少了識別系統(tǒng)的搜索空間，這有利于提高系統(tǒng)的識別。