喇叭發聲單元跟麥克接收單元之間，通常是需要做隔振處理的，如果沒有隔振處理的話，那么在喇叭發聲的過程中，他所產生的振動會通過物理方式傳遞到麥克接收端。對麥克接收到的聲學信號進行調制，而這種振動本質上是一種隨機的、非線性的振動，所以它必然會帶來非線性失真。手機聲學特性調研我們之前針對市面上主要的手機機型做過一次調研，主要調查聲學特性。結果我們很驚訝地發現，市面上超過半數的手機機型，聲學特性不夠理想，對應這里面的“較差”和“極差”這兩檔。我們平時用手機開外音玩游戲，或者語音通話時，經常會出現漏回聲問題和雙講剪切問題，就與手機聲學特性不佳有直接聯系。當然這組數據只是針對手機這種電子產品，市...

黑色這條線是標準NLMS算法的回聲抑制比。我們可以看到，NLMS算法在收斂之后，回聲抑制比只能到10個分貝左右，相對比較低。而雙耦合算法在收斂之后，可以達到25個分貝以上，也就是說它比NLMS算法多15個分貝，這個優勢是很明顯的。接下來我們再看第二個示例，針對弱非線性失真的情況，左邊是語譜，右邊是回聲抑制比。我們評估單講性能的主要指標是回聲抑制比和收斂速度。首先看一下NLMS算法，它在收斂之后，大概可以抑制22~25個分貝。這個算法的收斂速度很慢，大概經過100多幀之后才會進入到相對收斂的狀態。再來看一下雙耦合算法，在穩定之后，可以抑制35~40個分貝，比NLMS算法大概提升15~...

什么是非線性聲學回聲？，什么是非線性的聲學回聲？這里我給出了一張圖，的是聲學回聲的路徑圖，圖的左邊對應的是發射端，右邊對應的是接收端。我們發出的信號首先要經過D/A變換，從數字域變換到模擬域，然后再經過功率放大器，放大之后驅動喇叭，這樣就會發出聲音。發出來的聲音經過空氣信道傳播之后，到了接收端被麥克風采集到，然后再次經過功率放大器，再通過A/D變換，從模擬域又變回到數字域。那么這里的y[k]就是我們收到的回聲信號。，我們接收到的回聲y[k]到底是線性回聲還是非線性回聲呢？或者說我們應該怎么去判斷它？我覺得要解決這個問題，就是要認識清楚這里面的每一個環節，看看它們到底是線性系統還是非...

直達聲總是較早到達人耳，這是因為直達聲比反射聲的聲程短。除了直達聲以外，反射的聲音形成了混響聲，使室內聲壓級增加。15.比較大聲壓級廳內空場穩態時的比較大聲壓級。16.傳輸頻率特性廳內各測點處穩態聲壓級的平均值相對于擴聲系統傳聲器處聲壓或擴聲設備輸入端電壓的幅頻響應。17.傳聲增益擴聲系統達比較高可用增益時，廳內各測點處穩態聲壓級平均值與擴聲系統傳聲器處聲壓級的差值。18.比較高可用增益maximumavailablegain歌舞廳擴聲系統在聲反饋自激臨界狀態的增益減去6dB時的增益。擴聲系統中使用單指向性傳聲器、頻率均衡器能提高擴聲系統的傳聲增益。19.聲場不均勻度有擴聲時，廳內...

直達聲總是較早到達人耳，這是因為直達聲比反射聲的聲程短。除了直達聲以外，反射的聲音形成了混響聲，使室內聲壓級增加。15.比較大聲壓級廳內空場穩態時的比較大聲壓級。16.傳輸頻率特性廳內各測點處穩態聲壓級的平均值相對于擴聲系統傳聲器處聲壓或擴聲設備輸入端電壓的幅頻響應。17.傳聲增益擴聲系統達比較高可用增益時，廳內各測點處穩態聲壓級平均值與擴聲系統傳聲器處聲壓級的差值。18.比較高可用增益maximumavailablegain歌舞廳擴聲系統在聲反饋自激臨界狀態的增益減去6dB時的增益。擴聲系統中使用單指向性傳聲器、頻率均衡器能提高擴聲系統的傳聲增益。19.聲場不均勻度有擴聲時，廳內...

對麥克接收到的聲學信號進行調制，而這種振動本質上是一種隨機的、非線性的振動，所以它必然會帶來非線性失真。3.手機聲學特性調研,我們之前針對市面上主要的手機機型做過一次調研，主要調查聲學特性。結果我們很驚訝地發現，市面上超過半數的手機機型，聲學特性不夠理想，對應這里面的“較差”和“極差”這兩檔。我們平時用手機開外音玩游戲，或者語音通話時，經常會出現漏回聲問題和雙講剪切問題，就與手機聲學特性不佳有直接聯系。當然這組數據只是針對手機這種電子產品，市面上類似于手機這樣的電子產品還有很多，它們應該也有類似的問題。這組數據告訴我們，非線性失真問題在我們生活中的電子產品里是一個普遍存在的問題，我...

男人說話的聲頻為～150Hz，女人說話聲頻為～230Hz,發動機聲頻為～250Hz，絕大部分機器的噪音也是以低頻為主的中低頻噪音）,9.聲音頻率(聲頻)聲波在單位時間內的振動次數稱為頻率(frequency)，單位赫(Hz)。人耳能夠聽到的聲音的整個范圍是20~20000Hz，一般把聲音頻率分為低頻（500Hz以下）、中頻（500-1000Hz）和高頻(1000Hz以上)三個頻帶。聽覺好的成年人能聽到的聲音頻率常在30~16000Hz之間，老年人則常在50~10000Hz之間。10.混響聲源停止發音后，產生的聲音延續現象。11.混響時間當聲場達到穩定的狀態后，突然關掉聲源使其停止發...

以此來應對市面上絕大多數的移動設備。另外，線性濾波器雖然不具備調整延時的能力，但可以通過估計的index衡量當前信號的延時狀態，范圍為[0,kNormalNumPartitions]，如果index處于作用域兩端，說明真實延時過小或過大，會影響線性回聲估計的效果，嚴重的會帶來回聲，此時需要結合固定延時與大延時檢測來修正。非線性濾波非線性部分一共做了兩件事，就是想盡千方百計干掉遠端信號。(1)根據線性部分提供的估計的回聲信號，計算信號間的相干性，判別遠近端幀狀態。(2)調整抑制系數，計算非線性濾波參數。非線性濾波抑制系數為hNl，大致表征著估計的回聲信號e(n)中，期望的近端成分與殘...

也就是說吸聲可提高音質,但對降噪能力效果不好。3.吸聲系數在一定面積上被吸收的聲能與射入聲能之比稱之為該界面的吸聲系數（α）。當入射聲能被完全反射時，α=0，表示無吸聲作用；當入射聲波完全沒有被反射時，α=1，表示完全被吸收。一般材料或結構的吸聲系數α=0~1，α值越大，表示吸聲能越好，它是目前表征吸聲性能常用的參數。4.吸聲量又稱等效吸聲面積,等于吸聲材料面積與其吸聲系數的乘積。單位為平方米。5.吸聲材料吸聲系數大于(acousticalabsorptionmaterials)。吸聲材料是多孔、疏散的材質,常用的吸聲材料有玻璃棉、巖棉、聚酯纖維吸音板、羊毛氈、礦渣棉、卡普隆纖維、...

在線性的回聲場景里，雙耦合的非線性濾波器是處于休眠的狀態，所以它的值是趨于0的，這個時候起主導作用的是線性濾波器。接下來我們再看一下右邊的非線性聲學回聲場景。我們假設非線性的失要出現在t1到t2這個時間段內，大家可以看到黃色線在這個時間里，出現了一次突變，對于NLMS算法，當出現非線性失真之后，它的線性濾波器會去逼近非線性失真。但是由于學習的速度跟不上濾波器變化的速度，所以它跟真實的值之間總是存在一個比較大的gap。同時當非線性失真消失之后，它還需要一段時間恢復到正常狀態，因此在整個時間段里，都會出現回聲泄露的問題。接下來我們再看雙耦合算法，在非線性失真出現之后，線性濾波器會進入到...

也能夠更清楚地看到這里面可能存在的回授現象。部分工程師在調試遠程會議系統時也許遇到過嘯叫，那可不一定是本地系統沒調好所造成的，你會發現，關掉終端一切非常正常。為什么絕大多數的遠程系統沒有嘯叫呢？這還得感謝您還不算非常質量的網絡。我們常說，距離產生延時，而在模擬音頻大舉轉向數字音頻、網絡音頻的，網絡信號的延遲也為音頻領域賦予了新的現象，尤其應用在遠程會議這樣的音頻傳輸系統當中，它能將一次次回授剝離成一次次聽似回聲的現象，這就是網絡音頻回聲。通常由A地發出的聲源A在幾乎不經過延遲處理的本地系統中，通過A地音箱擴聲；而其經過網絡終端編碼送向遠端時，除了考慮A地的上傳時間X，還得考慮B地的...

深入淺出WebRTCAEC（聲學回聲消除）,前言：近年來，音視頻會議產品提升著工作協同的效率，在線教育產品突破著傳統教育形式的種種限制，娛樂互動直播產品豐富著生活社交的多樣性，背后都離不開音視頻通信技術的優化與創新，其中音頻信息內容傳遞的流暢性、完整性、可懂度直接決定著用戶之間的溝通質量。自2011年WebRTC開源以來，無論是其技術架構，還是其中豐富的算法模塊都是值得我們細細品味，音頻方面熟知的3A算法（AGC:Automaticgaincontrol;ANS:Adaptivenoisesuppression;AEC:Acousticechocancellation）就是其中閃閃...

達到，接近于1。黃色曲線，對應的數據具有比較弱的非線性失真，所以在時間T變大了之后，短期相關度逐漸降低，趨于一個相對平穩的值。而紅色曲線是我們選的一條具有強非線性失真的數據，為了對這三組數據進行有效對比，我們還給出了一條藍色曲線，這條曲線是信號與噪聲的短時相關度，它在整個時間T范圍內都很小。通過這樣一組曲線的對比，會得到兩個結論，個結論就是我們構建的短時相關度函數，能夠相對客觀反映這個聲學系統的線性度特征，線性度越好，這個值會越大。第二個結論：對于非線性失真很強的系統，其在短時觀測窗內（如T<100ms）依然具有較強的相關度，這從紅色的曲線可以看出來。也正是基于這樣的特征，我們接下...

WebRTCAEC算法中開辟了可存儲250個block大緩沖區，每個block的長度PART_LEN=64個樣本點，能夠保存的1s的數據，這也是理論上的大延時能夠估計的范圍，夠用了。我們用610ms延時的數據測試(啟用大延時調整需要設置delay_agnostic_enabled=1)：我們還是設置默認延時為240ms，剛開始還是調整了-60個block，隨后大延時調整接入之后有調整了-88個block，一共調整(60+88)*4=592ms，之后線性濾波器固定index=4，表示剩余延時剩余16ms，符合預期。③線性濾波器延時估計是固定延時調整和大延時調整之后，濾波器對當前遠近端延時的直接反...

而在模擬音頻大舉轉向數字音頻、網絡音頻的，網絡信號的延遲也為音頻領域賦予了新的現象，尤其應用在遠程會議這樣的音頻傳輸系統當中，它能將一次次回授剝離成一次次聽似回聲的現象，這就是網絡音頻回聲。通常由A地發出的聲源A在幾乎不經過延遲處理的本地系統中，通過A地音箱擴聲；而其經過網絡終端編碼送向遠端時，除了考慮A地的上傳時間X，還得考慮B地的下載時間Y。在這樣一個架構在Internet網絡傳輸環境中的聲音，其到達B地擴聲音箱出來的信號則是A+X+Y。經B地本地話筒拾取后的該信號，再由B地的上傳網速（時間）Z、A地的下載時間W傳送回A地擴聲音箱，其表現出的信號則會出現一次A信號，及一次賦予了...

并與正常品的對比和設定合理的limits，可以快速準確的檢查出耳機的異常音不良。耳機底噪底噪也就是本底噪聲，一般指在電聲系統中，除去有用的信號外的總噪聲。底噪有來自于固有的電子、電磁噪音，也有確是功放電路或電源性能問題導致的。理論上底噪是無法去除的，當然只有當底噪大到影響聽感的時候才是問題。很多時候可以提高信噪比把底噪給壓低，這確實可以降低聽音樂時噪聲的影響。但是總之人們還是有帶耳機不聽音樂的時候，典型的如ANC耳機降噪工作的時候，此時顯得尤為重要，近期幾大品牌都因為ANC底噪問題造成過批量退貨。為了準確的檢測產品底噪，我們需要知道目前行業內耳機功放工作類型大概有以下兩種：1、產品...

而正是這兩級客觀存在的物理聲學現象，造就了我們所討論的內容。在遠程會議系統的終端（本地），為了實現多人互動、多人拾音等目的，系統聲音免不了被放大還原，而在諸如此類的放大系統中，為本地音箱能夠聽到遠端聲音，并能把本地拾音信號傳送到遠端而互通。眾所周知，話筒在拾取到放大后的音箱信號后，再次回授、無限循環而產生反饋現象，而系統在均衡聲場后，該現象其實是可以得到明顯改觀的。但話筒的拾音靈敏度是不是可以無限大呢？不是，在足夠電平條件下，它始終會因拾取到具有相干性頻率相位關系的輸入信號而建立起回授。上述嘯叫現象并不是本文重點，但它為我們討論接下來的話題提供了一個前提，那就是（同一個聲場環境中）...

男人說話的聲頻為～150Hz，女人說話聲頻為～230Hz,發動機聲頻為～250Hz，絕大部分機器的噪音也是以低頻為主的中低頻噪音）,9.聲音頻率(聲頻)聲波在單位時間內的振動次數稱為頻率(frequency)，單位赫(Hz)。人耳能夠聽到的聲音的整個范圍是20~20000Hz，一般把聲音頻率分為低頻（500Hz以下）、中頻（500-1000Hz）和高頻(1000Hz以上)三個頻帶。聽覺好的成年人能聽到的聲音頻率常在30~16000Hz之間，老年人則常在50~10000Hz之間。10.混響聲源停止發音后，產生的聲音延續現象。11.混響時間當聲場達到穩定的狀態后，突然關掉聲源使其停止發...

在線性的回聲場景里，雙耦合的非線性濾波器是處于休眠的狀態，所以它的值是趨于0的，這個時候起主導作用的是線性濾波器。接下來我們再看一下右邊的非線性聲學回聲場景。我們假設非線性的失要出現在t1到t2這個時間段內，大家可以看到黃色線在這個時間里，出現了一次突變，對于NLMS算法，當出現非線性失真之后，它的線性濾波器會去逼近非線性失真。但是由于學習的速度跟不上濾波器變化的速度，所以它跟真實的值之間總是存在一個比較大的gap。同時當非線性失真消失之后，它還需要一段時間恢復到正常狀態，因此在整個時間段里，都會出現回聲泄露的問題。接下來我們再看雙耦合算法，在非線性失真出現之后，線性濾波器會進入到...

n)后，被麥克風采集到的信號，此時經過房間混響以及麥克風采集的信號y(n)已經不能等同于信號x(n)了,我們記線性疊加的部分為y'(n),非線性疊加的部分為y''(n),y(n)=y'(n)+y''(n)；s(n):麥克風采集的近端說話人的語音信號，即我們真正想提取并發送到遠端的信號；v(n)：環境噪音，這部分信號會在ANS中被削弱；d(n):近端信號，即麥克風采集之后，3A之前的原始信號，可以表示為：d(n)=s(n)+y(n)+v(n)；s'(n):3A之后的音頻信號，即準備經過編碼發送到對端的信號。WebRTC音頻引擎能夠拿到的已知信號只有近端信號d(n)和遠端參考信號x(n...

我們比較這兩個之后就會發現，雙講段主要出現在中間這一段。我們評估雙講性能的主要指標是回聲抑制比和近端語音失真度。上面這是經過回聲消除之后的語譜，中間的是NLMS算法的結果。我們可以看到它的回聲抑制不是很理想，不管在單講段還是在雙講段，都有比較多的回聲殘留。而下面這個是采用雙耦合算法得到的語譜，可以看到在單講和雙講里面回聲抑制得都比較干凈，并且在雙講里，對近端語音的損傷也很小。這個數據對應視頻會議場景，因此還需要做一步NLP的處理。上面這個就是基于雙耦合算法，做了NLP之后的輸出結果。我們可以看到處理完之后，整個語譜很清晰，回聲去得很干凈，而且語譜沒有太大損傷，雙講很通透。我再來簡單總結一下，主...

直達聲總是較早到達人耳，這是因為直達聲比反射聲的聲程短。除了直達聲以外，反射的聲音形成了混響聲，使室內聲壓級增加。15.比較大聲壓級廳內空場穩態時的比較大聲壓級。16.傳輸頻率特性廳內各測點處穩態聲壓級的平均值相對于擴聲系統傳聲器處聲壓或擴聲設備輸入端電壓的幅頻響應。17.傳聲增益擴聲系統達比較高可用增益時，廳內各測點處穩態聲壓級平均值與擴聲系統傳聲器處聲壓級的差值。18.比較高可用增益maximumavailablegain歌舞廳擴聲系統在聲反饋自激臨界狀態的增益減去6dB時的增益。擴聲系統中使用單指向性傳聲器、頻率均衡器能提高擴聲系統的傳聲增益。19.聲場不均勻度有擴聲時，廳內...

n)為加混響的遠端參考信號x(n)+近端語音信號s(n)。理論上NLMS在處理這種純線性疊加的信號時，可以不用非線性部分出馬，直接干掉遠端回聲信號。圖7(a)行為近端信號d(n)，第二列為遠端參考信號x(n)，線性部分輸出結果，黃色框中為遠端信號。WebRTCAEC中采用固定步長的NLMS算法收斂較慢，有些許回聲殘留。但是變步長的NLMS收斂較快，回聲抑制相對好一些，如圖7(b)。線性濾波器參數設置#defineFRAME_LEN80#definePART_LEN64enum{kExtendedNumPartitions=32};staticconstintkNormalNumPa...

并與正常品的對比和設定合理的limits，可以快速準確的檢查出耳機的異常音不良。耳機底噪底噪也就是本底噪聲，一般指在電聲系統中，除去有用的信號外的總噪聲。底噪有來自于固有的電子、電磁噪音，也有確是功放電路或電源性能問題導致的。理論上底噪是無法去除的，當然只有當底噪大到影響聽感的時候才是問題。很多時候可以提高信噪比把底噪給壓低，這確實可以降低聽音樂時噪聲的影響。但是總之人們還是有帶耳機不聽音樂的時候，典型的如ANC耳機降噪工作的時候，此時顯得尤為重要，近期幾大品牌都因為ANC底噪問題造成過批量退貨。為了準確的檢測產品底噪，我們需要知道目前行業內耳機功放工作類型大概有以下兩種：1、產品...

首先是優化準則。NLMS算法是基于小均方誤差準則，而雙耦合算法是基于小平均短時累計誤差準則，所以他們的優化準則是不一樣的。第二個就是理論的比較好解，NLMS算法具有Wiener-Hopf方程解，而雙耦合算法的線性濾波器也具有Wiener-Hopf方程解，非線性濾波器具有小二乘解。第三個維度就是運算量，NLMS運算量是O（M），M是濾波器的階數，而雙耦合算法運算量后面會多一個O（N2），因為他有兩個濾波器，N是非線性濾波器的階數，這里的平方是因為小二乘需要對矩陣進行求逆運算，所以它的運算量比線性的NLMS運算量要大很多。第三個就是控制機制，NLMS算法只有一個濾波器，它的控制主要是通...

達到，接近于1。黃色曲線，對應的數據具有比較弱的非線性失真，所以在時間T變大了之后，短期相關度逐漸降低，趨于一個相對平穩的值。而紅色曲線是我們選的一條具有強非線性失真的數據，為了對這三組數據進行有效對比，我們還給出了一條藍色曲線，這條曲線是信號與噪聲的短時相關度，它在整個時間T范圍內都很小。通過這樣一組曲線的對比，會得到兩個結論，個結論就是我們構建的短時相關度函數，能夠相對客觀反映這個聲學系統的線性度特征，線性度越好，這個值會越大。第二個結論：對于非線性失真很強的系統，其在短時觀測窗內（如T<100ms）依然具有較強的相關度，這從紅色的曲線可以看出來。也正是基于這樣的特征，我們接下...

為什么要費那么大周折去抑制回聲？這個話題應該不言而喻了。會議、語音擴聲講究的即是STI語音清晰度（可懂度），而回聲是語言清晰度的比較大。設想踩腳跟式的語音信號傳達到耳朵，聽者難受，講者費勁，對于這樣的語音會議來說，那必將是一場災難。我們把聲學回聲消除這個技術變成一張實體的插件（設備插卡），在系統中，為實現次回聲過濾（過濾回聲源則過濾多次回聲）。這個技術應該插入在系統的哪個環節呢？我們不妨來找找系統中具備近乎相同/相似信號的一級進出環節。我們并不難發現一組具備相似信號的輸入輸出環節。而AEC技術認為，在這里對回聲下手是治根的辦法！市面上有多種類的回聲消除器，也有部分抑制器，其算法和解決辦法各...

WebRTCAEC算法中開辟了可存儲250個block大緩沖區，每個block的長度PART_LEN=64個樣本點，能夠保存的1s的數據，這也是理論上的大延時能夠估計的范圍，夠用了。我們用610ms延時的數據測試(啟用大延時調整需要設置delay_agnostic_enabled=1)：我們還是設置默認延時為240ms，剛開始還是調整了-60個block，隨后大延時調整接入之后有調整了-88個block，一共調整(60+88)*4=592ms，之后線性濾波器固定index=4，表示剩余延時剩余16ms，符合預期。③線性濾波器延時估計是固定延時調整和大延時調整之后，濾波器對當前遠近端延時的直接反...

男人說話的聲頻為～150Hz，女人說話聲頻為～230Hz,發動機聲頻為～250Hz，絕大部分機器的噪音也是以低頻為主的中低頻噪音）,9.聲音頻率(聲頻)聲波在單位時間內的振動次數稱為頻率(frequency)，單位赫(Hz)。人耳能夠聽到的聲音的整個范圍是20~20000Hz，一般把聲音頻率分為低頻（500Hz以下）、中頻（500-1000Hz）和高頻(1000Hz以上)三個頻帶。聽覺好的成年人能聽到的聲音頻率常在30~16000Hz之間，老年人則常在50~10000Hz之間。10.混響聲源停止發音后，產生的聲音延續現象。11.混響時間當聲場達到穩定的狀態后，突然關掉聲源使其停止發...

男人說話的聲頻為～150Hz，女人說話聲頻為～230Hz,發動機聲頻為～250Hz，絕大部分機器的噪音也是以低頻為主的中低頻噪音）,9.聲音頻率(聲頻)聲波在單位時間內的振動次數稱為頻率(frequency)，單位赫(Hz)。人耳能夠聽到的聲音的整個范圍是20~20000Hz，一般把聲音頻率分為低頻（500Hz以下）、中頻（500-1000Hz）和高頻(1000Hz以上)三個頻帶。聽覺好的成年人能聽到的聲音頻率常在30~16000Hz之間，老年人則常在50~10000Hz之間。10.混響聲源停止發音后，產生的聲音延續現象。11.混響時間當聲場達到穩定的狀態后，突然關掉聲源使其停止發...