一是惱人的異常音往往是比較輕微的，由于人工聽音存在主觀辨識性的問題，對于這類輕微的異常音疏于判斷，但是終端客戶可能不接受；二是在于產線測試環境嘈雜，普通的測試設備易受干擾，人耳對低階次諧波的失真不敏感，所以在低階的諧波失真導致的異音可能無法聽出，但儀器有可能測出，從而導致誤測，生產效率降低。要想準確檢測出異常音，高性能的硬件采集和的軟件算法缺一不可。指南測控的標準聲學測試系統，通過規范的配備自研的高精度的測試傳感器、高隔離度的環境環境、高靈敏度的GT-BT216C音頻分析儀，輔以良好的減振結構設計，基于異常音包含大量的高次諧波失真成分這一基本原理，結合大量的生產測試經驗和實驗研究，...

我們比較這兩個之后就會發現，雙講段主要出現在中間這一段。我們評估雙講性能的主要指標是回聲抑制比和近端語音失真度。上面這是經過回聲消除之后的語譜，中間的是NLMS算法的結果。我們可以看到它的回聲抑制不是很理想，不管在單講段還是在雙講段，都有比較多的回聲殘留。而下面這個是采用雙耦合算法得到的語譜，可以看到在單講和雙講里面回聲抑制得都比較干凈，并且在雙講里，對近端語音的損傷也很小。這個數據對應視頻會議場景，因此還需要做一步NLP的處理。上面這個就是基于雙耦合算法，做了NLP之后的輸出結果。我們可以看到處理完之后，整個語譜很清晰，回聲去得很干凈，而且語譜沒有太大損傷，雙講很通透。我再來簡單總結一下，主...

我們還希望它在一個短時的觀測時間窗的尺度里面也是比較好的，即局部比較好，所以在數學期望內部，我們又對誤差進行了短時積分。這個優化準則跟傳統的線性自適應濾波器是有本質區別的，因為傳統的線性自適應濾波器基于小均方誤差準則，它只是在統計意義上比較好，沒有局部比較好約束。首先來求解這里的Wl，就是線性濾波器。主要求解方法是，假設Wn就是非線性濾波器是比較好解，把這個比較好解代入到前面的優化方程里，就會得到上面簡化之后的優化目標函數。在這個地方，我們又做了一些先驗假設，假設非線性的濾波器的一階統計量和二階統計量都等于0，我們就可以把上面的優化問題進一步簡化，就得到我們非常熟悉的方程，就是Wi...

一是惱人的異常音往往是比較輕微的，由于人工聽音存在主觀辨識性的問題，對于這類輕微的異常音疏于判斷，但是終端客戶可能不接受；二是在于產線測試環境嘈雜，普通的測試設備易受干擾，人耳對低階次諧波的失真不敏感，所以在低階的諧波失真導致的異音可能無法聽出，但儀器有可能測出，從而導致誤測，生產效率降低。要想準確檢測出異常音，高性能的硬件采集和的軟件算法缺一不可。指南測控的標準聲學測試系統，通過規范的配備自研的高精度的測試傳感器、高隔離度的環境環境、高靈敏度的GT-BT216C音頻分析儀，輔以良好的減振結構設計，基于異常音包含大量的高次諧波失真成分這一基本原理，結合大量的生產測試經驗和實驗研究，...

WebRtcAec_Process接口如上，參數reported_delay_ms為當前設備需要調整延時的目標值。如某Android設備固定延時為400ms左右，400ms已經超出濾波器覆蓋的延時范圍，至少需要調整300ms延時，才能滿足回聲消除沒有回聲的要求。固定延時調整在WebRTCAEC算法開始之初作用一次,為什么target_delay是這么計算？inttarget_delay=startup_size_ms*self->rate_factor*8;startup_size_ms其實就是設置下去的reported_delay_ms，這一步將計算時間毫秒轉化為樣本點數。160...

就得到了非線性濾波器的比較好解，它具有小二乘估計形式。第三步構建耦合機制。在介紹耦合機制之前，先說一下我對這種耦合機制的期望特性。我希望在聲學系統的線性度非常好的情況下，線性濾波器起到主導作用，而非線性濾波器處于休眠的狀態，或者關閉的狀態；反過來，當聲學系統的非線性很強時，希望非線性濾波器起到主導作用，而線性濾波器處于半休眠狀態。實際聲學系統往往是非線性與線性兩種狀態的不斷交替、疊加，因此我們希望構建一種機制來對這兩種狀態進行耦合控制。為了設計耦合機制，就必須對線性度和非線性度特征進行度量。因此，我們定義了兩個因子，分別是線性度因子和非線性度因子，對應左邊的這兩個方程。而我們進行耦...

23.避免廳堂音質缺陷的方法主要是從廳堂的體形設計和吸聲材料布置兩方面入手，消除產生音質缺陷的條件。例如，為了消除回聲，應在可能引起回聲的部位布置強吸聲材料，使反射聲減弱經；另一種方法是調整反射面角度，將后墻與頂棚交接處作成比較大的傾角，將聲音反射給后區觀眾，徹底消除回聲，取得化害為利的效果。為了消除聲聚集現象，應盡量控制廳堂界的曲面弧度，采用凸形結構，并在弧面上布置合適的吸音材料。為了消除音質缺陷，可根據廳堂內聲源的位置。采用幾何作圖法，用聲線的分布找出各種聲缺陷的條件和部位，再采取必要的措施進行抑制。24.回聲指強度和時間差大到足可以引起聽覺將它與直達聲區分開來的反射聲。從單一...

噪聲抑制和聲源分離同屬于語音增強的范疇，如果把噪聲理解為廣義的噪聲三者之間的關系,噪聲抑制需要準確估計出噪聲信號，其中平穩噪聲可以通過語音檢測判別有話端與無話端的狀態來動態更新噪聲信號，進而參與降噪，常用的手段是基于譜減法(即在原始信號的基礎上減去估計出來的噪聲所占的成分)的一系列改進方法，其效果依賴于對噪聲信號估計的準確性。對于非平穩噪聲，目前用的較多的就是基于遞歸神經網絡的深度學習方法，很多Windows設備上都內置了基于多麥克風陣列的降噪的算法。效果上，為了保證音質，噪聲抑制允許噪聲殘留，只要比原始信號信噪比高，噪且聽覺上失真無感知即可。單聲道的聲源分離技術起源于傳說中的雞尾...

非線性聲學回聲消除技術,非線性的聲學回聲消除問題，在實際聲學系統里面非常普遍也非常棘手，到目前為止還沒有特別有效的辦法來解決。目前介紹非線性聲學回聲消除的公開文獻也少之又少。如何處理非線性聲學回聲消除的，效果又如何？將從非線性聲學回聲消除產生的原因、研究現狀、技術難點出發，詳細介紹雙耦合的聲學回聲消除算法以及實驗檢驗結果。我要講的內容是《非線性聲學回聲消除技術》，之所以選擇這樣的方向，主要是基于兩個方面的原因：非線性的聲學回聲消除問題是一個困擾了行業很多年的技術難題，這個問題在實際的聲學系統里非常普遍，同時又很棘手，到目前為止，還沒有特別有效的辦法。我猜測大家應該會對這個課題感興趣...

至于雙講恢復能力WebRTCAEC算法提供了{kAecNlpConservative,kAecNlpModerate,kAecNlpAggressive}3個模式，由低到高依次不同的抑制程度，遠近端信號處理流程,NLMS自適應算法（上圖中橙色部分）的運用旨在盡可能地消除信號d(n)中的線性部分回聲，而殘留的非線性回聲信號會在非線性濾波（上圖中紫色部分）部分中被消除，這兩個模塊是WebrtcAEC的模塊。模塊前后依賴，現實場景中遠端信號x(n)由揚聲器播放出來在被麥克風采集的過程中，同時包含了回聲y(n)與近端信號x(n)的線性疊加和非線性疊加：需要消除線性回聲的目的是為了增大近端信...

而在模擬音頻大舉轉向數字音頻、網絡音頻的，網絡信號的延遲也為音頻領域賦予了新的現象，尤其應用在遠程會議這樣的音頻傳輸系統當中，它能將一次次回授剝離成一次次聽似回聲的現象，這就是網絡音頻回聲。通常由A地發出的聲源A在幾乎不經過延遲處理的本地系統中，通過A地音箱擴聲；而其經過網絡終端編碼送向遠端時，除了考慮A地的上傳時間X，還得考慮B地的下載時間Y。在這樣一個架構在Internet網絡傳輸環境中的聲音，其到達B地擴聲音箱出來的信號則是A+X+Y。經B地本地話筒拾取后的該信號，再由B地的上傳網速（時間）Z、A地的下載時間W傳送回A地擴聲音箱，其表現出的信號則會出現一次A信號，及一次賦予了...

在這里我將整個回聲路徑分成了A、B、C、D四個部分。我們一起來看一下，ABCD里面哪一個環節有可能是非線性的？答案應該是B。也就是回聲路徑里面的功率放大器和喇叭，具體的原因稍后會做詳細分析。接下來我想再解釋一下為什么A、C、D它們不是非線性的。首先這里的A和D比較好判斷，他們都屬于線性時不變系統。比較難判斷的是C，因為在一些比較復雜的場景下，聲學回聲往往會經過多個不同路徑的多次反射之后到達接收端，同時會帶有很強的混響，甚至在更極端情況下，喇叭與麥克風之間還會產生相對位移變化，導致回聲路徑也會隨時間快速變化。這么多因素疊加在一起，往往會導致回聲消除算法的性能急劇退化，甚至完全失效。有...

深入淺出WebRTCAEC（聲學回聲消除）,前言：近年來，音視頻會議產品提升著工作協同的效率，在線教育產品突破著傳統教育形式的種種限制，娛樂互動直播產品豐富著生活社交的多樣性，背后都離不開音視頻通信技術的優化與創新，其中音頻信息內容傳遞的流暢性、完整性、可懂度直接決定著用戶之間的溝通質量。自2011年WebRTC開源以來，無論是其技術架構，還是其中豐富的算法模塊都是值得我們細細品味，音頻方面熟知的3A算法（AGC:Automaticgaincontrol;ANS:Adaptivenoisesuppression;AEC:Acousticechocancellation）就是其中閃閃...

再結合與更多正常品的對比和設定合理的limits，可以快速準確的檢查出耳機在各種狀態下的底噪不良。耳機回聲回聲來自于非預期的泄露，一般分為電學回聲和聲學回聲。前者一般由于麥克風和揚聲器線路布局不合理的電路耦合造成，后者則是由于麥克風和揚聲器的聲學泄露耦合而成。對于回聲不良的耳機來說，在通話時，耳機喇叭播放的聲音信號通過麥克風又傳回電話另一頭的手機，從而讓講話者聽到自己的聲音。對于耳機來講，主要是聲學回聲，表現為收發環路的隔離度不好，其根本原因就是耳機在裝配時麥克風與喇叭的密封隔離沒做好，導致通話時回聲出現的不良體驗。圖中的耳機，在通話時，人耳會略微的感受到回聲，也就是佩戴人講話的聲音又傳遞到了...

非線性聲學回聲產生的原因非線性聲學回聲產生的原因，我一共列了兩條原因。原因之一，聲學器件的小型化與廉價化，這里所指的聲學器件就是前面B里面提到的功率放大器和喇叭。為什么聲學器件的小型化容易產生非線性的失真呢？這個需要從喇叭發聲的基本原理說起，我們都知道聲波的本質是一種物理振動，而喇叭發聲的基本原理就是通過電流來驅動喇叭的振膜發生振動之后，這個振膜會帶動周圍的空氣分子相應發生振動，這樣就產生了聲音。如果我們要發出一個大的聲音的話，那么就需要在單位時間內用更多的電流去驅動更多的空氣分子發生振動。假設有大小不同的兩個喇叭，他們用同樣的功率去驅動，對于大喇叭而言，由于它跟空氣接觸的面積要大...

n)為加混響的遠端參考信號x(n)+近端語音信號s(n)。理論上NLMS在處理這種純線性疊加的信號時，可以不用非線性部分出馬，直接干掉遠端回聲信號。圖7(a)行為近端信號d(n)，第二列為遠端參考信號x(n)，線性部分輸出結果，黃色框中為遠端信號。WebRTCAEC中采用固定步長的NLMS算法收斂較慢，有些許回聲殘留。但是變步長的NLMS收斂較快，回聲抑制相對好一些，如圖7(b)。線性濾波器參數設置#defineFRAME_LEN80#definePART_LEN64enum{kExtendedNumPartitions=32};staticconstintkNormalNumPa...

非線性聲學回聲產生的原因非線性聲學回聲產生的原因，我一共列了兩條原因。原因之一，聲學器件的小型化與廉價化，這里所指的聲學器件就是前面B里面提到的功率放大器和喇叭。為什么聲學器件的小型化容易產生非線性的失真呢？這個需要從喇叭發聲的基本原理說起，我們都知道聲波的本質是一種物理振動，而喇叭發聲的基本原理就是通過電流來驅動喇叭的振膜發生振動之后，這個振膜會帶動周圍的空氣分子相應發生振動，這樣就產生了聲音。如果我們要發出一個大的聲音的話，那么就需要在單位時間內用更多的電流去驅動更多的空氣分子發生振動。假設有大小不同的兩個喇叭，他們用同樣的功率去驅動，對于大喇叭而言，由于它跟空氣接觸的面積要大...

n)為加混響的遠端參考信號x(n)+近端語音信號s(n)。理論上NLMS在處理這種純線性疊加的信號時，可以不用非線性部分出馬，直接干掉遠端回聲信號。圖7(a)行為近端信號d(n)，第二列為遠端參考信號x(n)，線性部分輸出結果，黃色框中為遠端信號。WebRTCAEC中采用固定步長的NLMS算法收斂較慢，有些許回聲殘留。但是變步長的NLMS收斂較快，回聲抑制相對好一些，如圖7(b)。線性濾波器參數設置#defineFRAME_LEN80#definePART_LEN64enum{kExtendedNumPartitions=32};staticconstintkNormalNumPa...

WebRtcAec_Process接口如上，參數reported_delay_ms為當前設備需要調整延時的目標值。如某Android設備固定延時為400ms左右，400ms已經超出濾波器覆蓋的延時范圍，至少需要調整300ms延時，才能滿足回聲消除沒有回聲的要求。固定延時調整在WebRTCAEC算法開始之初作用一次,為什么target_delay是這么計算？inttarget_delay=startup_size_ms*self->rate_factor*8;startup_size_ms其實就是設置下去的reported_delay_ms，這一步將計算時間毫秒轉化為樣本點數。160...

反映到聽感上就是回聲（遠端判斷成近端）或丟字（近端判斷為遠端）。（2）計算近端信號d(n)與估計的回聲信號e(n)的相干性，如圖5(b)，第二行為估計的回聲信號e(n)，第三行為二者相干性cohde，很明顯近端的部分幾乎全部逼近，WebRTC用比較嚴格的門限（>=）即可將區分絕大部分近端幀，且誤判的概率比較小，WebRTC工程師設置如此嚴格的門限想必是寧可一部分雙講效果，也不愿意接受回聲殘留。從圖5可以體會到，線性濾波之后可以進一步凸顯遠端參考信號x(n)與估計的回聲信號e(n)的差異，從而提高遠近端幀狀態的判決的可靠性。存在的問題與改進理想情況下，遠端信號從揚聲器播放出來沒有非線...

我們比較這兩個之后就會發現，雙講段主要出現在中間這一段。我們評估雙講性能的主要指標是回聲抑制比和近端語音失真度。上面這是經過回聲消除之后的語譜，中間的是NLMS算法的結果。我們可以看到它的回聲抑制不是很理想，不管在單講段還是在雙講段，都有比較多的回聲殘留。而下面這個是采用雙耦合算法得到的語譜，可以看到在單講和雙講里面回聲抑制得都比較干凈，并且在雙講里，對近端語音的損傷也很小。這個數據對應視頻會議場景，因此還需要做一步NLP的處理。上面這個就是基于雙耦合算法，做了NLP之后的輸出結果。我們可以看到處理完之后，整個語譜很清晰，回聲去得很干凈，而且語譜沒有太大損傷，雙講很通透。我再來簡單總結一下，主...

噪聲抑制和聲源分離同屬于語音增強的范疇，如果把噪聲理解為廣義的噪聲三者之間的關系,噪聲抑制需要準確估計出噪聲信號，其中平穩噪聲可以通過語音檢測判別有話端與無話端的狀態來動態更新噪聲信號，進而參與降噪，常用的手段是基于譜減法(即在原始信號的基礎上減去估計出來的噪聲所占的成分)的一系列改進方法，其效果依賴于對噪聲信號估計的準確性。對于非平穩噪聲，目前用的較多的就是基于遞歸神經網絡的深度學習方法，很多Windows設備上都內置了基于多麥克風陣列的降噪的算法。效果上，為了保證音質，噪聲抑制允許噪聲殘留，只要比原始信號信噪比高，噪且聽覺上失真無感知即可。單聲道的聲源分離技術起源于傳說中的雞尾...

在線性的回聲場景里，雙耦合的非線性濾波器是處于休眠的狀態，所以它的值是趨于0的，這個時候起主導作用的是線性濾波器。接下來我們再看一下右邊的非線性聲學回聲場景。我們假設非線性的失要出現在t1到t2這個時間段內，大家可以看到黃色線在這個時間里，出現了一次突變，對于NLMS算法，當出現非線性失真之后，它的線性濾波器會去逼近非線性失真。但是由于學習的速度跟不上濾波器變化的速度，所以它跟真實的值之間總是存在一個比較大的gap。同時當非線性失真消失之后，它還需要一段時間恢復到正常狀態，因此在整個時間段里，都會出現回聲泄露的問題。接下來我們再看雙耦合算法，在非線性失真出現之后，線性濾波器會進入到...

非線性聲學回聲產生的原因非線性聲學回聲產生的原因，我一共列了兩條原因。原因之一，聲學器件的小型化與廉價化，這里所指的聲學器件就是前面B里面提到的功率放大器和喇叭。為什么聲學器件的小型化容易產生非線性的失真呢？這個需要從喇叭發聲的基本原理說起，我們都知道聲波的本質是一種物理振動，而喇叭發聲的基本原理就是通過電流來驅動喇叭的振膜發生振動之后，這個振膜會帶動周圍的空氣分子相應發生振動，這樣就產生了聲音。如果我們要發出一個大的聲音的話，那么就需要在單位時間內用更多的電流去驅動更多的空氣分子發生振動。假設有大小不同的兩個喇叭，他們用同樣的功率去驅動，對于大喇叭而言，由于它跟空氣接觸的面積要大...

WebRTCAEC算法中開辟了可存儲250個block大緩沖區，每個block的長度PART_LEN=64個樣本點，能夠保存的1s的數據，這也是理論上的大延時能夠估計的范圍，夠用了。我們用610ms延時的數據測試(啟用大延時調整需要設置delay_agnostic_enabled=1)：我們還是設置默認延時為240ms，剛開始還是調整了-60個block，隨后大延時調整接入之后有調整了-88個block，一共調整(60+88)*4=592ms，之后線性濾波器固定index=4，表示剩余延時剩余16ms，符合預期。③線性濾波器延時估計是固定延時調整和大延時調整之后，濾波器對當前遠近端延時的直接反...

WebRTCAEC算法中開辟了可存儲250個block大緩沖區，每個block的長度PART_LEN=64個樣本點，能夠保存的1s的數據，這也是理論上的大延時能夠估計的范圍，夠用了。我們用610ms延時的數據測試(啟用大延時調整需要設置delay_agnostic_enabled=1)：我們還是設置默認延時為240ms，剛開始還是調整了-60個block，隨后大延時調整接入之后有調整了-88個block，一共調整(60+88)*4=592ms，之后線性濾波器固定index=4，表示剩余延時剩余16ms，符合預期。③線性濾波器延時估計是固定延時調整和大延時調整之后，濾波器對當前遠近端延時的直接反...

并與正常品的對比和設定合理的limits，可以快速準確的檢查出耳機的異常音不良。耳機底噪底噪也就是本底噪聲，一般指在電聲系統中，除去有用的信號外的總噪聲。底噪有來自于固有的電子、電磁噪音，也有確是功放電路或電源性能問題導致的。理論上底噪是無法去除的，當然只有當底噪大到影響聽感的時候才是問題。很多時候可以提高信噪比把底噪給壓低，這確實可以降低聽音樂時噪聲的影響。但是總之人們還是有帶耳機不聽音樂的時候，典型的如ANC耳機降噪工作的時候，此時顯得尤為重要，近期幾大品牌都因為ANC底噪問題造成過批量退貨。為了準確的檢測產品底噪，我們需要知道目前行業內耳機功放工作類型大概有以下兩種：1、產品...

可以準確快速的進行底噪測試。下圖TWS耳機中的左耳，在喇叭播放空聲源時，喇叭端有略微的電流聲底噪，右耳無此不良現場，通過指南測控的標準聲學測試系統進行左右耳TWS聲學測試，可以在底噪測試步驟中檢測到，有底噪異常的左耳的一些頻段能量值偏高，無底噪問題的右耳的表現就“平順”很多。再結合與更多正常品的對比和設定合理的limits，可以快速準確的檢查出耳機在各種狀態下的底噪不良。耳機回聲回聲來自于非預期的泄露，一般分為電學回聲和聲學回聲。前者一般由于麥克風和揚聲器線路布局不合理的電路耦合造成，后者則是由于麥克風和揚聲器的聲學泄露耦合而成。對于回聲不良的耳機來說，在通話時，耳機喇叭播放的聲音信號通過麥克...

這將不止產生一次的回聲，而是多次規律的回聲現象。AEC即AcousticEchoCancellation（聲學回聲消除）技術簡稱，該技術的出現旨在消除這種因遠程網絡會議所帶來的回授現象，以遏制次回聲產生所需的必要條件來遏制多次回聲的出現。為什么要費那么大周折去抑制回聲？這個話題應該不言而喻了。會議、語音擴聲講究的即是STI語音清晰度（可懂度），而回聲是語言清晰度的比較大。設想踩腳跟式的語音信號傳達到耳朵，聽者難受，講者費勁，對于這樣的語音會議來說，那必將是一場災難。我們把聲學回聲消除這個技術變成一張實體的插件（設備插卡），在系統中，為實現次回聲過濾（過濾回聲源則過濾多次回聲）。這個技術應該插入...

只需要近端采集信號即可，傲嬌的回聲消除需要同時輸入近端信號與遠端參考信號。有同學會問已知了遠端參考信號，為什么不能用噪聲抑制方法處理呢，直接從頻域減掉遠端信號的頻譜不就可以了嗎？行為近端信號s(n)，已經混合了近端人聲和揚聲器播放出來的遠端信號，黃色框中已經標出對齊之后的遠端信號，其語音表達的內容一致，但是頻譜和幅度(明顯經過揚聲器放大之后聲音能量很高)均不一致，意思就是：參考的遠端信號與揚聲器播放出來的遠端信號已經是“貌合神離”了，與降噪的方法相結合也是不錯的思路，但是直接套用降噪的方法顯然會造成回聲殘留與雙講部分嚴重的抑制。接下來，我們來看看WebRTC科學家是怎么做的吧。信號...