我們比較這兩個之后就會發(fā)現(xiàn)，雙講段主要出現(xiàn)在中間這一段。我們評估雙講性能的主要指標(biāo)是回聲抑制比和近端語音失真度。上面這是經(jīng)過回聲消除之后的語譜，中間的是NLMS算法的結(jié)果。我們可以看到它的回聲抑制不是很理想，不管在單講段還是在雙講段，都有比較多的回聲殘留。而下面這個是采用雙耦合算法得到的語譜，可以看到在單講和雙講里面回聲抑制得都比較干凈，并且在雙講里，對近端語音的損傷也很小。這個數(shù)據(jù)對應(yīng)視頻會議場景，因此還需要做一步NLP的處理。上面這個就是基于雙耦合算法，做了NLP之后的輸出結(jié)果。我們可以看到處理完之后，整個語譜很清晰，回聲去得很干凈，而且語譜沒有太大損傷，雙講很通透。我再來簡單總結(jié)一下，主要是介紹了三個方面的內(nèi)容，個就是認識了非線性聲學(xué)回聲、產(chǎn)生的原因、研究現(xiàn)狀以及技術(shù)難點。接下來重點介紹了華為云音視頻的雙耦合聲學(xué)回聲消除算法，我們的主要貢獻體現(xiàn)在兩個方面，個方面就是構(gòu)建一種雙耦合自適應(yīng)濾波器結(jié)構(gòu)；第二個就是提出了小平均短時累計誤差準(zhǔn)則并進行求解。通過求解之后，我們會得到雙耦合濾波器的線性濾波器是具有Wiener-Hopf方程解的比較好解這種形式，然后非線性濾波器具有小二乘解。聲學(xué)回聲消除，其主要用于抑制產(chǎn)品本身發(fā)出的聲音。天津未來聲學(xué)回聲介紹
n)中的回聲是揚聲器播放遠端參考x(n)，又被麥克風(fēng)采集到的形成的，也就意味著在近端數(shù)據(jù)還未采集進來之前，遠端數(shù)據(jù)緩沖區(qū)中已經(jīng)躺著N幀x(n)了，這個天然的延時可以約等于音頻信號從準(zhǔn)備渲染到被麥克風(fēng)采集到的時間，不同設(shè)備這個延時是不等的。蘋果設(shè)備延時較小，基本在120ms左右，Android設(shè)備普遍在200ms左右，低端機型上會有300ms左右甚至以上。（2）遠近端非因果為什么會導(dǎo)致回聲？從（1）中可以認為，正常情況下當(dāng)前幀近端信號為了找到與之對齊的遠端信號，必須在遠端緩沖區(qū)沿著寫指針向前查找。如果此時設(shè)備采集丟數(shù)據(jù)，遠端數(shù)據(jù)會迅速消耗，導(dǎo)致新來的近端幀在向前查找時，已經(jīng)找不到與之對齊的遠端參考幀了，會導(dǎo)致后續(xù)各模塊工作異常。如圖10(a)表示正常延時情況，(b)表示非因果。WebRTCAEC中的延時調(diào)整策略關(guān)鍵而且復(fù)雜，涉及到固定延時調(diào)整，大延時檢測，以及線性濾波器延時估計。三者的關(guān)系如下：①固定延時調(diào)整只會發(fā)生在開始AEC算法開始處理之前，而且調(diào)整一次。如會議盒子等固定的硬件設(shè)備延時基本是固定的，可以通過直接減去固定的延時的方法縮小延時估計范圍，使之快速來到濾波器覆蓋的延時范圍之內(nèi)。下面結(jié)合代碼來看看固定延時的調(diào)整過程。
湖北數(shù)字聲學(xué)回聲是什么非線性聲學(xué)回聲消除技術(shù)。
首先這里的A和D比較好判斷，他們都屬于線性時不變系統(tǒng)。比較難判斷的是C，因為在一些比較復(fù)雜的場景下，聲學(xué)回聲往往會經(jīng)過多個不同路徑的多次反射之后到達接收端，同時會帶有很強的混響，甚至在更極端情況下，喇叭與麥克風(fēng)之間還會產(chǎn)生相對位移變化，導(dǎo)致回聲路徑也會隨時間快速變化。這么多因素疊加在一起，往往會導(dǎo)致回聲消除算法的性能急劇退化，甚至完全失效。有同學(xué)可能會問，難道這么復(fù)雜的情況，不是非線性的嗎？我認為C應(yīng)該是一個線性時變的聲學(xué)系統(tǒng)，因為我們區(qū)分線性跟非線性的主要依據(jù)是疊加原理，前面提到的這些復(fù)雜場景，它們依然是滿足疊加原理的，所以C是線性系統(tǒng)。這里還要再補充一點，細心的朋友會發(fā)現(xiàn)B里面有一個功率放大器，同時在C里面也有一個功率放大器，為什么經(jīng)B的功率放大器放大之后，可能帶來非線性失真，而C的功率放大器不會產(chǎn)生非線性失真呢？二者的主要區(qū)別在于B放大之后輸出是一個大信號，用來驅(qū)動喇叭。而C放大之后輸出依然是小信號，通常不會產(chǎn)生非線性的失真。2.非線性聲學(xué)回聲產(chǎn)生的原因.非線性聲學(xué)回聲產(chǎn)生的原因，我一共列了兩條原因。原因之一，聲學(xué)器件的小型化與廉價化，這里所指的聲學(xué)器件就是前面B里面提到的功率放大器和喇叭。
n)為加混響的遠端參考信號x(n)+近端語音信號s(n)。理論上NLMS在處理這種純線性疊加的信號時，可以不用非線性部分出馬，直接干掉遠端回聲信號。圖7(a)行為近端信號d(n)，第二列為遠端參考信號x(n)，線性部分輸出結(jié)果，黃色框中為遠端信號。WebRTCAEC中采用固定步長的NLMS算法收斂較慢，有些許回聲殘留。但是變步長的NLMS收斂較快，回聲抑制相對好一些，如圖7(b)。線性濾波器參數(shù)設(shè)置#defineFRAME_LEN80#definePART_LEN64enum{kExtendedNumPartitions=32};staticconstintkNormalNumPartitions=12;FRAME_LEN為每次傳給音頻3A模塊的數(shù)據(jù)的長度，默認為80個采樣點，由于WebRTCAEC采用了128點FFT，內(nèi)部拼幀邏輯會取出PART_LEN=64個樣本點與前一幀剩余數(shù)據(jù)連接成128點做FFT，剩余的16點遺留到下一次，因此實際每次處理PART_LEN個樣本點（4ms數(shù)據(jù)）。默認濾波器階數(shù)為kNormalNumPartitions=12個，能夠覆蓋的數(shù)據(jù)范圍為kNormalNumPartitions*4ms=48ms，如果打開擴展濾波器模式(設(shè)置extended_filter_enabled為true)，覆蓋數(shù)據(jù)范圍為kNormalNumPartitions*4ms=132ms。隨著芯片處理能力的提升，默認會打開這個擴展濾波器模式，甚至擴展為更高的階數(shù)。
非線性的聲學(xué)回聲消除問題是一個困擾了行業(yè)很多年的技術(shù)難題。
聲學(xué)回聲消除應(yīng)用技術(shù)，隨著秒新月異的科技發(fā)展，各項技術(shù)成果不斷地應(yīng)用在我們?nèi)找嫱卣沟母黝I(lǐng)域需求當(dāng)中，刷新著我們的生活和工作。地球村的崛起，不斷以互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等方式揭示著萬物相連的關(guān)系。無論是飛機、高鐵還是電話、網(wǎng)絡(luò)，都成為托起地球新村時空縱橫的重要載體。怎樣拉近人與人之間的關(guān)系，如何建立起更行之有效的聯(lián)絡(luò)方式，提高遠程協(xié)同工作、信息傳達效率成為了一個重要命題。遠程會議的出現(xiàn)在很大程度上為這種多極化辦公互動提供了質(zhì)量的平臺保障，在借助互聯(lián)網(wǎng)便捷的遠程通信架構(gòu)下，通訊數(shù)據(jù)安全，穩(wěn)定可靠，很長一段時間廣受用戶青睞。然而美中不足的是，這樣的（聲音）系統(tǒng)仍逃不出的還是自然聲學(xué)上的問題。有和業(yè)內(nèi)朋友聊天中談到，今后的擴聲系統(tǒng)也許只保留兩級傳統(tǒng)裝置了，那就是聲電轉(zhuǎn)換和電聲轉(zhuǎn)換的拾音和還原。而正是這兩級客觀存在的物理聲學(xué)現(xiàn)象，造就了我們所討論的內(nèi)容。在遠程會議系統(tǒng)的終端（本地），為了實現(xiàn)多人互動、多人拾音等目的，系統(tǒng)聲音免不了被放大還原，而在諸如此類的放大系統(tǒng)中，為本地音箱能夠聽到遠端聲音，并能把本地拾音信號傳送到遠端而互通。眾所周知，話筒在拾取到放大后的音箱信號后。
不上系統(tǒng)傳遞函數(shù)變化的速度，就會導(dǎo)致聲學(xué)回聲消除不理想。浙江電子類聲學(xué)回聲
非線性的聲學(xué)回聲消除是一個很有挑戰(zhàn)的研究方向。天津未來聲學(xué)回聲介紹
23.避免廳堂音質(zhì)缺陷的方法主要是從廳堂的體形設(shè)計和吸聲材料布置兩方面入手，消除產(chǎn)生音質(zhì)缺陷的條件。例如，為了消除回聲，應(yīng)在可能引起回聲的部位布置強吸聲材料，使反射聲減弱經(jīng)；另一種方法是調(diào)整反射面角度，將后墻與頂棚交接處作成比較大的傾角，將聲音反射給后區(qū)觀眾，徹底消除回聲，取得化害為利的效果。為了消除聲聚集現(xiàn)象，應(yīng)盡量控制廳堂界的曲面弧度，采用凸形結(jié)構(gòu)，并在弧面上布置合適的吸音材料。為了消除音質(zhì)缺陷，可根據(jù)廳堂內(nèi)聲源的位置。采用幾何作圖法，用聲線的分布找出各種聲缺陷的條件和部位，再采取必要的措施進行抑制。24.回聲指強度和時間差大到足可以引起聽覺將它與直達聲區(qū)分開來的反射聲。從單一聲源產(chǎn)生的一連串可分辯的回聲則叫多重回聲，當(dāng)室內(nèi)兩個界面之間距離大于一定數(shù)值，且吸聲量不足時，在其中間聲源發(fā)出的聲音就可能產(chǎn)生多重回聲。回聲會影響聽音注意力，影響聲音的清晰度，破壞立體聲聆聽的聲像定位效果。25.顫動回聲當(dāng)聲源在平行界面或一平面與一凹面之間發(fā)生反射，界面距離大于一定數(shù)值時會出現(xiàn)顫動回聲。發(fā)生顫動回聲時，聲音有連續(xù)的重疊聲，并有顫抖的感覺。顫動回聲會引起聽力疲勞，使人感到厭煩。
天津未來聲學(xué)回聲介紹
深圳魚亮科技有限公司是一家服務(wù)型類企業(yè)，積極探索行業(yè)發(fā)展，努力實現(xiàn)產(chǎn)品創(chuàng)新。深圳魚亮科技是一家有限責(zé)任公司（自然）企業(yè)，一直“以人為本，服務(wù)于社會”的經(jīng)營理念;“誠守信譽，持續(xù)發(fā)展”的質(zhì)量方針。公司業(yè)務(wù)涵蓋智能家居，語音識別算法，機器人交互系統(tǒng)，降噪，價格合理，品質(zhì)有保證，深受廣大客戶的歡迎。深圳魚亮科技以創(chuàng)造***產(chǎn)品及服務(wù)的理念，打造高指標(biāo)的服務(wù)，引導(dǎo)行業(yè)的發(fā)展。