在嘈雜的雞尾酒會上,我們總能從交織的人聲中精準捕捉到好友的低語。這種大腦與生俱來的選擇性聽力,被科學界稱為「雞尾酒會效應」,是人類聽覺系統最神奇的能力之一。
然而,對於機器而言,從混雜聲音中分離並識別單一聲源非常困難,這就是「雞尾酒會問題」。比如傳統的助聽器只會無差別放大所有聲音,雜音與對話同步放大,導致用戶在複雜環境下依然聽不清、聽得累。
近日,來自哥倫比亞大學、加州大學三藩市分校等機構的聯合團隊,成功研發了一套實時閉環腦控聽力系統,直接通過解碼大腦注意力信號,實時放大目標人聲、壓制雜音,讓人在嘈雜環境中想聽誰就聽清誰,徹底打破傳統助聽器的技術瓶頸。研究成果發表於 Nature Neuroscience期刊。
通訊作者尼瑪·梅斯加拉尼(Nima Mesgarani)長期致力於解析人類大腦處理複雜聲音環境的神經機制,其研究的核心貢獻在於揭示了大腦如何在「雞尾酒會」場景下有選擇性地重構目標談話者的聲譜特徵。
他此前的研究不僅證實了聽覺皮層會為關注的聲音產生獨特的「標籤」,還開發了一系列先進的語音分離算法和刺激重建模型,奠定了從微弱神經活動中還原清晰語音波形的理論基石。
解像度電極,從患者大腦皮層實時採集低頻與高頻信號,這兩者共同構成了捕捉注意力特徵的高清數據源;隨後,利用線性回歸模型,根據這些大腦信號還原出患者正在關注的那段聲音的波形。
判定階段,系統會將這段由大腦信號復刻出的波形,與環境中捕獲的多個競爭音源進行相關性比對,相關性數值最高的音源即被判定為當前的注意力焦點;最終,系統自動將目標音源的音量提升最高9分貝,同時壓低另一方。為了讓音量過渡自然,團隊還引入了馬爾可夫模型進行平滑處理,避免音量突變帶來的不適感。
為了驗證這套系統是否好用,研究人員招募了4名癲癇患者進行了三項測試。這類患者因治療需要,顱內已植入高精度電極,直接貼合大腦聽覺皮層,能採集到最清晰、最精準的神經信號。所有患者自述聽力正常,確保實驗不受原有聽力障礙干擾。
第一項測試,模擬嘈雜環境下的基礎聆聽場景。患者同時聽兩段對話,系統在中途開啟。結果顯示,系統開啟後,患者對目標語音的理解準確率顯著提升,信噪比平均改善了12分貝。高達75%到95%的試次中,患者明確表示更喜歡系統開啟後的聽覺體驗。
更重要的是,生理指標也給出了證據,患者的瞳孔擴張程度顯著降低。在神經科學中,瞳孔變小意味着大腦不需要費那麼大勁去處理信息,這證明系統確實讓聽力變得更省勁。
第二項測試,驗證注意力切換靈敏度。現實中,我們會隨時切換談話對象。實驗中,當患者收到指令把注意力從左側發言者轉到右側時,系統表現出了極高的靈敏度。系統能在平均5.1秒內識別出這種轉變,並自動切換放大對象。
第三項測試,模擬最真實的自主聆聽場景。不給任何外部指令,讓患者隨心所欲切換關注對象。即便如此,系統依然能穩定捕捉這種自發的注意力轉移,精準放大目標聲音,完美適配真實多變的生活場景。
有人會好奇:為什麼不直接給助聽器裝攝像頭,靠眼神追蹤判斷關注對象?研究團隊明確指出,腦控聽力比眼神追蹤靠譜太多。
一方面,當兩個說話人距離很近,或是聽廣播、公開演講時,眼神根本沒法區分目標;另一方面,人常出現「眼神看 A、耳朵聽 B」的情況,比如開會時盯着同事,其實在聽鄰座聊天,眼神根本不能真實反映聽覺注意力;更重要的是,靠眼神、轉頭判斷,長時間下來會非常疲勞,而腦波解碼是全自動、無感的,全程不用任何額外動作。
此外,研究團隊還進行了一項極具人文關懷的額外測試:他們邀請了40名真實的聽障患者,讓他們聽這套系統處理後的音頻。結果顯示,相比於聽力正常者,聽障人群從這套系統中獲得的理解力提升更為巨大。這證明了該技術不僅在實驗室里有效,在臨床應用上也具備巨大的應用潛力。






