通過感知他人的行為來模仿運動，是人類的本能。比如，嬰兒通過傾聽大人的聲音來咿呀學語，學徒通過觀察師傅的動作來掌握技藝。但這種根植於生物的感知-動作閉環機制，對於機械人而言，卻是難以復刻的難題。
近日，南加州大學（USC）的科學家們開發了一隻四指機械手，它只需經過2分鐘的鍵盤自學練習，聽一遍陌生的旋律，就能將其完美演奏出來，完全不依賴樂譜或預設程序的指導。相關論文發表在 Journal of the Royal Society Interface期刊。
領導這項研究的是 USC維特比工程學院的弗朗西斯科·瓦萊羅-奎瓦斯(Francisco Valero-Cuevas)，他的實驗室致力於研究複雜神經肌肉系統（例如人手）的生物力學、神經肌肉控制和臨床康復。
這套被稱為「音樂家之手」（Musician Hand）的系統，包括由肌腱驅動的四指機械手，以及一套全新的感知學習算法。
機械手採用輕量化3D打印結構，四個手指由微型電機控制的肌腱驅動。手指上安裝了彈簧，能像人體肌肉張力一樣被動回位，確保動作靈活且富有彈性。指尖還包裹了泡沫材料，模擬人類指腹的柔軟觸感，對在力度敏感的鋼琴鍵盤上演奏較為重要。其內置的神經網絡會分析旋律的聲音，並將其轉化為重現該旋律所需的運動指令。
與依賴大量編程和海量訓練數據集的傳統機械人不同，這款機械手的訓練過程類似於嬰兒時期的「咿呀學語」。在2分鐘的時間裏，機械手會在琴鍵上隨機亂按。在亂按的過程中，它的內部算法會記錄下什麼樣的按鍵動作（力度和時間）會產生什麼樣的聲音（頻率和強度）。
經過2分鐘的訓練後，再次聽到一段全新的旋律時，系統會將這段聲音轉化為聲譜圖，並直接調用之前積累的經驗，推導出需要哪些手指動作來重現這段旋律，全程不需要任何試錯糾正。
為了驗證效果，研究團隊專門請兩位作曲家創作了三首隻使用四個相鄰琴鍵（C4、D4、E4、F4）的簡單旋律，每首時長約20-30秒，節奏統一在每分鐘90拍。
團隊選擇了9位人類參與者，包括4位訓練有素的鋼琴手（3位專業演奏者和1位業餘愛好者，均有鋼琴演奏的訓練和經驗）和5位無任何鋼琴基礎的新手，他們被允許「咿呀學語」5分鐘，然後練習3分鐘，最後有1分鐘時間正式演奏。機械手則只經過2分鐘隨機探索，就直接聽一遍演奏。研究主要評估了他們在復刻旋律1（有37個音符）上的表現。
結果顯示，在音符識別準確率上，機械手達到了100%，完整復現了三首旋律的所有音符；而新手參與者僅能正確彈出前2-3個音符，準確率僅6%-9%，無法完成完整演奏。專業鋼琴演奏者的音符準確率為92%-100%，一位演奏得完美無缺，其他人在演奏37個音符時犯了1到4個錯誤。
在力度還原度上，機械人得分68%，專業演奏者為78%-100%，略勝一籌；節奏時差方面，機械人控制在150毫秒左右，專業演奏者低於120毫秒，同樣小幅領先。
研究人員還對機械手和5位鋼琴家彈奏的音樂片段，進行了感知相似性、聽覺相似性和節奏相似性的量化。對於所有三個指標，得分為0表示無相似性（特徵完全不同），0.5表示中等相似性（有一些共享特徵，但在頻譜圖和短期功率譜上有重大差異），1表示完全相似（特徵相同）。
對於旋律1，「音樂家之手」在所有三個指標上取得了與四位人類鋼琴家相當的相似性得分，兩者的得分均在0.9+範圍內。
圖|音樂家之手（來源：USC）
圖|三首旋律的樂譜（來源：上述論文）
在盲聽環節，兩位專業作曲家進行盲聽打分，不看演奏者、僅聽演奏音頻，評估它們與原曲在音樂美感上的相似度。最終排名結果為：3位專業鋼琴手位列前三，機械手排名第四，超過一名業餘鋼琴手，碾壓所有新手參與者。
隨後，研究人員又讓機械手嘗試了其他兩首音樂（分別有28和24個音符），在沒有額外「咿呀學語」或練習的情況下，它依然完美地彈奏出了所有音符，展現出了強大的泛化能力。
機械手同樣準確識別了所有音符，在力度還原上，其在旋律2上的分數為84%，在旋律3上為70%。最後，其平均節奏時差在旋律2上為135毫秒，在旋律3上為150毫秒。
這台會聽音彈琴的機械手，實際上是研究團隊對「感知機械人」理念的一次深度概念驗證。在這一全新框架下，機器系統不再依賴於海量數據訓練，而是能夠主動感知環境、自主試錯並完成自我糾正。研究人員相信，這種模式未來將比現有的任務驅動型機械人更能以貼近直覺、極具個性化的方式造福人類。
比如瓦萊羅-奎瓦斯描繪的願景：對於帕金森病患者而言，現有的輔助技術往往難以跟上患者身體變化的步伐。但在確診初期穿上機器外骨骼，用幾天時間去教它走路的樣子，伸手的方式......隨着病情的發展，當患者再次穿上它並開啟輔助模式時，它就能幫你原汁原味地找回專屬於你自己的生活習慣。不需要專門進行繁瑣的定製編程，因為它已經懂你了。
此外，這項研究的一作、專注於神經工程研究的赫薩姆·阿扎朱（Hesam Azadjou）也指出了該技術在治療領域的潛力。未來的康復機械人可以先拜師學習理療師的專業手法，隨後在患者家中充當私人教練，並能夠根據每位患者實時的動作和身體反饋，動態調整康復訓練計劃。
研究人員表示，只要投入足夠的時間與資源，同樣的系統完全可以用來輔助中風患者的康復、與建築工人並肩協作，甚至幫助年邁的老人安全、獨立地實現居家養老。
