AI真的能幫助學生學習嗎？最近在一所高中進行的實驗給出了警示。
賓夕法尼亞大學的研究人員發現，使用ChatGPT做數學練習題的土耳其高中生，在隨後的數學考試中成績不如沒有使用ChatGPT的學生。雖然使用ChatGPT的學生在練習題中正確率提高了48%，但他們的最終考試成績卻低了17%。
另一組學生使用了一個改進版的ChatGPT，它更像是一名導師，提供提示而不直接給出答案。這些使用AI導師的學生在練習題中的表現顯著提高，正確率增加了127%。然而，在隨後的考試中，這些AI輔導的學生並沒有取得更好的成績。那些單純依靠自己做練習題的學生，成績反而與AI輔助的學生相當。
研究人員在論文中明確指出，「生成式AI會損害學習」，提醒家長和教育者，當前的AI聊天機械人可能會「顯著阻礙學習」。即使是經過調試的導師版ChatGPT，也未必能真正幫助學生。
研究人員認為，問題在於學生將ChatGPT作為「拐杖」使用。在分析學生輸入的問題時，研究人員發現，學生常常只是直接詢問答案，而沒有通過解決問題來培養相關技能。
此外，ChatGPT的錯誤也可能是影響因素之一。這個聊天機械人只正確回答了一半的數學問題。其中8%的算術計算錯誤，而更大的問題是它在解釋如何解決問題時有42%的步驟是錯誤的。而導師版ChatGPT則直接接收了正確答案，從而減少了這些錯誤。
這項實驗的初稿於2024年7月發佈在SSRN網站上(原名為社會科學研究網絡)。該論文尚未在同行評議的期刊上發表，可能會有進一步的修訂。
儘管這只是一個在另一個國家的實驗，且還需要更多研究來驗證其發現，但這項實驗規模較大，涵蓋了近千名9到11年級的學生。研究在2023年秋季進行，教師首先在課堂上複習了之前教授的課程，然後將學生隨機分配到三種不同的練習方式：使用ChatGPT、使用由ChatGPT驅動的AI導師，或完全不使用任何高科技輔助工具。每個年級的學生都做了相同的練習題，之後進行測試，以評估他們對概念的掌握情況。研究人員進行了四個循環，每個循環給學生四次90分鐘的練習時間，涵蓋了四個不同的數學主題，旨在了解AI是否幫助、損害或沒有影響。
ChatGPT還似乎增加了學生的過度自信。在實驗的調查中，學生表示他們並不認為ChatGPT讓他們學得更少，儘管實際情況相反。使用AI導師的學生認為他們在考試中表現得更好，然而事實並非如此。(這也提醒我們，很多時候我們對自己學習多少的認知可能是錯誤的。)
作者將使用ChatGPT學習的問題比作自動駕駛。他們提到，正是由於對自動駕駛的過度依賴，美國聯邦航空管理局建議飛行員儘量減少使用這項技術，以確保在自動駕駛失靈時，飛行員仍然具備操縱飛機的能力。
ChatGPT並不是第一個在教育中帶來利弊的技術。打字機和計算機減少了手寫的必要性，計算器降低了對算術的需求。當學生有機會使用ChatGPT時，他們可能會答對更多題目，但學習到的卻更少。答對一道題並不能幫助他們解決下一道題。
