陸陸續續,文理綜各個科目的考試題目開始在網上流出,那麼語文數學之後,也是時候讓大模型們繼續來挑戰一波了。
考題方面,先給大模型們來一份遼寧物理——
多解釋一嘴,新高考改革下大部分省份已經取消了文理分科,採用3+1+2或3+3的新模式,也就是物理化學生物現在是拆開考的。
那麼閒話少敘,我們有請參賽AI助手——
通義千問、文心一言、Kimi、智譜清言、豆包、海螺AI、騰訊元寶、訊飛星火、天工、百小應、萬知、商量。
Round1:單選題
這份物理卷共有10道選擇題,其中1-7題為單選題,總計28分。
1、3兩題不涉及圖片解析,人類考官直接把題目扔給了大模型:
圖片題給出的提示詞統一為:查看圖中題目,給出答案。
在看詳細答案之前,心急的看官們可以先掃一眼「考試」結果(測試方法比較簡單粗暴,不能完全反映各AI真實水平,僅圖一樂):
文心一言、豆包、天工、智譜清言和商量出現了不同程度讀圖失敗的問題,在成功識別的題目中,商量和文心一言的正確率為2/4,豆包、天工、智譜清言正確率為1/2。
接下來,就來看看大模型們的具體表現。
單選題中,準確率最高的是第一題,一道有關標量矢量的概念題,參賽大模型百分百通過。
到了第二題,大模型們就開始各有各的想法了。題目是:
來看看成功得分的選手們的回答:
通義千問
文心一言
海螺AI
訊飛星火
4位選手中,文心一言和訊飛星火進行了逐個答案的分析,海螺AI則最言簡意賅,只回答了答案沒給過程。
另一道正確率比較高的題,是難度較大的第5題。
但答對這道題的選手名單有所不同,訊飛星火、海螺AI依然在列,另外兩位換成了Kimi和騰訊元寶。
騰訊元寶
和海螺AI一樣,騰訊元寶也是惜字如金型(doge)。
另外一個有意思的現象是,有的大模型選手儘管答案不對,但還挺有考試技巧的。
比如ChatGLM,在面對雙縫干涉實驗中,「哪種說法可以使相鄰兩條亮紋中央間距變小」這個問題時,它一通分析覺得答案全錯,但還是退而求其次挑了一個看上去相對正確的答案。
Round2:多選題
再來看看多選題(18分)的情況。
p.s.在多選題作答過程中,人類考官在提示詞中提醒了選手們這是「多選題」。
根據多選題判卷規則,全部選對得滿分,部分選對得一半分,有選錯不得分,表現最佳的是海螺AI(2道題全對,1道題部分對),其次是通義千問、文心一言和萬知(1道題全對,2道題部分對)。
和單選題的情況類似,大模型們正確率最高的第8題是一道概念題:
X射線光電子能譜儀是利用X光照射材料表面激發出光電子,並對光電子進行分析的科研儀器,用某一頻率的X光照射某金屬表面,逸出了光電子,若增加此X光的強度,則()
A.該金屬的逸出功增大
B. X光的光子能量不變
C.逸出的光電子最大初動能增大
D.單位時間逸出的光電子增多
第9題有兩位選手選中了全部正確選項:海螺AI和萬知。
來看看萬知的具體回答:
今日份的測試,就先到這裏,你覺得大模型們的表現如何?至少在這份物理卷子46分的選擇題里,還是有不少選手能拿到及格分了。