新聞 > 科教 > 正文

國產AI大戰高考物理,第1題全對,第2題開始放飛

陸陸續續,文理綜各個科目的考試題目開始在網上流出,那麼語文數學之後,也是時候讓大模型們繼續來挑戰一波了。

考題方面,先給大模型們來一份遼寧物理——

多解釋一嘴,新高考改革下大部分省份已經取消了文理分科,採用3+1+2或3+3的新模式,也就是物理化學生物現在是拆開考的。

那麼閒話少敘,我們有請參賽AI助手——

通義千問、文心一言、Kimi、智譜清言、豆包、海螺AI、騰訊元寶、訊飛星火、天工、百小應、萬知、商量。

Round1:單選題

這份物理卷共有10道選擇題,其中1-7題為單選題,總計28分。

1、3兩題不涉及圖片解析,人類考官直接把題目扔給了大模型:

圖片題給出的提示詞統一為:查看圖中題目,給出答案。

在看詳細答案之前,心急的看官們可以先掃一眼「考試」結果(測試方法比較簡單粗暴,不能完全反映各AI真實水平,僅圖一樂):

文心一言、豆包、天工、智譜清言和商量出現了不同程度讀圖失敗的問題,在成功識別的題目中,商量和文心一言的正確率為2/4,豆包、天工、智譜清言正確率為1/2。

接下來,就來看看大模型們的具體表現。

單選題中,準確率最高的是第一題,一道有關標量矢量的概念題,參賽大模型百分百通過。

到了第二題,大模型們就開始各有各的想法了。題目是:

來看看成功得分的選手們的回答:

通義千問

文心一言

海螺AI

訊飛星火

4位選手中,文心一言和訊飛星火進行了逐個答案的分析,海螺AI則最言簡意賅,只回答了答案沒給過程。

另一道正確率比較高的題,是難度較大的第5題。

但答對這道題的選手名單有所不同,訊飛星火、海螺AI依然在列,另外兩位換成了Kimi和騰訊元寶。

騰訊元寶

和海螺AI一樣,騰訊元寶也是惜字如金型(doge)。

另外一個有意思的現象是,有的大模型選手儘管答案不對,但還挺有考試技巧的。

比如ChatGLM,在面對雙縫干涉實驗中,「哪種說法可以使相鄰兩條亮紋中央間距變小」這個問題時,它一通分析覺得答案全錯,但還是退而求其次挑了一個看上去相對正確的答案。

Round2:多選題

再來看看多選題(18分)的情況。

p.s.在多選題作答過程中,人類考官在提示詞中提醒了選手們這是「多選題」。

根據多選題判卷規則,全部選對得滿分,部分選對得一半分,有選錯不得分,表現最佳的是海螺AI(2道題全對,1道題部分對),其次是通義千問、文心一言和萬知(1道題全對,2道題部分對)。

和單選題的情況類似,大模型們正確率最高的第8題是一道概念題:

X射線光電子能譜儀是利用X光照射材料表面激發出光電子,並對光電子進行分析的科研儀器,用某一頻率的X光照射某金屬表面,逸出了光電子,若增加此X光的強度,則()

A.該金屬的逸出功增大

B. X光的光子能量不變

C.逸出的光電子最大初動能增大

D.單位時間逸出的光電子增多

第9題有兩位選手選中了全部正確選項:海螺AI和萬知。

來看看萬知的具體回答:

今日份的測試,就先到這裏,你覺得大模型們的表現如何?至少在這份物理卷子46分的選擇題里,還是有不少選手能拿到及格分了。

責任編輯: 李華  來源:量子位 轉載請註明作者、出處並保持完整。

本文網址:https://hk.aboluowang.com/2024/0611/2065873.html