數(shù)學(xué)一直被視為人工智能的試金石。當(dāng)大語(yǔ)言模型突破其“先天性的缺陷”（如缺乏復(fù)雜推理能力、數(shù)值計(jì)算不夠準(zhǔn)確等），成功應(yīng)對(duì)數(shù)學(xué)推理方面的挑戰(zhàn)時(shí)，人工智能將進(jìn)入新的紀(jì)元。如何提升大語(yǔ)言模型數(shù)學(xué)推理能力，突破語(yǔ)言模型的先天不足，成為當(dāng)下全球人工智能領(lǐng)域關(guān)注的重點(diǎn)。

探索人工智能數(shù)學(xué)推理無(wú)人區(qū)

松果財(cái)經(jīng)獲悉，日前，由學(xué)而思牽頭，聯(lián)合谷歌、暨南大學(xué)等多家知名科技企業(yè)及高校的專(zhuān)家學(xué)者，依托智慧教育國(guó)家新一代人工智能開(kāi)放創(chuàng)新平臺(tái)，共同舉辦的AAAI2024 全球大模型數(shù)學(xué)推理競(jìng)賽，邀請(qǐng)全球人工智能專(zhuān)家、開(kāi)發(fā)者以及愛(ài)好者一起用大模型自動(dòng)解答中小學(xué)數(shù)學(xué)難題，旨在探索、解決人工智能在數(shù)學(xué)領(lǐng)域的挑戰(zhàn)。

AAAI（Association for the Advancement of Artificial Intelligence）由計(jì)算機(jī)科學(xué)和人工智能科學(xué)家Allen Newell、 Marvin Minsky 和John McCarthy等創(chuàng)辦，是國(guó)際人工智能領(lǐng)域最為權(quán)威與重要的協(xié)會(huì)之一，AAAI會(huì)議被中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）推薦為A類(lèi)會(huì)議。

比賽期間，參賽者需使用大模型對(duì)給定的數(shù)學(xué)題目，生成推理步驟與答案。主辦方將通過(guò)對(duì)比參賽者的模型輸出答案與正確答案之間的準(zhǔn)確率，來(lái)為參賽者進(jìn)行排名。準(zhǔn)確率最高的參賽者將會(huì)贏得此次比賽。

為了更充分地探究各類(lèi)大模型的數(shù)學(xué)推理能力，此次比賽分為中文數(shù)學(xué)解題和英文數(shù)學(xué)解題兩個(gè)賽道。由學(xué)而思提供比賽所用的中英文數(shù)據(jù)集——TAL-SAQ7K-CN、TAL-SAQ6K-EN。該數(shù)據(jù)集囊括了國(guó)內(nèi)外多個(gè)中小學(xué)數(shù)學(xué)競(jìng)賽真題，題目格式均經(jīng)過(guò)精心處理，每道題目都包含題目?jī)?nèi)容，題目難度等級(jí)和題目涉及到的從粗粒度到細(xì)粒度的知識(shí)點(diǎn)鏈條等字段。與之同時(shí)，TAL-SAQ7K-CN、TAL-SAQ6K-EN數(shù)據(jù)集中涉及到數(shù)學(xué)表達(dá)式已經(jīng)處理成統(tǒng)一的文本模式 Latex。

比賽分為兩個(gè)階段，第一階段即日起截止到12月31日，為公榜階段。主辦方事先隨機(jī)在TAL-SAQ7K-CN和TAL-SAQ6K-EN中選出30%的數(shù)據(jù)，供參賽者進(jìn)行大模型調(diào)試。第二階段則從2024年1月1日到1月10日，為私榜階段。期間，參賽者使用第一階段調(diào)優(yōu)過(guò)的大模型來(lái)解答數(shù)據(jù)集中剩余的70%題目。這一階段的成績(jī)將會(huì)作為比賽的最終成績(jī)。

此外，主辦方還為此次比賽提供了3個(gè)測(cè)評(píng)基準(zhǔn)作為參考，即GPT-3.5，GPT-4以及好未來(lái)自研的數(shù)學(xué)大模型MathGPT在公榜上的表現(xiàn)，具體結(jié)果如下：

Track1:

Track2:

做好AI大模型時(shí)代的數(shù)學(xué)基礎(chǔ)工作

大模型一直是近來(lái)年人工智能發(fā)展最熱門(mén)的領(lǐng)域之一，ChatGPT的橫空出世則讓更多人看到了人工智能未來(lái)的方向。然而，現(xiàn)有的大語(yǔ)言模型在數(shù)學(xué)問(wèn)題的解決、講解、問(wèn)答和推薦方面則存在明顯不足，如解答數(shù)學(xué)問(wèn)題經(jīng)常出錯(cuò)，難以進(jìn)行復(fù)雜運(yùn)算。

作為本次全球大模型數(shù)學(xué)競(jìng)賽的發(fā)起者，學(xué)而思方面表示，希望能夠通過(guò)這次大模型數(shù)學(xué)比賽，探索、解決現(xiàn)有的模型擅長(zhǎng)文科而不擅長(zhǎng)理科方面的推理和計(jì)算這一不足。學(xué)而思也在積極探索解決，如學(xué)而思MathGPT結(jié)合大模型和計(jì)算引擎兩者能力解決大模型在數(shù)學(xué)領(lǐng)域的三大挑戰(zhàn)——解對(duì)題、講清步驟、內(nèi)容有趣生動(dòng)。前者負(fù)責(zé)理解題目、分步解析，并在合適的步驟自行調(diào)用計(jì)算引擎，以此來(lái)提高正確率?；诤Ａ棵麕熃忸}過(guò)程的數(shù)據(jù)進(jìn)行模型訓(xùn)練，模型的解題步驟可以更加清晰。再引入優(yōu)秀老師的教學(xué)理念和方法，模型在解題趣味性上也能進(jìn)一步提高。

以一道數(shù)列題為例，MathGPT給出的答案包含“分析”、“詳解”、“點(diǎn)睛”三個(gè)部分，比通用大模型的粗略講解方式更為細(xì)致，“分析”提供了題目的解題思路、思考方式，幫助用戶(hù)更好地理解題目，“詳解”則給出具體的計(jì)算方式和答案，最后“點(diǎn)睛”的環(huán)節(jié)，對(duì)題目的考點(diǎn)、難點(diǎn)、關(guān)鍵點(diǎn)進(jìn)行提示，幫助用戶(hù)回顧反思出題意圖、舉一反三。

作為國(guó)內(nèi)首個(gè)數(shù)學(xué)領(lǐng)域千億級(jí)大模型，MathGPT數(shù)學(xué)計(jì)算能力已覆蓋小學(xué)、初中、高中階段，題目類(lèi)型涵蓋計(jì)算題、應(yīng)用題、代數(shù)題等多個(gè)類(lèi)型，還可以針對(duì)題目進(jìn)行追問(wèn)。相關(guān)技術(shù)報(bào)告顯示，在CEval-Math、AGIEval-Math、APE5K、CMMLU-Math、高考數(shù)學(xué)和Math401等6個(gè)公開(kāi)數(shù)學(xué)評(píng)測(cè)集合的測(cè)試結(jié)果中，學(xué)而思MathGPT取得了多項(xiàng)測(cè)試的最高分?jǐn)?shù)；在C-Eval的初高中的全科測(cè)試集合上，MathGPT也均有不錯(cuò)的表現(xiàn)。

此外，學(xué)而思也在GitHub、Hugging Face等技術(shù)社區(qū)開(kāi)源了MathGPT的模型訓(xùn)練測(cè)試數(shù)據(jù)集——TAL-SCQ5K-EN/CN(各3K訓(xùn)練集和2K測(cè)試集)，題目為單選形式，涉及小初高階段數(shù)學(xué)內(nèi)容，帶有詳細(xì)的解析步驟便于進(jìn)行COT的訓(xùn)練。

作為智慧教育國(guó)家新一代人工智能開(kāi)放創(chuàng)新平臺(tái)承建單位，學(xué)而思一直積極參與推動(dòng)我國(guó)人工智能技術(shù)發(fā)展與進(jìn)步。隨著大模型時(shí)代的到來(lái)，學(xué)而思希望用自身在數(shù)學(xué)和AI上的多年積累，面向全球范圍內(nèi)的數(shù)學(xué)愛(ài)好者和科研機(jī)構(gòu)，做好AI大模型時(shí)代的數(shù)學(xué)基礎(chǔ)工作。

本文轉(zhuǎn)自松果財(cái)經(jīng)：https://www.163.com/dy/article/IGPG2NS50531KBFR.html