近日，上海財經(jīng)大學(xué)前沿人工智能實(shí)驗(yàn)室宣布，正式推出Fin-Eval 6.0評估基準(zhǔn)。這是一個為全面評估大型語言模型（LLMs）在金融領(lǐng)域的專業(yè)能力與安全性而構(gòu)建的開創(chuàng)性基準(zhǔn)數(shù)據(jù)集。該基準(zhǔn)基于廣受認(rèn)可的FinEval評估集進(jìn)行升級，創(chuàng)新性地加入了金融嚴(yán)謹(jǐn)性和金融多模態(tài)兩大維度，總題量超過16,000道，旨在滿足金融行業(yè)對高標(biāo)準(zhǔn)、專業(yè)化AI評估工具日益增長的迫切需求。
Fin-Eval 6.0的核心亮點(diǎn)包括：
??? ?全面的領(lǐng)域覆蓋： 基準(zhǔn)測試包含六大核心模塊：金融學(xué)術(shù)知識、金融行業(yè)理解、金融安全認(rèn)知、金融智能體應(yīng)用、金融多模態(tài)能力與金融嚴(yán)謹(jǐn)性測試。
??? ?海量高質(zhì)量試題： 超過16,000道題目深度模擬了真實(shí)的金融工作場景與決策過程，旨在全方位檢驗(yàn)大模型在金融領(lǐng)域的綜合應(yīng)用能力。
??? ?聚焦前沿： 創(chuàng)新性地引入“金融多模態(tài)能力”、“金融嚴(yán)謹(jǐn)性測試”評估維度，直面當(dāng)前金融AI發(fā)展的熱點(diǎn)與難點(diǎn)。
六維評估矩陣：覆蓋金融領(lǐng)域全場景
Fin-Eval 6.0通過六大核心領(lǐng)域確保了評估的廣度與深度，實(shí)現(xiàn)了從理論到實(shí)踐、從單一能力到復(fù)雜任務(wù)的立體考察：
推動中國金融AI邁向新高度
大型語言模型雖在通用領(lǐng)域表現(xiàn)卓越，但在高度專業(yè)化和風(fēng)險敏感的金融行業(yè)，其安全與復(fù)雜任務(wù)處理能力仍是未知數(shù)。Fin-Eval 6.0的推出，為解決這一挑戰(zhàn)提供了堅實(shí)的基礎(chǔ)。
該基準(zhǔn)不僅為金融AI的學(xué)術(shù)研究和技術(shù)發(fā)展設(shè)立了新標(biāo)桿，也為希望在中國市場部署AI應(yīng)用的金融機(jī)構(gòu)提供了更可靠的風(fēng)險評估和模型選型依據(jù)。通過對模型優(yōu)勢與潛在風(fēng)險的嚴(yán)謹(jǐn)評估，F(xiàn)in-Eval 6.0揭示了當(dāng)前大模型能力的邊界與短板，從而引導(dǎo)科研方向，促進(jìn)模型在關(guān)鍵金融能力上的突破。
更重要的是，F(xiàn)in-Eval 6.0的推廣有望催生一個圍繞金融AI評估與優(yōu)化的研究社區(qū)及產(chǎn)業(yè)生態(tài)。通過公開排行榜和持續(xù)更新的數(shù)據(jù)集，將激勵研究者與開發(fā)者之間的良性競爭與合作，共同提升大模型在金融領(lǐng)域的整體水平，最終推動更安全、可靠、公平的AI技術(shù)在金融領(lǐng)域落地，為金融行業(yè)的數(shù)字化轉(zhuǎn)型與社會經(jīng)濟(jì)的高質(zhì)量發(fā)展注入新動力。
上海財經(jīng)大學(xué)校長、黨委副書記、滴水湖高級金融學(xué)院院長劉元春表示，當(dāng)前發(fā)布的金融領(lǐng)域大模型評測體系具有雙重價值：一方面為金融監(jiān)管部門制定技術(shù)治理框架提供依據(jù)，另一方面為商業(yè)機(jī)構(gòu)優(yōu)化模型開發(fā)指明方向。他指出，此類研究具有顯著的前瞻性和跨學(xué)科價值，體現(xiàn)了頂尖金融院校在推動金融科技發(fā)展的重要責(zé)任。
測評團(tuán)隊(duì)負(fù)責(zé)人、上海財經(jīng)大學(xué)統(tǒng)計與數(shù)據(jù)科學(xué)學(xué)院與滴水湖高級金融學(xué)院聯(lián)聘教授張立文指出，隨著人工智能技術(shù)日益深入地融入金融服務(wù)的核心流程，F(xiàn)in-Eval 6.0的發(fā)布標(biāo)志著金融AI評估領(lǐng)域邁出了關(guān)鍵一步。它旨在為構(gòu)建更加安全、高效且可靠的金融AI系統(tǒng)提供重要的洞察和發(fā)展方向指導(dǎo)。一方面，新增的“金融嚴(yán)謹(jǐn)性測試”模塊進(jìn)一步聚焦模型在金融場景中的安全性與可靠性；而“金融多模態(tài)能力評測”的引入，則填補(bǔ)了當(dāng)前評估體系在該領(lǐng)域的部分空白，并緊密貼合實(shí)際業(yè)務(wù)需求，具有重要意義。另一方面，F(xiàn)in-Eval 6.0對以往版本的基準(zhǔn)測試進(jìn)行了整合與拓展，使得整個評估體系更加全面、準(zhǔn)確，能夠更好地反映金融AI系統(tǒng)的綜合能力。
未來，上海財經(jīng)大學(xué)會更加關(guān)注金融領(lǐng)域的安全合規(guī)、能力建設(shè)與智能體評測等維度。在安全層面，將會建設(shè)更加體系化的評測框架，抓住模型“底線”。在能力建設(shè)層面，依托上財在金融學(xué)科建設(shè)中優(yōu)勢，研究團(tuán)隊(duì)將持續(xù)構(gòu)建具有行業(yè)代表性和復(fù)雜度的金融基準(zhǔn)測試集，動態(tài)監(jiān)測和量化分析大模型在金融領(lǐng)域的能力與知識邊界。同時，在“智能體元年”的背景下，有關(guān)金融智能體的評測標(biāo)準(zhǔn)也在籌備建設(shè)中，敬請期待！