12月6日，在上海市委金融辦、上海市經(jīng)信委指導(dǎo)下，上海市人工智能行業(yè)協(xié)會(huì)和上海金融業(yè)聯(lián)合會(huì)聯(lián)合發(fā)布《金融大模型應(yīng)用評(píng)測(cè)指南》（以下簡(jiǎn)稱《指南》）。據(jù)悉，這是全國(guó)首個(gè)以金融業(yè)務(wù)能力為核心的團(tuán)體標(biāo)準(zhǔn)。
該《指南》以金融業(yè)務(wù)為核心，以金融機(jī)構(gòu)模型應(yīng)用為導(dǎo)向，從模型基礎(chǔ)、金融安全與價(jià)值對(duì)齊、金融風(fēng)險(xiǎn)控制、金融專業(yè)認(rèn)知、金融業(yè)務(wù)輔助拓展等5個(gè)維度185項(xiàng)指標(biāo)要求，構(gòu)建了金融領(lǐng)域大模型的能力測(cè)評(píng)框架?！吨改稀吩谀Ｐ突A(chǔ)能力方面，圍繞模型基礎(chǔ)理解和推演功能，定義了包括文本分類、信息抽取等在內(nèi)的11項(xiàng)單模態(tài)，圖文檢索、視頻問(wèn)答等在內(nèi)的6項(xiàng)多模態(tài)指標(biāo)要求；金融安全與價(jià)值對(duì)齊能力方面，圍繞模型的可靠性、可解釋性以及隱私保護(hù)，設(shè)計(jì)了內(nèi)容合規(guī)、文化價(jià)值、倫理價(jià)值等在內(nèi)的9項(xiàng)指標(biāo)要求；金融風(fēng)險(xiǎn)控制能力方面，圍繞模型在實(shí)際應(yīng)用中的風(fēng)險(xiǎn)防范與控制，提出了利率風(fēng)險(xiǎn)、匯率風(fēng)險(xiǎn)、輿情風(fēng)險(xiǎn)等在內(nèi)的19項(xiàng)指標(biāo)要求；金融專業(yè)認(rèn)知能力方面，圍繞模型的金融基礎(chǔ)知識(shí)和信息解讀，歸納了會(huì)計(jì)核算、財(cái)務(wù)報(bào)表編制與分析等在內(nèi)的23項(xiàng)指標(biāo)要求；金融業(yè)務(wù)輔助拓展能力方面，圍繞銀行、基金、保險(xiǎn)、證券、信托等5個(gè)領(lǐng)域，提煉了28項(xiàng)業(yè)務(wù)場(chǎng)景，包括存貸款業(yè)務(wù)、量化交易等在內(nèi)的117項(xiàng)指標(biāo)要求。《指南》同步細(xì)化了相關(guān)的評(píng)測(cè)內(nèi)容，給出了相關(guān)的評(píng)測(cè)方法與工具，并以附錄的形式給出了評(píng)測(cè)分級(jí)標(biāo)準(zhǔn)。
同日發(fā)布的金融大模型評(píng)測(cè)數(shù)據(jù)集（2024版）從金融業(yè)務(wù)的視角出發(fā)，結(jié)合行業(yè)實(shí)踐，是金融領(lǐng)域大模型應(yīng)用成效評(píng)測(cè)的重要抓手。評(píng)測(cè)數(shù)據(jù)集具有規(guī)模大、結(jié)構(gòu)優(yōu)、價(jià)值對(duì)齊等特點(diǎn)，符合金融領(lǐng)域?qū)χR(shí)鮮活度、多樣性和高密度的整體要求。金融機(jī)構(gòu)比照《金融大模型應(yīng)用評(píng)測(cè)指南》能力測(cè)評(píng)框架，共設(shè)計(jì)評(píng)測(cè)數(shù)據(jù)44000余句對(duì)。聚焦“模型基礎(chǔ)能力”，圍繞計(jì)算能力、邏輯推理等6個(gè)維度，設(shè)計(jì)評(píng)測(cè)數(shù)據(jù)22000余句對(duì)。聚焦“金融安全與價(jià)值對(duì)齊能力”，圍繞信息內(nèi)容、社會(huì)秩序等13個(gè)維度，設(shè)計(jì)評(píng)測(cè)數(shù)據(jù)2000余句對(duì)。聚焦“金融風(fēng)險(xiǎn)控制能力”，圍繞合規(guī)、市場(chǎng)、操作等5類金融風(fēng)險(xiǎn)，設(shè)計(jì)評(píng)測(cè)數(shù)據(jù)1000余句對(duì)。聚焦“金融業(yè)務(wù)輔助拓展能力”，圍繞輿情分析、智能投研等3項(xiàng)業(yè)務(wù)場(chǎng)景，設(shè)計(jì)評(píng)測(cè)數(shù)據(jù)12000余句對(duì)。聚焦“金融專業(yè)認(rèn)知能力”，圍繞金融專業(yè)知識(shí)、ipo圖表等6種知識(shí)類型，設(shè)計(jì)評(píng)測(cè)數(shù)據(jù)7000余句對(duì)。后續(xù)，金融評(píng)測(cè)數(shù)據(jù)集將定期更新，樣例集已在open data lab和開(kāi)放原子社區(qū)發(fā)布。
《金融大模型應(yīng)用評(píng)測(cè)指南》和金融大模型評(píng)測(cè)數(shù)據(jù)集的發(fā)布是深化金融垂類應(yīng)用、規(guī)范和引導(dǎo)金融領(lǐng)域用好模型的重要里程碑。相關(guān)評(píng)測(cè)報(bào)告也將在近期發(fā)布。
信息來(lái)源：人民日?qǐng)?bào)客戶端上海頻道
“中國(guó)上海自貿(mào)試驗(yàn)區(qū)”是上海自貿(mào)區(qū)管理委員會(huì)唯一認(rèn)證的官方公眾號(hào)，在這里，您可以得到最權(quán)威、最全面、最及時(shí)的上海自貿(mào)區(qū)各類信息。關(guān)注我們，讓我們一起讀懂自貿(mào)區(qū)。
上觀號(hào)作者：中國(guó)上海自貿(mào)試驗(yàn)區(qū)