多模態(tài)理解是大模型理解復(fù)雜現(xiàn)實(shí)世界的關(guān)鍵能力之一。

8月2日，中文多模態(tài)大模型SuperCLUE-V基準(zhǔn)8月榜單發(fā)布，騰訊混元大模型憑借其在多模態(tài)理解方面的卓越表現(xiàn)，在眾多參評(píng)模型中脫穎而出，斬獲國(guó)內(nèi)大模型排名第一，穩(wěn)居卓越領(lǐng)導(dǎo)者象限。

多模態(tài)理解，俗稱“圖生文”，要求模型能準(zhǔn)確識(shí)別圖像元素，理解它們的關(guān)系，并生成自然語(yǔ)言描述。這既考驗(yàn)圖像識(shí)別的精確度，也體現(xiàn)了對(duì)場(chǎng)景的全面理解、對(duì)細(xì)節(jié)的深度洞察，考驗(yàn)?zāi)Ｐ蛯?duì)復(fù)雜現(xiàn)實(shí)世界的理解力。

本次測(cè)評(píng)涵蓋了國(guó)內(nèi)外最具代表性的12個(gè)多模態(tài)理解大模型，包含4個(gè)海外模型和8個(gè)國(guó)內(nèi)代表性多模態(tài)模型，評(píng)估內(nèi)容包含基礎(chǔ)能力和應(yīng)用能力兩大方向，以開(kāi)放式問(wèn)題對(duì)多模態(tài)大模型進(jìn)行評(píng)估。騰訊混元大模型在多模態(tài)基礎(chǔ)能力和應(yīng)用能力方面，獲得總分 71.95 的高分，顯示出在技術(shù)和應(yīng)用層的綜合優(yōu)勢(shì)。

據(jù)SuperCLUE官方介紹，評(píng)估標(biāo)準(zhǔn)涵蓋了理解準(zhǔn)確性、回應(yīng)相關(guān)性和推理深度等維度，打分規(guī)則結(jié)合了自動(dòng)化定量評(píng)分與專家復(fù)核，以確保評(píng)估的科學(xué)性和公正性。

評(píng)測(cè)結(jié)果顯示，國(guó)內(nèi)大模型在多模態(tài)理解的基礎(chǔ)能力方面，已經(jīng)逼近海外頂尖模型，其中騰訊混元大模型總成績(jī)僅略低于GPT-4o，表現(xiàn)好于CLaude3.5-Sonnet和Gemini-1.5-Pro，顯示國(guó)產(chǎn)模型在基礎(chǔ)能力上的快速迭代。而在應(yīng)用能力維度上，騰訊混元大模型憑借對(duì)中文語(yǔ)境的深刻理解，以及在通用、常識(shí)、圖像等多領(lǐng)域的綜合能力，展現(xiàn)出實(shí)際應(yīng)用的巨大潛力。

依托騰訊混元大模型的技術(shù)底座，AI 原生應(yīng)用騰訊元寶在發(fā)布之初，就具備多模態(tài)理解能力，無(wú)論是文檔截圖、人像風(fēng)景、收銀小票，還是任意一張隨手拍的照片，元寶都能基于圖中內(nèi)容給出自己的理解和分析。