長(zhǎng)文本評(píng)測(cè)隨著大模型能夠處理的上下文信息越來(lái)越多，達(dá)到百萬(wàn)級(jí)別的詞匯量，人們對(duì)于模型長(zhǎng)文本能力的研究興趣也隨之增長(zhǎng)。司南OpenCompass數(shù)據(jù)集社區(qū)已經(jīng)出現(xiàn)了諸如LEval、LongBench等長(zhǎng)文本評(píng)測(cè)基準(zhǔn)。這些工作基于一些開(kāi)源自建的數(shù)據(jù)集構(gòu)建樣本，其構(gòu)建評(píng)測(cè)集上的性能已可以一定程度上反映模型的能力。因此，在長(zhǎng)文本評(píng)測(cè)這一工作里，我們認(rèn)為一個(gè)好的長(zhǎng)文本評(píng)測(cè)集應(yīng)該具備以下性質(zhì)：樣本長(zhǎng)度可控：測(cè)試樣本的上下文長(zhǎng)度最好...

隨著人工智能技術(shù)的迅速發(fā)展，大模型在處理各種復(fù)雜任務(wù)中展示出了卓越的能力。特別是在網(wǎng)絡(luò)安全領(lǐng)域，大模型的應(yīng)用潛力巨大，它們可以幫助自動(dòng)化處理大量數(shù)據(jù)、識(shí)別潛在威脅和提供安全建議。然而，新型大模型層出不窮，要有效利用這些模型，首先必須驗(yàn)證它們?cè)诶斫夂吞幚砭W(wǎng)絡(luò)安全相關(guān)問(wèn)題上的能力。4月19日凌晨，Meta開(kāi)源了新一代LLaMa3模型。作為當(dāng)前最受矚目的大語(yǔ)言模型之一，LLaMa3在網(wǎng)絡(luò)安全領(lǐng)域的表現(xiàn)到底怎樣？如何將LL...

司南團(tuán)隊(duì)構(gòu)建了針對(duì)大語(yǔ)言模型超長(zhǎng)文本能力的中英雙語(yǔ)測(cè)試框架——NeedleBench，專門(mén)用來(lái)壓力測(cè)試模型在處理長(zhǎng)達(dá)百萬(wàn)級(jí)上下文窗口中的檢索能力和推理能力。論文鏈接：http:arxiv.orgabs2407.11963Part1：為什么需要NeedleBench現(xiàn)在的大語(yǔ)言模型，如最近公開(kāi)的GPT4o、GLM49B、InternLM2.5等，已經(jīng)擴(kuò)展了它們的上下文窗口，可以處理多達(dá)100萬(wàn)個(gè)token的文本。然而，簡(jiǎn)單地通過(guò)“NeedleInAHaystack”大海撈針要求LLMs提取關(guān)鍵信息，...

AIAgent（智能體）作為大模型的重要應(yīng)用模式，能夠通過(guò)使用外部工具來(lái)執(zhí)行復(fù)雜任務(wù)，完成多步驟的工作流程。為了能全面評(píng)估模型的工具使用能力，司南及合作伙伴團(tuán)隊(duì)推出了TEval評(píng)測(cè)基準(zhǔn)，相關(guān)成果論文已被ACL2024主會(huì)錄用。查看原文：https:arxiv.orgabs2312.14033?PART1為什么需要TEval？使用了工具的大語(yǔ)言模型有著驚艷的問(wèn)題解決能力，但是如何評(píng)估模型的工具使用能力還有很大的探索空間?，F(xiàn)有評(píng)估方法通常只關(guān)注模型處理單...

5月14日，OpenAI發(fā)布了GPT4o，支持文本、圖像、語(yǔ)音、視頻等多種形式的輸入，大幅提升了推理響應(yīng)的速度，在非英文任務(wù)上具有較大提升，并擁有比現(xiàn)有模型更強(qiáng)的視覺(jué)理解能力。我們第一時(shí)間對(duì)GPT4o模型的圖像文本多模態(tài)能力進(jìn)行了評(píng)測(cè)。OpenAI官方公布的視覺(jué)理解性能基于多模態(tài)大模型開(kāi)源評(píng)測(cè)工具VLMEvalKit，我們?cè)贠penVLMLeaderboard中的十二個(gè)圖文多模態(tài)評(píng)測(cè)集上測(cè)試了GPT4o的視覺(jué)能力。GPT4o(20240513)與此前的GPT4v版本在各...

長(zhǎng)文本評(píng)測(cè)隨著大模型能夠處理的上下文信息越來(lái)越多，達(dá)到百萬(wàn)級(jí)別的詞匯量，人們對(duì)于模型長(zhǎng)文本能力的研究興趣也隨之增長(zhǎng)。這些工作基于一些開(kāi)源自建的數(shù)據(jù)集構(gòu)建樣本，其構(gòu)建評(píng)測(cè)集上的性能已可以一定程度上反映模型的能力。因此，在長(zhǎng)文本評(píng)測(cè)這一工作里，我們認(rèn)為一個(gè)好的長(zhǎng)文本評(píng)測(cè)集應(yīng)該具備以下性質(zhì)：樣本長(zhǎng)度可控：測(cè)試樣本的上下文長(zhǎng)度最好是可控的，以便于測(cè)量和比較模型在各個(gè)上下文長(zhǎng)度下的能力變化（若測(cè)試集由不...

先放結(jié)論如果你想為你的項(xiàng)目挑選合適的圖文多模態(tài)模型，以下是一些可供參考的模型性能（括號(hào)內(nèi)為評(píng)測(cè)分?jǐn)?shù)）：已測(cè)性能最強(qiáng)的閉源模型：GPT4o（海外API模型，69.9）GLM4v（國(guó)內(nèi)API模型，60.8）已測(cè)位于"參數(shù)量性能"前沿上的開(kāi)源模型：InternVLv1.5(26B,61.7)MiniCPMLlama3V2.5(8B,58.8)InternLMXComposer27B4KHD(7B,58.8)?MiniInternVL(4B,56.2;2B,49.8)本期的多模態(tài)模型性能榜單1.多模態(tài)大模型評(píng)測(cè)榜單構(gòu)成更新在4月底，司南多...

Flames是由上海人工智能實(shí)驗(yàn)室和復(fù)旦大學(xué)聯(lián)合構(gòu)建的大語(yǔ)言模型價(jià)值對(duì)齊評(píng)測(cè)基準(zhǔn)，包含一個(gè)綜合性評(píng)測(cè)框架、高對(duì)抗性中文數(shù)據(jù)集和自動(dòng)評(píng)分模型，囊括Fairness（公平）,Safety(安全)，Morality(道德)，DataProtection（數(shù)據(jù)保護(hù)），以及Legality（合法）五個(gè)大維度，F(xiàn)lames名字也來(lái)源于此。一、為什么需要Flames？當(dāng)前大語(yǔ)言模型在深層次的價(jià)值對(duì)齊和無(wú)害性方面存在諸多挑戰(zhàn)，高質(zhì)量的評(píng)測(cè)集可以有效評(píng)估模型的價(jià)值對(duì)齊情況。然而...

ChemBench是上海人工智能實(shí)驗(yàn)室AIforScience團(tuán)隊(duì)自建的化學(xué)語(yǔ)言模型評(píng)測(cè)數(shù)據(jù)集，實(shí)現(xiàn)了大模型能力在化學(xué)領(lǐng)域的全面評(píng)估。研究團(tuán)隊(duì)從互聯(lián)網(wǎng)公開(kāi)資源中采集并設(shè)計(jì)構(gòu)建了4100多道多項(xiàng)選擇題，每個(gè)選擇題只有一個(gè)正確答案。覆蓋了基于文本的分子生成、名稱轉(zhuǎn)換、性質(zhì)預(yù)測(cè)、溫度預(yù)測(cè)、分子描述、產(chǎn)率預(yù)測(cè)、溶劑預(yù)測(cè)、逆合成分析、產(chǎn)物預(yù)測(cè)九大化學(xué)任務(wù)。ChemBench評(píng)測(cè)任務(wù)介紹隨著大語(yǔ)言模型的飛速發(fā)展，一系列特定領(lǐng)域的垂類(lèi)模型也...

隨著現(xiàn)代大語(yǔ)言模型（LLMs）如OpenAI的ChatGPT和GPT4的出現(xiàn)，LLMs展示了生成類(lèi)人對(duì)話和解決復(fù)雜數(shù)學(xué)難題的非凡能力。從Meta在4月18日發(fā)布Llama38B&70B開(kāi)始，Qwen開(kāi)源的首個(gè)百B大模型Qwen1.5110B，到深度求索的MoE模型DeepSeekV2，還有近幾日OpenAI放出的大招GPT4o，號(hào)稱更低的價(jià)格，更強(qiáng)的性能，大家都號(hào)稱自己的新模型數(shù)學(xué)能力頂呱呱，但事實(shí)真是這樣嗎？如何透明化評(píng)測(cè)大模型的各項(xiàng)數(shù)學(xué)能力如今成了大家的難題，因?yàn)殚_(kāi)源數(shù)據(jù)...