阿里云38篇論文被頂會(huì)ACL錄用,通義團(tuán)隊(duì)披露多項(xiàng)大模型前沿技術(shù)
8月14日消息,計(jì)算語(yǔ)言學(xué)和自然語(yǔ)言處理領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議ACL 2024年會(huì)本周在泰國(guó)舉行,阿里云共有38篇高水平論文被大會(huì)錄用,包括通義千問(wèn)團(tuán)隊(duì)多篇大模型相關(guān)論文,主題涉及大模型SFT技術(shù)、LLM角色扮演能力、多模態(tài)模型測(cè)評(píng)基準(zhǔn)等。設(shè)在曼谷大會(huì)現(xiàn)場(chǎng)的通義展臺(tái)被世界各地的NLP研究人員和開(kāi)發(fā)者圍觀,通義成了現(xiàn)場(chǎng)最受關(guān)注的中國(guó)大模型。
ACL 年會(huì)(Annual Meeting of the Association for Computational Linguistics)由國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)組織,是計(jì)算語(yǔ)言學(xué)和自然語(yǔ)言處理領(lǐng)域排名第1的頂級(jí)學(xué)術(shù)會(huì)議。ACL 2024是該協(xié)會(huì)的第62屆會(huì)議,今年大會(huì)特別關(guān)注“以開(kāi)放科學(xué)、開(kāi)放數(shù)據(jù)、開(kāi)放模型促進(jìn)可復(fù)現(xiàn)的自然語(yǔ)言處理研究”這一話題。
阿里云一直以來(lái)都是ACL論文入選數(shù)量最高的科技公司之一,今年累計(jì)有38篇文章被收錄,包括16篇主會(huì)論文。作為中國(guó)大模型“開(kāi)源開(kāi)放”力量的代表,通義大模型團(tuán)隊(duì)在本次大會(huì)披露了多項(xiàng)大模型前沿技術(shù),并與世界各地的NLP研發(fā)人員和開(kāi)發(fā)者面對(duì)面交流。
《Large Language Models are Superpositions of All Characters: Attaining Arbitrary Role-play via Self-Alignment》首次提出用于大模型角色扮演的自我對(duì)齊策略DITTO,顯著提升了LLM的角色扮演能力,通義團(tuán)隊(duì)已將DITTO開(kāi)源;《AIR-Bench: Benchmarking Large Audio-Language Models via Generative Comprehension》介紹了通義團(tuán)隊(duì)推出的音頻語(yǔ)言理解模型測(cè)評(píng)基準(zhǔn)AIR-Bench,用于評(píng)估模型的生成式指令跟隨能力,填補(bǔ)了業(yè)界空白;《How Abilities in Large Language Models are Affected by Supervised Fine-tuning Data Composition》通過(guò)一系列實(shí)驗(yàn)展示了SFT數(shù)據(jù)如何影響LLM的數(shù)學(xué)、代碼、人類對(duì)齊能力,可為研究者和開(kāi)發(fā)者的SFT工作提供借鑒。
海外開(kāi)發(fā)者基于Qwen訓(xùn)練了泰語(yǔ)大模型和東南亞語(yǔ)大模型
自2023年8月以來(lái),通義千問(wèn)已經(jīng)開(kāi)源數(shù)十款LLM、多模態(tài)和專項(xiàng)能力模型,Qwen系列開(kāi)源模型下載量超過(guò)了2000萬(wàn)。
在東南亞地區(qū),通義千問(wèn)開(kāi)源模型也有很多忠實(shí)用戶,開(kāi)源社區(qū)經(jīng)??梢?jiàn)基于Qwen訓(xùn)練的泰語(yǔ)、越南語(yǔ)、東南亞語(yǔ)等大模型。比如,新加坡工程師劉乾基于Qwen1.5訓(xùn)練了廣受歡迎的東南亞語(yǔ)大模型Sailor,覆蓋0.5B、1.8B、4B、7B、14B等全套尺寸;越南語(yǔ)工程師Nguyen Quan開(kāi)發(fā)了越南語(yǔ)大模型,他說(shuō):“根據(jù)我們內(nèi)部的基準(zhǔn)測(cè)評(píng),Qwen2基礎(chǔ)模型超越了目前市場(chǎng)上所有的閉源大語(yǔ)言模型”。
附:阿里云被ACL 2024收錄的論文清單