1. Reverse Thinking Makes LLMs Stronger Reasoners

逆向思維在人類(lèi)推理中扮演著至關(guān)重要的角色。人們不僅可以從問(wèn)題推導(dǎo)出解決方案，還可以反過(guò)來(lái)從解決方案推導(dǎo)出問(wèn)題。這種雙向思考方式往往能提高整體的推理性能，因?yàn)樗试S前后思維之間的一致性檢查。為了使大型語(yǔ)言模型（LLM）具備逆向思維能力，我們引入了逆向增強(qiáng)思維（RevThink）框架，該框架由數(shù)據(jù)增強(qiáng)和學(xué)習(xí)目標(biāo)組成。

在RevThink中，我們通過(guò)收集教師模型提供的結(jié)構(gòu)化正向-反向推理來(lái)擴(kuò)充數(shù)據(jù)集，具體包括：(1) 原始問(wèn)題；(2) 正向推理；(3) 反向問(wèn)題；以及 (4) 反向推理。然后，我們采用三種目標(biāo)以多任務(wù)學(xué)習(xí)的方式訓(xùn)練一個(gè)小的學(xué)生模型：(a) 從問(wèn)題生成正向推理；(b) 從問(wèn)題生成反向問(wèn)題；(c) 從反向問(wèn)題生成反向推理。

在涵蓋常識(shí)、數(shù)學(xué)和邏輯推理的12個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)表明，RevThink相比學(xué)生模型的零樣本性能平均提升了13.53%，比最強(qiáng)的知識(shí)蒸餾基線方法提升了6.84%。此外，我們的方法展示了良好的樣本效率——僅使用訓(xùn)練數(shù)據(jù)中10%的正確正向推理，就優(yōu)于在一個(gè)包含10倍更多正向推理的標(biāo)準(zhǔn)微調(diào)方法。RevThink還表現(xiàn)出較強(qiáng)的泛化能力，能夠很好地處理分布外的數(shù)據(jù)集。

論文: https://arxiv.org/pdf/2411.19865

2. LLM Teacher-Student Framework for Text Classification With No Manually Annotated Data: A Case Study in IPTC News Topic Classification

隨著在線新聞報(bào)道數(shù)量的不斷增加，按照主題對(duì)新聞進(jìn)行分類(lèi)變得越來(lái)越重要。為了應(yīng)對(duì)這一挑戰(zhàn)，我們提出了一種基于大語(yǔ)言模型（LLM）的蒸餾框架，用于開(kāi)發(fā)不需要人工數(shù)據(jù)標(biāo)注的多語(yǔ)言新聞分類(lèi)模型。該框架利用生成式預(yù)訓(xùn)練transformer（GPT）模型作為教師模型，通過(guò)自動(dòng)標(biāo)注斯洛文尼亞語(yǔ)、克羅地亞語(yǔ)、希臘語(yǔ)和加泰羅尼亞語(yǔ)的新聞文章來(lái)構(gòu)建IPTC媒體主題訓(xùn)練數(shù)據(jù)集。教師模型在這四種語(yǔ)言上表現(xiàn)出色，在零樣本任務(wù)上的性能很高，并且其標(biāo)注結(jié)果與人類(lèi)標(biāo)注者的一致程度與人類(lèi)標(biāo)注者之間的相當(dāng)。

為了解決處理數(shù)百萬(wàn)文本所需的計(jì)算限制，我們對(duì)較小的BERT類(lèi)學(xué)生模型進(jìn)行了微調(diào)，這些模型在GPT標(biāo)注的數(shù)據(jù)集上進(jìn)行了訓(xùn)練。這些學(xué)生模型實(shí)現(xiàn)了與教師模型相當(dāng)?shù)母咝阅?。此外，我們研究了?xùn)練數(shù)據(jù)量對(duì)學(xué)生模型性能的影響，并調(diào)查了它們的單語(yǔ)言、多語(yǔ)言和零樣本跨語(yǔ)言能力。研究發(fā)現(xiàn)，學(xué)生模型可以在相對(duì)較少的訓(xùn)練實(shí)例下達(dá)到高性能，并展示了強(qiáng)大的零樣本跨語(yǔ)言能力。最后，我們發(fā)布了表現(xiàn)最佳的新聞主題分類(lèi)器，支持使用IPTC媒體主題架構(gòu)的多語(yǔ)言分類(lèi)。

論文: https://arxiv.org/pdf/2411.19638

3. On Domain-Specific Post-Training for Multimodal Large Language Models

近年來(lái)，通用多模態(tài)大語(yǔ)言模型（MLLMs）得到了快速發(fā)展。然而，將這些通用的MLLMs適應(yīng)特定領(lǐng)域（如科學(xué)領(lǐng)域和工業(yè)應(yīng)用）的研究仍然相對(duì)較少。本文系統(tǒng)地研究了通過(guò)后訓(xùn)練進(jìn)行MLLMs的領(lǐng)域適應(yīng)性，重點(diǎn)關(guān)注數(shù)據(jù)合成、訓(xùn)練流程和任務(wù)評(píng)估。

數(shù)據(jù)合成：我們使用開(kāi)源模型開(kāi)發(fā)了一個(gè)視覺(jué)指令合成器，能夠有效地從特定領(lǐng)域的圖像-標(biāo)題對(duì)生成多樣化的視覺(jué)指令任務(wù)。我們的合成任務(wù)在提升MLLMs的領(lǐng)域特定性能方面優(yōu)于手動(dòng)規(guī)則、GPT-4和GPT-4V生成的任務(wù)。

訓(xùn)練流程：雖然兩階段訓(xùn)練（最初在圖像-標(biāo)題對(duì)上訓(xùn)練，然后在視覺(jué)指令任務(wù)上訓(xùn)練）是開(kāi)發(fā)通用MLLMs的常見(jiàn)方法，但我們采用單階段訓(xùn)練流程來(lái)增強(qiáng)領(lǐng)域特定后訓(xùn)練中的任務(wù)多樣性。

任務(wù)評(píng)估：我們?cè)趦蓚€(gè)領(lǐng)域（生物醫(yī)學(xué)和食品）進(jìn)行了實(shí)驗(yàn)，通過(guò)對(duì)不同來(lái)源和規(guī)模的MLLMs（例如Qwen2-VL-2B、LLaVA-v1.6-8B、Llama-3.2-11B）進(jìn)行后訓(xùn)練，并評(píng)估其在各種領(lǐng)域特定任務(wù)上的性能。

這種方法不僅提升了MLLMs在特定領(lǐng)域的性能，還增強(qiáng)了其在多樣化任務(wù)中的適應(yīng)性和靈活性，為其在實(shí)際應(yīng)用中的廣泛應(yīng)用奠定了基礎(chǔ)。

論文: https://arxiv.org/pdf/2411.19930

4. Scaling Transformers for Low-Bitrate High-Quality Speech Coding

使用神經(jīng)音頻編解碼模型對(duì)語(yǔ)音進(jìn)行分詞是現(xiàn)代AI pipeline中生成或理解語(yǔ)音（單獨(dú)或在多模態(tài)背景下）的關(guān)鍵部分。傳統(tǒng)上，這些分詞模型主要集中在具有強(qiáng)歸納偏置的低參數(shù)量架構(gòu)上。本文研究表明，通過(guò)將大規(guī)模參數(shù)的Transformer架構(gòu)應(yīng)用于這個(gè)問(wèn)題，并結(jié)合靈活的有限標(biāo)量量化（FSQ）瓶頸層，可以在極低比特率（400或700位每秒）下達(dá)到最先進(jìn)的語(yǔ)音質(zhì)量。訓(xùn)練后的模型在客觀和主觀測(cè)試中均顯著優(yōu)于現(xiàn)有的基線方法。

這種方法不僅提升了語(yǔ)音處理的質(zhì)量，還在資源受限的情況下實(shí)現(xiàn)了高效的性能，適用于多種應(yīng)用場(chǎng)景。

論文: https://arxiv.org/pdf/2411.19842

本文轉(zhuǎn)載自 ??AI-PaperDaily??，作者： AI-PaperDaily