目錄：

1. Multiscale Positive-Unlabeled Detection of AI-Generated Texts
2. Towards Revealing the Mystery behind Chain of Thought: a Theoretical Perspective
3. Large Language Models as Tool Makers
4. SpecInfer: Accelerating Generative LLM Serving with Speculative Inference and Token Tree Verification
5. Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models
6. mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image and Video
7. Where to Go Next for Recommender Systems? ID- vs. Modality-based Recommender Models Revisited

論文 1：Multiscale Positive-Unlabeled Detection of AI-Generated Texts

• 作者：Yuchuan Tian, Hanting Chen 等
• 論文地址：https://arxiv.org/abs/2305.18149

摘要：AI 造假的成功率很高，前幾天「10 分鐘騙 430 萬(wàn)」還上了熱搜。在最熱門(mén)的大語(yǔ)言模型上，北大、華為的研究者們最近探索了一種識(shí)別方法。如下列舉了幾個(gè)人和 AI 分別對(duì)同一問(wèn)題做出回答的例子：

推薦：識(shí)別「ChatGPT 造假」，效果超越 OpenAI：北大、華為的 AI 生成檢測(cè)器來(lái)了

論文 2：Towards Revealing the Mystery behind Chain of Thought: a Theoretical Perspective

• 作者：Guhao Feng、Bohang Zhang 等
• 論文地址：https://arxiv.org/abs/2305.15408

摘要：思維鏈提示（CoT）是大模型涌現(xiàn)中最神秘的現(xiàn)象之一，尤其在解決數(shù)學(xué)推理和決策問(wèn)題中取得了驚艷效果。CoT 到底有多重要呢？它背后成功的機(jī)制是什么？本文中，北大的幾位研究者證明了 CoT 在實(shí)現(xiàn)大語(yǔ)言模型（LLM）推理中是不可或缺的，并從理論和實(shí)驗(yàn)角度揭示了 CoT 如何釋放 LLM 的巨大潛力。

本文選取了兩個(gè)非?；A(chǔ)但核心的數(shù)學(xué)任務(wù)：算術(shù)和方程（下圖給出了這兩個(gè)任務(wù)的輸入輸出示例）

推薦：思維鏈如何釋放語(yǔ)言模型的隱藏能力？最新理論研究揭示其背后奧秘

論文 3：Large Language Models as Tool Makers

• 作者：Tianle Cai、 Xuezhi Wang 等
• 論文地址：https://arxiv.org/pdf/2305.17126.pdf

摘要：受到制造工具對(duì)人類重要性的啟發(fā)，在本文中，Google Deepmind、普林斯頓和斯坦福大學(xué)的研究者將這種「進(jìn)化」的概念應(yīng)用于 LLM 領(lǐng)域，進(jìn)行了初步探索。他們提出了一個(gè)閉環(huán)框架，在這個(gè)框架中 LLM 作為工具制作者（LLMs As Tool Makers ，LATM），使其能夠生成自己的可重新使用的工具來(lái)處理新任務(wù)。

推薦：GPT-4 等大模型迎來(lái)進(jìn)化轉(zhuǎn)折點(diǎn)：不只是使用，還會(huì)自己制作工具了

論文 4：SpecInfer: Accelerating Generative LLM Serving with Speculative Inference and Token Tree Verification

• 作者：Xupeng Miao、Gabriele Oliaro 等
• 論文地址：https://arxiv.org/abs/2305.09781

摘要：近日，來(lái)自卡耐基梅隆大學(xué)（CMU）的 Catalyst Group 團(tuán)隊(duì)發(fā)布了一款「投機(jī)式推理」引擎 SpecInfer，可以借助輕量化的小模型來(lái)幫助大模型，在完全不影響生成內(nèi)容準(zhǔn)確度的情況下，實(shí)現(xiàn)兩到三倍的推理加速。

推薦：LLM 推理提速 2.8 倍，CMU 清華姚班校友提出「投機(jī)式推理」引擎 SpecInfer，小模型撬動(dòng)大模型高效推理

論文 5：Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models

• 作者：Gen Luo、 Yiyi Zhou 等
• 論文地址：https://arxiv.org/pdf/2305.15023.pdf

摘要：本文提出了一種新穎且經(jīng)濟(jì)實(shí)惠的解決方案，用于有效地將 LLMs 適應(yīng)到 VL（視覺(jué)語(yǔ)言）任務(wù)中，稱為 MMA。MMA 不使用大型神經(jīng)網(wǎng)絡(luò)來(lái)連接圖像編碼器和 LLM，而是采用輕量級(jí)模塊，即適配器，來(lái)彌合 LLMs 和 VL 任務(wù)之間的差距，同時(shí)也實(shí)現(xiàn)了圖像模型和語(yǔ)言模型的聯(lián)合優(yōu)化。同時(shí)，MMA 還配備了一種路由算法，可以幫助 LLM 在不損害其自然語(yǔ)言理解能力的情況下，在單模態(tài)和多模態(tài)指令之間實(shí)現(xiàn)自動(dòng)切換。

推薦：訓(xùn)練時(shí)間減少 71.4%，存儲(chǔ)成本節(jié)省 99.9%，廈大指令調(diào)優(yōu)新方案 MMA 讓羊駝模型實(shí)現(xiàn)多模態(tài)

論文 6：mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image and Video

• 作者：Haiyang Xu、 Qinghao Ye 等
• 論文地址：https://arxiv.org/pdf/2302.00402.pdf

摘要：對(duì)于多模態(tài)基礎(chǔ)模型，我們希望其不僅可以處理特定的多模態(tài)相關(guān)任務(wù)，還希望其處理單模態(tài)任務(wù)時(shí)也具有優(yōu)異的性能。阿?達(dá)摩院團(tuán)隊(duì)發(fā)現(xiàn)現(xiàn)有的模型往往不能很好的平衡模態(tài)協(xié)作和模態(tài)糾纏的問(wèn)題，這限制了模型在各種單模態(tài)和跨模態(tài)下游任務(wù)的性能。

基于此，達(dá)摩院的研究者提出了 mPLUG-2，其通過(guò)模塊化的?絡(luò)結(jié)構(gòu)設(shè)計(jì)來(lái)平衡多模態(tài)之間的協(xié)作和糾纏問(wèn)題，mPLUG-2 在 30 + 多 / 單模態(tài)任務(wù)，取得同等數(shù)據(jù)量和模型規(guī)模 SOTA 或者 Comparable 效果，在 VideoQA 和 VideoCaption 上超越 Flamingo、VideoCoca、GITv2 等超?模型取得絕對(duì) SOTA。此外，mPLUG-Owl 是阿?巴巴達(dá)摩院 mPLUG 系列的最新工作，延續(xù)了 mPLUG 系列的模塊化訓(xùn)練思想，把 LLM 升級(jí)為?個(gè)多模態(tài)?模型。mPLUG-2 的研究論文已被 ICML 2023 接收。

推薦：ICML 2023 | 基于模塊化思想，阿里達(dá)摩院提出多模態(tài)基礎(chǔ)模型 mPLUG-2

論文 7：Where to Go Next for Recommender Systems? ID- vs. Modality-based Recommender Models Revisited

• 作者：Zheng Yuan、Fajie Yuan 等
• 論文地址：https://arxiv.org/abs/2303.13835

摘要：本文調(diào)查了一個(gè)富有潛力的問(wèn)題，即多模態(tài)推薦系統(tǒng) MoRec 是否有望終結(jié) IDRec 在推薦系統(tǒng)領(lǐng)域長(zhǎng)達(dá) 10 年的主導(dǎo)地位，基于此，論文進(jìn)行了深入研究。相關(guān)成果已被 SIGIR 2023 接收。下圖為網(wǎng)絡(luò)架構(gòu)。

推薦：SIGIR 2023 | 推薦系統(tǒng)何去何從，經(jīng)典 ID 范式要被顛覆？