近日，自然語言處理領(lǐng)域頂級會議 EMNLP 2022 在阿聯(lián)酋首都阿布扎比舉行。

今年的大會共有投稿 4190 篇，最終 829 篇論文被接收（715 篇長論文，114 篇論文），整體接收率為 20%，與往年差異不大。

大會于當(dāng)?shù)貢r(shí)間 12 月 11 日落幕，同時(shí)也公布了本屆論文獎(jiǎng)項(xiàng)，包括最佳長論文（1 篇）、最佳短論文（1 篇）、最佳 Demo 論文（1 篇）。

最佳長論文

論文：Abstract Visual Reasoning with Tangram Shapes

• 作者：Anya Ji , Noriyuki Kojima, Noah Rush, Alane Suhr, Wai Keen Vong , Robert D. Hawkins, Yoav Artzi
• 機(jī)構(gòu)：康奈爾大學(xué)、紐約大學(xué)、艾倫研究所、普林斯頓大學(xué)
• 論文鏈接：https://arxiv.org/pdf/2211.16492.pdf

論文摘要：在這篇論文中，研究者介紹了「KiloGram」，一個(gè)用于研究人類和機(jī)器的抽象視覺推理的資源庫。KiloGram 在兩個(gè)方面極大地改進(jìn)了現(xiàn)有資源。首先，研究者策劃并數(shù)字化了 1016 個(gè)形狀，創(chuàng)造了一個(gè)比現(xiàn)有工作中使用的集合大兩個(gè)數(shù)量級的集合。這個(gè)集極大地增加了對整個(gè)命名變化范圍的覆蓋，提供了一個(gè)關(guān)于人類命名行為的更全面的視角。第二，該集合不是把每個(gè)七巧板當(dāng)作一個(gè)單一的整體形狀，而是當(dāng)成由原始的拼圖碎片構(gòu)成的矢量圖形。這種分解能夠?qū)φ麄€(gè)形狀和它們的部分進(jìn)行推理。研究者利用這個(gè)新的數(shù)字化七巧板圖形集合來收集大量的文本描述數(shù)據(jù)，反映了命名行為的高度多樣性。

研究者利用眾包來擴(kuò)展注釋過程，為每個(gè)形狀收集多個(gè)注釋，從而代表它所引起的注釋的分布，而不是單一的樣本。最終總共收集了 13404 個(gè)注釋，每個(gè)注釋都描述了一個(gè)完整的物體及其分割的部分。

KiloGram 的潛力是廣泛的。研究者用該資源評估了最近的多模態(tài)模型的抽象視覺推理能力，并觀察到預(yù)訓(xùn)練的權(quán)重表現(xiàn)出有限的抽象推理能力，而這一能力隨著微調(diào)的進(jìn)行而得到極大的改善。他們還觀察到，明確的描述部分有助于人類和模型的抽象推理，特別是在對語言和視覺輸入進(jìn)行聯(lián)合編碼時(shí)。

圖 1 是兩個(gè)七巧板的例子，每個(gè)七巧板都有兩個(gè)不同的注釋。每個(gè)注釋都包括整個(gè)形狀的描述（黑體），對部分的分割（彩色），以及各部分的命名（與每個(gè)部分相連）。上面的例子顯示了接近完美一致的低可變性，而下面的例子顯示了語言和分割的分歧的高可變性。

?

KiloGram 地址：https://lil.nlp.cornell.edu/kilogram

本次大會的最佳長論文提名由 Kayo Yin 和 Graham Neubig 兩位研究者獲得。

論文：Interpreting Language Models with Contrastive Explanations

• 作者：Kayo Yin, Graham Neubig

論文摘要：模型的可解釋性方法經(jīng)常被用來解釋 NLP 模型在諸如文本分類等任務(wù)上的決策，這些任務(wù)的輸出空間相對較小。然而，當(dāng)應(yīng)用于語言生成時(shí)，輸出空間往往由數(shù)以萬計(jì)的 token 組成，這些方法無法提供翔實(shí)的解釋。語言模型必須考慮各種特征來預(yù)測一個(gè) token，如它的詞性、數(shù)字、時(shí)態(tài)或語義。由于現(xiàn)有的解釋方法將所有這些特征的證據(jù)合并成一個(gè)單一的解釋，這對于人類的理解來說可解釋性較差。

為了區(qū)分語言建模中的不同決策，研究者探討了專注于對比性解釋的語言模型。他們尋找到突出的輸入 token，解釋為什么模型預(yù)測了一個(gè) token 而不是另一個(gè) token。研究證明了在驗(yàn)證主要的語法現(xiàn)象方面，對比性解釋比非對比性解釋要好得多，而且它們大大改善了人類觀察者的對比性模型可模擬性。研究者還確定了模型使用類似證據(jù)的對比性決策組，并且能夠描述模型在各種語言生成決策中使用哪些輸入 token。

代碼地址：https://github.com/kayoyin/interpret-lm

最佳短論文

論文：Topic-Regularized Authorship Representation Learning

• 作者：Jitkapat Sawatphol、Nonthakit Chaiwong、Can Udomcharoenchaikit、Sarana Nutanong
• 機(jī)構(gòu)：泰國 VISTEC 科學(xué)技術(shù)研究所

論文摘要：在這項(xiàng)研究中，研究者提出了 Authorship Representation Regularization，一個(gè)可以提高交叉主題性能的蒸餾框架，也可以處理未見過的 author。這種方法可以應(yīng)用于任何 authorship 表征模型。實(shí)驗(yàn)結(jié)果顯示，在交叉主題設(shè)置中，4/6 的性能得到了提升。同時(shí)，研究者分析表明，在具有大量主題的數(shù)據(jù)集中，跨主題設(shè)置的訓(xùn)練分片存在主題信息泄露問題，從而削弱了其評估跨主題屬性的能力。

最佳 Demo 論文

論文：Evaluate & Evaluation on the Hub: Better Best Practices for Data and Model Measurements

• 作者：Leandro von Werra, Lewis Tunstall, Abhishek Thakur, Alexandra Sasha Luccioni 等
• 機(jī)構(gòu)：Hugging Face
• 論文鏈接：https://arxiv.org/pdf/2210.01970.pdf

論文摘要：評估是機(jī)器學(xué)習(xí) (ML) 的關(guān)鍵部分，該研究在 Hub 上引入了 Evaluate 和 Evaluation——一組有助于評估 ML 中的模型和數(shù)據(jù)集的工具。Evaluate 是一個(gè)庫，用于比較不同的模型和數(shù)據(jù)集，支持各種指標(biāo)。Evaluate 庫旨在支持評估的可復(fù)現(xiàn)性、記錄評估過程，并擴(kuò)大評估范圍以涵蓋模型性能的更多方面。它包括針對各種領(lǐng)域和場景的 50 多個(gè)高效規(guī)范實(shí)現(xiàn)、交互式文檔，并可輕松共享實(shí)現(xiàn)和評估結(jié)果。

項(xiàng)目地址：https://github.com/huggingface/evaluate

此外，研究者還推出了 Evaluation on the Hub，該平臺可以在 Hugging Face Hub 上免費(fèi)對超過 75000 個(gè)模型和 11000 個(gè)數(shù)據(jù)集進(jìn)行大規(guī)模評估，只需單擊一個(gè)按鈕即可。