終于,NLP頂會ACL投稿不用匿名了
對于自然語言處理領(lǐng)域的研究人員,最近有一條好消息。
近日,計(jì)算語言學(xué)協(xié)會年會(ACL)正式宣布,該系列會議論文投稿已取消匿名期,同時允許作者在投稿期間宣傳自身工作。新規(guī)定直接適用于下一個審稿周期。

今年的 ACL 是第 62 屆,將于 2024 年 8 月 11 日至 16 日在泰國曼谷舉行。自 2022 年起,ACL 啟用了滾動審稿機(jī)制(ACL Rolling Review,ARR),每月設(shè) deadline。需要注意的是,在上一個截止日期之前提交給評審流程的論文仍受舊匿名政策的約束。
大會聲明鏈接:https://www.aclweb.org/portal/
據(jù)了解,ACL 會方是在最新一期工作組報(bào)告的建議下實(shí)行了新規(guī)的,新的政策也會對獎項(xiàng)產(chǎn)生影響。這一調(diào)整立即獲得了研究社區(qū)的歡迎:

在報(bào)告《Report of the ACL Committee on the Anonymity Policy》中,工作組指出自 2017 年起 ACL 實(shí)行的雙盲評審規(guī)則成功地減少了匿名審稿期間可作為預(yù)印本的論文數(shù)量。ACL 2023 上有預(yù)印本的提交比例為 13.8%,而 ICML 和 ICLR(均對預(yù)印本沒有任何限制)等機(jī)器學(xué)習(xí)會議的相應(yīng)比例通常在 30% 以上。
雖然匿名在 arXiv 上提交預(yù)印版并不會破壞雙盲評審,但根據(jù) ACL 2023 審稿過程中收集的信息,91% 的投稿保持完全匿名,即審稿人無法猜測作者身份,可猜測作者身份的投稿(有預(yù)印本)比例為 4% 左右,相當(dāng)于所有帶預(yù)印本提交的論文的 30% 左右。
工作組認(rèn)為,原有雙盲評審政策顯然已經(jīng)產(chǎn)生了一些負(fù)面影響。作者可能會急于在匿名截止日期之前發(fā)布預(yù)印本,這會破壞預(yù)印本的質(zhì)量。此外,由于作者必須等到論文接收后才能更新預(yù)印本,因此他們無法在匿名期間糾正錯誤或添加新結(jié)果,包括改變工作結(jié)論的結(jié)果。
禁止作者更正公共記錄與科學(xué)研究的價(jià)值觀格格不入。另一方面,選擇不提交 arXiv 預(yù)印版的作者可能需要等待很長時間才能發(fā)表論文。在某些情況下,這會導(dǎo)致他們的工作被在此期間發(fā)表或預(yù)印的其他論文(通常是非 ACL 論文)搶先。
由于 AI 領(lǐng)域,特別是 NLP 領(lǐng)域研究節(jié)奏的加快,維持當(dāng)前評審方式正在變得越來越困難。許多 ACL 作者指出,相對于許多不認(rèn)同 ACL 方式的機(jī)器學(xué)習(xí)會議(如 ICML、ICLR、NeurIPS 和 AAAI),以及相對于自行發(fā)表的有影響力的行業(yè)實(shí)驗(yàn)室,當(dāng)前的雙盲評審使他們經(jīng)常處于不利地位。這使得 NLP 社區(qū)變得支離破碎,ACL 會議面臨著失去優(yōu)秀作者、審稿人以及聲譽(yù)下降的巨大風(fēng)險(xiǎn)。
新的政策旨在促進(jìn)科學(xué)交流,作者仍然被鼓勵在論文接收之前不要過度宣傳工作(因?yàn)檫@可能會導(dǎo)致審稿人偏見而影響論文評分)。此外,不提交預(yù)印版或在社交媒體上提前宣傳也可以提升論文獲獎的機(jī)會。
此前,CVPR 的「社交媒體禁令」也出現(xiàn)了松動的跡象。
2023 年 11 月 25 日,作為 CVPR 2024 Publicity Co-chair 的 Kosta Derpanis 教授曾在個人推特上透露,CVPR 2024 關(guān)于投稿社交媒體宣傳的立場有一些變化。

根據(jù) CVPR 2023 會議的投票結(jié)果,只要不提及 CVPR,作者可以在社交媒體上談?wù)撍麄円烟峤唤o CVPR 的研究成果。因此,無論你是否向 CVPR 投稿,都可以在社交網(wǎng)絡(luò)上談?wù)撗芯?。你可以宣傳自己發(fā)布的 arXiv 論文、在線進(jìn)行演示等。但是,作者不得談?wù)撗芯磕壳罢?CVPR 審稿階段。這既適用于社交媒體發(fā)布,也適用于與媒體的公開討論。
鑒于 CVPR 2024 官方推特賬號隨后轉(zhuǎn)發(fā)了這條動態(tài),新規(guī)則變動的可信度大大提升。
CVPR 的社交媒體禁令起始于 2021 年。禁令頒布的背景,是馬普智能系統(tǒng)研究所所長 Michael Black 提出的一項(xiàng)動議:審稿期間禁止在社交媒體上宣傳論文,在 arXiv 上自動發(fā)布的預(yù)印本論文除外。
當(dāng)時,這一動議引發(fā)了眾多研究者的不滿。圖靈獎獲得者 Yann LeCun 也公開表示:「這種行為會限制科學(xué)信息的交流,損害技術(shù)進(jìn)步且違反道德規(guī)范。簡而言之就是瘋了?!?/span>

不過這項(xiàng)動議最終還是高票通過。大會官方宣布,面向所有 CVPR 2022 的投稿作者,從 2021 年 10 月 19 日到 2022 年 3 月 2 日為社交媒體靜默期。在此期間,任何由作者主動發(fā)起的對論文的社交媒體宣傳都被視為違反政策。
值得注意的是,將論文放在 arXiv 上供專家進(jìn)行早期分析,與在社交媒體上向廣大受眾進(jìn)行宣傳有本質(zhì)不同,投 CVPR 的論文放在 arXiv 上還是被允許的。原因是 arXiv 論文并不是「已發(fā)表」,而應(yīng)該被理解為「預(yù)發(fā)表」的狀態(tài)。
這項(xiàng)操作的目的是解決同行評審中的偏見問題,但打擊社區(qū)內(nèi)交流會帶來很多消極后果,而且同行評審中的偏見問題未必能真正改善。
或許是引發(fā)了太多反對的聲音,如今機(jī)器學(xué)習(xí)領(lǐng)域,對于禁止社交媒體宣傳的規(guī)定已有所緩和。




























