論文 1：ClimateNeRF: Physically-based Neural Rendering for Extreme Climate Synthesis

• 作者：Yuan Li等
• 論文地址：https://arxiv.org/pdf/2211.13226.pdf

摘要：本文介紹了一種將物理模擬與場景 NeRF 模型相融合的全新方法，生成這些場景中物理現(xiàn)象的逼真影片。就具體效果而言，該方法能夠逼真地模擬出氣候變化可能產(chǎn)生的影響 —— 在一場小范圍的洪水爆發(fā)后，操場會變成什么樣子？大洪水后呢？暴雪后呢？

推薦：一秒起霧、入冬、發(fā)洪水，新 NeRF 模型渲染出逼真物理大片。

論文 2：Pretraining Without Attention

• 作者：Junxiong Wang 等
• 論文地址：https://arxiv.org/pdf/2212.10544.pdf

摘要：本文提出了雙向門控 SSM（BiGS）模型，結(jié)合基于狀態(tài)空間模型（SSM）的 Routing 層和基于乘法門的模型架構(gòu)，在不使用注意力的情況下能夠復制 BERT 預訓練結(jié)果，并可擴展到 4096 個 token 的長程預訓練，不需要近似。

推薦：預訓練無需注意力，擴展到 4096 個 token 不成問題，與 BERT 相當。

論文 3：One Model to Edit Them All: Free-Form Text-Driven Image Manipulation with Semantic Modulations

• 作者：Yiming Zhu 等
• 論文地址：https://arxiv.org/pdf/2210.07883.pdf

摘要：最近用文本來引導圖像編輯取得了非常大的進展以及關(guān)注度，特別是基于去噪擴散模型如 StableDiffusion 或者 DALLE 等。但基于 GAN 的文本 - 圖像編輯依舊有一些問題等待解決，例如經(jīng)典的 StyleCILP 中針對每一個文本必須要訓練一個模型，這種單文本對單模型的方式在實際應用中是不方便的。

本文提出 FFCLIP 并解決了這個問題，針對靈活的不同文本輸入，F(xiàn)FCLIP 只需要一個模型就能夠?qū)D片進行相應的編輯，無需針對每個文本重新訓練模型，并且在多個數(shù)據(jù)集上都取得了非常不錯的效果。本文已被 NeurIPS 2022 接收。

推薦：文本圖片編輯新范式，單個模型實現(xiàn)多文本引導圖像編輯。

論文 4：SELF-INSTRUCT: Aligning Language Model with Self Generated Instructions

• 作者：Yizhong Wang 等
• 論文地址：https://arxiv.org/pdf/2212.10560v1.pdf

摘要：華盛頓大學等機構(gòu)近期聯(lián)合發(fā)表了一篇論文，提出的新框架 SELF-INSTRUCT 通過引導模型自己的生成過程，提高了預訓練語言模型的指令遵循能力。SELF-INSTRUCT 是一種半自動化過程，使用來自模型本身的指令信號對預訓練的 LM 進行指令調(diào)整。

推薦：無需人工標注，自生成指令框架打破 ChatGPT 等 LLM 的成本瓶頸。

論文 5：Ab Initio Calculation of Real Solids via Neural Network Ansatz

• 作者：Xiang Li 等
• 論文地址：https://www.nature.com/articles/s41467-022-35627-1

摘要：機器學習能夠處理海量數(shù)據(jù)，解決復雜場景下的科學難題，帶領(lǐng)科學探索抵達過去無法觸及的新領(lǐng)域。比如 DeepMind 用人工智能軟件 AlphaFold 對科學界已知的幾乎所有蛋白質(zhì)結(jié)構(gòu)進行了高度準確的預測；Christian Lagemann 提出的基于深度學習的粒子圖像測速 (PIV) 方法一改原本的純手動設(shè)置參數(shù)，大大提升模型的應用范圍，對汽車、航空航天和生物醫(yī)學工程等多個領(lǐng)域的研究具有至關(guān)重要的意義。

最近，字節(jié)跳動 AI Lab Research 團隊和北京大學物理學院陳基課題組的工作《 Ab initio calculation of real solids via neural network ansatz》 給出了研究凝聚態(tài)物理的新思路，該工作提出了業(yè)內(nèi)首個適用于固體系統(tǒng)的神經(jīng)網(wǎng)絡(luò)波函數(shù)，實現(xiàn)了固體的第一性原理計算，并將計算結(jié)果推向了熱力學極限。其有力地證明了神經(jīng)網(wǎng)絡(luò)是研究固體物理的高效工具，也預示著深度學習技術(shù)將在凝聚態(tài)物理中發(fā)揮越來越重要的作用。相關(guān)研究成果于 2022 年 12 月 22 日發(fā)表于國際頂級刊物 Nature Communication 雜志上。

推薦：業(yè)界首個適用于固體系統(tǒng)的神經(jīng)網(wǎng)絡(luò)波函數(shù)，登上 Nature 子刊。

論文 6：Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers

• 作者：Damai Dai 等
• 論文地址：https://arxiv.org/pdf/2212.10559v2.pdf

摘要：In-Context Learning（ICL）在大型預訓練語言模型上取得了巨大的成功，但其工作機制仍然是一個懸而未決的問題。本文中，來自北大、清華、微軟的研究者將 ICL 理解為一種隱式微調(diào)，并提供了經(jīng)驗性證據(jù)來證明 ICL 和顯式微調(diào)在多個層面上表現(xiàn)相似。

推薦：被 GPT 帶飛的 In-Context Learning 為什么起作用？模型在秘密執(zhí)行梯度下降。

論文 7：Experimental Indications of Non-classical Brain Functions

• 作者：Christian Matthias Kerskens 等
• 論文地址：https://iopscience.iop.org/article/10.1088/2399-6528/ac94be

摘要：幾十年來，科學家們一直在探索人腦的計算和思考機制。但人腦的構(gòu)成太過復雜，包含幾百億個神經(jīng)元，相當于上萬億塊芯片，我們很難一探究竟。因?qū)诙吹难芯控暙I而獲得諾貝爾物理學獎的羅杰?彭羅斯曾大膽地提出「量子意識」觀點，即人腦本身就是量子結(jié)構(gòu)，或者說是量子計算機。但這一觀點一直備受質(zhì)疑。

近期都柏林圣三一大學的一項研究表明我們的大腦執(zhí)行的是量子計算，該研究認為人腦中存在與意識相關(guān)的大腦功能介導的糾纏。如果這些大腦功能必須以非經(jīng)典的方式運作，那么這意味著意識是非經(jīng)典的，即大腦的認知過程涉及量子計算。

推薦：大腦的思考是量子計算，這一猜測有了新證據(jù)。

ArXiv Weekly Radiostation

機器之心聯(lián)合由楚航、羅若天發(fā)起的ArXiv Weekly Radiostation，在 7 Papers 的基礎(chǔ)上，精選本周更多重要論文，包括NLP、CV、ML領(lǐng)域各 10 篇精選，并提供音頻形式的論文摘要簡介，詳情如下：

10 NLP Papers音頻：00:0020:18?

本周 10 篇 NLP 精選論文是：

1. Does unsupervised grammar induction need pixels?.  (from Serge Belongie, Kilian Q. Weinberger, Jitendra Malik, Trevor Darrell)

2. Understanding Stereotypes in Language Models: Towards Robust Measurement and Zero-Shot Debiasing.  (from Bernhard Sch?lkopf)

3. Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation.  (from Cordelia Schmid, Ivan Laptev)

4. Cross-modal Attention Congruence Regularization for Vision-Language Relation Alignment.  (from Ruslan Salakhutdinov, Louis-Philippe Morency)

5. Original or Translated? On the Use of Parallel Data for Translation Quality Estimation.  (from Dacheng Tao)

6. Toward Human-Like Evaluation for Natural Language Generation with Error Analysis.  (from Dacheng Tao)

7. Can Current Task-oriented Dialogue Models Automate Real-world Scenarios in the Wild?.  (from Kyunghyun Cho)

8. On the Blind Spots of Model-Based Evaluation Metrics for Text Generation.  (from Kyunghyun Cho)

9. Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval.  (from William W. Cohen)

10. The Impact of Symbolic Representations on In-context Learning for Few-shot Reasoning.  (from Li Erran Li, Eric Xing)

10 CV Papers音頻：00:0023:15?

本周 10 篇 CV 精選論文是：

1. Revisiting Residual Networks for Adversarial Robustness: An Architectural Perspective.  (from Kalyanmoy Deb)

2. Benchmarking Spatial Relationships in Text-to-Image Generation.  (from Eric Horvitz)

3. A Brief Survey on Person Recognition at a Distance.  (from Rama Chellappa)

4. MetaCLUE: Towards Comprehensive Visual Metaphors Research.  (from Leonidas Guibas, William T. Freeman)

5. Aliasing is a Driver of Adversarial Attacks.  (from Antonio Torralba)

6. Reversible Column Networks.  (from Xiangyu Zhang)

7. Hi-LASSIE: High-Fidelity Articulated Shape and Skeleton Discovery from Sparse Image Ensemble.  (from Ming-Hsuan Yang)

8. Learning Object-level Point Augmentor for Semi-supervised 3D Object Detection.  (from Ming-Hsuan Yang)

9. Unleashing the Power of Visual Prompting At the Pixel Level.  (from Alan Yuille)

10. From Images to Textual Prompts: Zero-shot VQA with Frozen Large Language Models.  (from Dacheng Tao, Steven C.H. Hoi)