NeurIPS 2021 將于下周正式召開。
今天，大會委員會公布了 NeurIPS 2021 的杰出論文獎，時間測試獎，以及今年新設的數(shù)據(jù)集和測試基準最佳論文獎。
今年有六篇論文被選為杰出論文獎的獲得者。委員會之所以選擇這些論文，是因為它們具有出色的清晰度、洞察力、創(chuàng)造力和持久影響的潛力。
A Universal Law of Robustness via Isoperimetry
論文地址：
https://openreview.net/pdf?id=z71OSKqTFh7
這篇論文來自微軟以及斯坦福大學，關鍵字為對抗魯棒性、過參數(shù)化和 isoperimetry（等周圖形學）。
獲獎理由：
本文提出了一個理論模型，來解釋為什么許多 SOTA 深度網(wǎng)絡模型需要比平滑擬合訓練數(shù)據(jù)還需多得多的參數(shù)。
特別地，在訓練分布的某些規(guī)律性條件下，O (1)-Lipschitz 函數(shù)在標簽噪聲 scale 之下插入訓練數(shù)據(jù)所需的參數(shù)數(shù)量為 nd，其中 n 是訓練示例的數(shù)量，d 是數(shù)據(jù)的維度。
這一結果與傳統(tǒng)結果形成鮮明對比。傳統(tǒng)結果表明一個函數(shù)需要 n 個參數(shù)來插入訓練數(shù)據(jù)，而現(xiàn)在則發(fā)現(xiàn)，參數(shù) d 似乎是保證數(shù)據(jù)平滑插入所必需的。
該理論簡單而優(yōu)雅，和對 MNIST 分類具有魯棒泛化能力的模型規(guī)模的觀察結果也一致。
這項工作還為 ImageNet 分類開發(fā)穩(wěn)健模型所需的模型大小提供了可測試的預測。
On the Expressivity of Markov Reward
論文地址：
https://openreview.net/forum?id=9DlCh34E1bN
這篇論文來自 DeepMind、普林斯頓大學和布朗大學，研究方向為強化學習，通過檢查馬爾可夫獎勵函數(shù)可以表達什么樣的任務來研究有限環(huán)境中馬爾可夫獎勵函數(shù)的表達能力。
獲獎理由：
馬爾可夫獎勵函數(shù)是不確定性和強化學習下順序決策的主要框架。
本文詳細、清晰地闡述了馬爾可夫獎勵何時足以或不足以使系統(tǒng)設計者根據(jù)其對行為、特定行為的偏好，或對狀態(tài)和動作序列的偏好來指定任務。
作者通過簡單的說明性示例證明，存在一些無法指定馬爾可夫獎勵函數(shù)來引發(fā)所需任務和結果的任務。
幸運的是，他們還表明，可以在多項式時間內(nèi)確定所需設置是否存在兼容的馬爾可夫獎勵，如果存在，也存在多項式時間算法來在有限決策過程設置中構建這樣的馬爾可夫獎勵。
這項工作闡明了獎勵設計的挑戰(zhàn)，并可能開辟未來研究馬爾可夫框架何時以及如何足以實現(xiàn)人類所需性能的途徑。
Deep Reinforcement Learning at the Edge of the Statistical Precipice
論文地址：
https://openreview.net/forum?id=uqv8-U4lKBe
論文來自谷歌、蒙特利爾大學和麥吉爾大學，研究方向也是強化學習。
獲獎理由：
方法的嚴格比較可以加速有意義的科學進步。本文提出了提高深度強化學習算法比較嚴謹性的實用方法。
具體而言，新算法的評估應提供分層的引導程序置信區(qū)間、跨任務和運行的性能概況以及四分位數(shù)均值。
該論文強調，在許多任務和多次運行中報告深度強化學習結果的標準方法，可能使評估新算法和過去方法之間的一致性和提升變得困難，并通過實證示例說明了這一點。
所提出的性能比較方法旨在通過每個任務的少量運行進行計算，這對于許多計算資源有限的研究實驗室來說可能是必要的。
MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers
論文地址：
https://openreview.net/forum?id=Tqx7nJp7PR
論文作者來自華盛頓大學、艾倫研究所和斯坦福大學。
獲獎理由：
本文介紹了 MAUVE，這是一種比較模型生成文本分布與人類生成文本分布的散度度量。這個想法簡單而優(yōu)雅，它基本上使用了被比較的兩個文本的量化嵌入的（soft）KL 散度測量的連續(xù)族。
本出提議的 MAUVE 度量本質上是對連續(xù)度量系列的集成，目標是捕獲 I 類錯誤（生成不切實際的文本）和 II 類錯誤（不捕獲所有可能的人類文本）。
實驗表明，與之前的散度指標相比，MAUVE 可以識別模型生成文本的已知模式，并且與人類判斷的相關性更好。
這篇論文寫得很好，研究問題在開放式文本生成快速發(fā)展的背景下很重要，而且結果很明確。
Continuized Accelerations of Deterministic and Stochastic Gradient Descents, and of Gossip Algorithms
論文地址：
https://openreview.net/forum?id=bGfDnD7xo-v
本篇論文來自巴黎文理研究大學、洛桑聯(lián)邦理工學院、格勒諾布爾-阿爾卑斯大學、MSR-Inria 聯(lián)合中心。
獲獎理由：
本文描述了 Nesterov 加速梯度方法的“連續(xù)化”版本，其中兩個獨立的向量變量在連續(xù)時間內(nèi)共同演化 —— 很像以前使用微分方程來理解加速度的方法 —— 但使用梯度更新，隨機時間發(fā)生在泊松點過程。
這種新方法導致了一種（隨機化）離散時間方法：
(1) 與 Nesterov 方法具有相同的加速收斂性；
(2) 帶有利用連續(xù)時間參數(shù)的清晰透明的分析，這可以說比之前對加速梯度方法的分析更容易理解；
(3) 避免了連續(xù)時間過程離散化的額外錯誤，這與之前使用連續(xù)時間過程理解加速方法的幾次嘗試形成鮮明對比。
Moser Flow：Divergence-based Generative Modeling on Manifolds
論文地址：
https://openreview.net/forum?id=qGvMv3undNJ
本文作者來自魏茨曼科學研究學院、Facebook 和加州大學洛杉磯分校。
獲獎理由：
本文提出了一種在黎曼流形上訓練連續(xù)歸一化流 (CNF) 生成模型的方法。關鍵思想是利用 Moser (1965) 的結果，該結果使用具有幾何規(guī)律性條件的受限常微分方程（ODE）類來表征 CNF 的解，并使用散度明確定義目標密度函數(shù)。
本文提出的 Moser Flow 方法使用此解決方案概念，來開發(fā)基于參數(shù)化目標密度估計器的 CNF 方法。訓練相當于簡單地優(yōu)化密度估計器的散度，回避運行標準反向傳播訓練所需的 ODE 求解器。
實驗表明，與之前的 CNF 工作相比，它的訓練時間更快，測試性能更出色，并且能夠對具有非常數(shù)曲率的隱式曲面的密度進行建模。
時間檢驗獎
從去年開始，NeurIPS 時間檢驗獎（Test of Time Award）選擇了更廣的年限范圍。因此，今年大會委員會選擇 2010 年 2011 年論文。
在 16 篇引用量超過 500 的論文里，委員會選擇了這篇論文：
Online Learning for Latent Dirichlet Allocation
論文地址：
https://proceedings.neurips.cc/paper/2010/file/71f6278d140af599e06ad9bf1ba03cb0-Paper.pdf
作者來自普林斯頓大學和法國國家信息與自動化研究所。
第一作者 Matthew D. Hoffman 發(fā)表這篇論文時，曾經(jīng)在普林斯頓攻讀博士學位，現(xiàn)在他是谷歌一名高級研究科學家。
本文介紹了一種基于隨機變分梯度的推理過程，用于在非常大的文本語料庫上訓練潛在狄利克雷分配 (LDA) 模型。在理論方面，它表明訓練過程收斂到局部最優(yōu)，令人驚訝的是，簡單的隨機梯度更新對應于 ELBO 目標的隨機自然梯度。
在實證方面，作者首次表明 LDA 可以輕松地在數(shù)十萬個文檔的文本語料庫上進行訓練，使其成為解決“大數(shù)據(jù)”問題的實用技術。
這個想法在機器學習社區(qū)產(chǎn)生了很大的影響，因為它是更廣泛模型類別的一般隨機梯度變分推理過程的基礎。這篇論文之后，就沒有充分的理由再使用完整的批次訓練程序進行變分推理了。
數(shù)據(jù)集和基準測試最佳論文獎
今年 NeurIPS 推出了新的數(shù)據(jù)集和基準測試（Datasets & Benchmarks）賽道，表彰在數(shù)據(jù)領域的工作。
該領域的 2 篇最佳論文獎分別是：
Reduced, Reused and Recycled: The Life of a Dataset in Machine Learning Research
論文地址：
https://openreview.net/forum?id=zNQBIBKJRkd
這篇論文作者來自加州大學洛杉磯分校和谷歌。
本文分析了數(shù)千篇論文并研究了不同機器學習子社區(qū)中數(shù)據(jù)集使用的演變，以及數(shù)據(jù)集采用和創(chuàng)建之間的相互作用。
作者發(fā)現(xiàn)，在大多數(shù)社區(qū)中，隨著時間的推移，使用不同數(shù)據(jù)集的人更少了，而且人們使用的數(shù)據(jù)集基本都來自少數(shù)精英機構。
這種變化是有問題的，因為基準變得不那么具有普遍性，這些數(shù)據(jù)集來源中存在的偏見可能會被放大，并且研究界更難接受新的數(shù)據(jù)集。
這對整個機器學習社區(qū)來說是一個重要的“警鐘”，讓他們更加批判性地思考哪些數(shù)據(jù)集用于基準測試，并更加重視創(chuàng)建新的、更多樣化的數(shù)據(jù)集。
ATOM3D: Tasks on Molecules in Three Dimensions
論文地址：
https://openreview.net/forum?id=FkDZLpK1Ml2
這篇文章作者來自于斯坦福大學和芝加哥大學。
本文介紹了一組基準數(shù)據(jù)集，其中包含小分子和/或生物聚合物的 3D 表示，用于解決單分子結構預測和生物分子之間的相互作用，以及分子功能和設計與工程任務問題。
這篇文章將 3D 模型的實現(xiàn)與具有 1D 或 2D 表示的 SOTA 模型進行基準測試，并顯示出比低維對應物更好的性能。這項工作提供了有關如何為給定任務選擇和設計模型的重要見解。
這項工作不僅提供了基準數(shù)據(jù)集，還提供了基線模型和開源工具來利用這些數(shù)據(jù)集和模型，大大降低了機器學習人員進入計算生物學和分子設計的門檻。
廣告聲明：文內(nèi)含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。