【新智元導(dǎo)讀】一年一度的 ICML 2024 錄用結(jié)果出爐！今年投稿量再漲 3000+，達(dá)到 9653，審稿意見質(zhì)量太差，AC 還得重讀論文才能確定結(jié)論。
剛剛，國際機(jī)器學(xué)習(xí)大會 ICML 2024 最終錄用結(jié)果，公布了！
本次會議的投稿量初步統(tǒng)計為 9653 篇，而去年的投稿量只有 6538 篇。
第 42 屆 ICML 會議（每年一次）將于 7 月 21-27 日在奧地利維也納舉辦，中稿的小伙伴可以開始準(zhǔn)備了！
從歷年的統(tǒng)計中可以看到，ICML 的投稿量增長速度非常快，今年更是創(chuàng)下了歷史新高，提交量大漲 3000 多篇。
審稿質(zhì)量太差
作為會議的 AC，Peter Richtarik 表示他總共處理了 19 篇論文，接受論文的平均分為 4.25-6.33，被拒論文的平均分為 2.60-6.00。
他也指出了一個嚴(yán)峻的問題，就是審稿意見的質(zhì)量太差了，不管是正向還是負(fù)面的意見，有很多都是錯誤的，導(dǎo)致自己經(jīng)常很晚才能提交 meta-review，不得不親自讀一遍論文。
有網(wǎng)友分享經(jīng)歷，論文收到的評分為 7/3/3/4，被拒稿了，他只認(rèn)可其中一人的審稿意見，另外兩個人的表現(xiàn)完全就像是「本科生」。
他們給出的意見包括「不是預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，不能很好地泛化」、「只使用了小數(shù)據(jù)（論文明確說明用于小數(shù)據(jù)學(xué)習(xí)）」、「基于樹的方法無法擴(kuò)展」、「結(jié)果并不是所有使用的數(shù)據(jù)集上最好的，所以該方法沒用」、「有 2021 年之前的參考資料，太過時了」之類的逆天言論。
另一個被拒稿的評分為 6653，作者認(rèn)為其中 3 人明顯誤解了方法，并在 rebuttal 環(huán)節(jié)中道歉了，但只是將置信度分?jǐn)?shù)從 4 更改為 3，然后 AC 還是決定拒稿。
只能說，被拒稿倒是小事，審稿水平低才是大問題。
也有網(wǎng)友分享了他的勵志經(jīng)歷，被拒稿 4 次之后，當(dāng)時還以為自己毫無價值，現(xiàn)在終于中了博士生涯的第一篇論文，得償所愿了！
網(wǎng)友曬出成績單
大模型加速器
滑鐵盧大學(xué)矢量研究所、北京大學(xué)、微軟研究院的研究人員提出的「可提高語言模型效率的外推算法」EAGLE 被 ICML 2024 錄用。
EAGLE 是一種快速解碼大型語言模型 (LLMs) 的全新基線模型，通過實驗證明了模型性能幾乎不會損失，該方法將 LLMs 第二頂層的上下文特征向量進(jìn)行外推，從而顯著提高生成效率：
1、生成速度比標(biāo)準(zhǔn)解碼（13B）快 3 倍、比 Lookahead (13B) 快 2 倍、比 Medusa (13B) 快 1.6 倍
2、在生成文本的分布中，證明了其結(jié)果與普通解碼具有一致性；
3、1-2 天內(nèi)可訓(xùn)練完畢，在 8x RTX 3090 GPU 上進(jìn)行測試，即使 GPU 資源匱乏的人也能使用該算法加速；
4、可與其他并行技術(shù)相結(jié)合，例如 vLLM、DeepSpeed、Mamba、FlashAttention、量化和硬件優(yōu)化。
用大模型進(jìn)行結(jié)構(gòu)化學(xué)推理
伊利諾伊大學(xué)厄巴納-香檳分校、上海交大、紐約大學(xué)等機(jī)構(gòu)的研究人員發(fā)布的 StructChem，使用了一種簡單而有效的提示策略，就可以讓 LLMs 進(jìn)行復(fù)雜的化學(xué)推理。
研究人員發(fā)現(xiàn) LLM 通常擁有解決復(fù)雜化學(xué)挑戰(zhàn)所需的基本知識，但卻缺乏解鎖正確 / 相關(guān)知識和指導(dǎo)精確、逐步推理所需的結(jié)構(gòu)化推理。
文中總結(jié)了當(dāng)前最先進(jìn)的 LLM（例如 GPT-4）無法解決的四個主要錯誤。
新方法 StructChem 包括三個步驟，可以作為 LLM 的引導(dǎo)：
1、公式收集，要求 LLM 提供公式及其解釋作為基礎(chǔ)；
2、逐步推理，以 PoT 生成的公式為基礎(chǔ)，確保精確性；
3、基于置信度的審查和細(xì)化，進(jìn)一步檢查每個推理步驟的準(zhǔn)確性。
在 SciBench 上進(jìn)行的實驗結(jié)果顯示，StructChem 在 few-shot 和 zero-shot 設(shè)置的復(fù)雜化學(xué)難題中實現(xiàn)了 30% 的性能飛躍。
從 fMRI 重建圖像
值得一提的是，來自 Stability AI、醫(yī)學(xué) AI 研究中心（MEDARC）等機(jī)構(gòu)的研究人員升級了模型 MindEye2。
只需要 1 小時的數(shù)據(jù)，它便可以從 fMRI 大腦活動中重建和檢索圖像，甚至可以將 2D 圖像轉(zhuǎn)化為 3D 視頻，堪稱一項革命性的技術(shù)。
這篇論文同時被 ICML 和 ICLR 接收。
而在實際的應(yīng)用中，MindEye2 表現(xiàn)出了驚人的性能。比如，在圖像檢索任務(wù)中，其準(zhǔn)確率超過 90%，超越以往的方法。
另外，得益于使用預(yù)訓(xùn)練的生成模型，MindEye2 在圖像重建方面也取得了顯著的效果。
論文地址：https://arxiv.org/pdf/2403.11207
生成式機(jī)器人智能體
來自 CMU、清華大學(xué)交叉信息研究院、MIT 等機(jī)構(gòu)的研究人員提出的 RoboGen 論文被接受收。
這項研究提出的 RoboGen，是一種通過通過生成式模擬，自住學(xué)習(xí)多種機(jī)器人技能的生成機(jī)器人智能體。
最新方法利用了基礎(chǔ)模型和生成模型的最新進(jìn)展。
論文地址：https://arxiv.org/pdf/2311.01455
不是直接使用或調(diào)整這些模型來產(chǎn)生策略或低級別的行動，而是生成式方案，其用這些模型來自動生成多樣任務(wù)、場景和訓(xùn)練監(jiān)督，從而在最少的監(jiān)督下擴(kuò)大機(jī)器人技能學(xué)習(xí)。
博弈學(xué)習(xí)
論文解決了在單調(diào)博弈（monotone games）中學(xué)習(xí)納什均衡的問題，其中收益函數(shù)的梯度在策略配置文件空間中是單調(diào)的，可能包含加性噪聲。
論文鏈接：https://arxiv.org/pdf/2305.16610
研究人員首先建立一個統(tǒng)一的框架來學(xué)習(xí)單調(diào)游戲中的平衡，適應(yīng)完整和嘈雜的反饋；
然后在不考慮噪聲的情況下，構(gòu)建出趨向于近似平衡的收斂率。
最后通過更新彈弓策略（slingshot strategy）來引入一個轉(zhuǎn)折（twist），以有限的間隔錨定當(dāng)前策略，使得模型能夠確定具有保證率的基礎(chǔ)博弈的確切納什均衡。
文中所提出的框架非常全面，集成了現(xiàn)有的收益擾動算法，并且通過實驗證明了，基于該框架的算法可以顯著加速收斂。
圖高斯過程
來自倫敦大學(xué) AI 中心的研究人員，關(guān)于圖高斯過程的論文正式被 ICML 接受。
行業(yè)內(nèi)對開發(fā)圖機(jī)器學(xué)習(xí)模型以解決拓?fù)錃w納偏差產(chǎn)生了很大的興趣，特別是對此類結(jié)構(gòu)的高斯過程給予了高度關(guān)注，可以用來解釋不確定性，但圖僅限于對兩個頂點之間的關(guān)系進(jìn)行建模。
該論文不止使用二元任務(wù)設(shè)置，而是考慮多元關(guān)系，包括頂點、邊及單元（cells）之間的相互作用。
論文地址：https://arxiv.org/pdf/2311.01198
具體來說，研究人員提出了單元復(fù)合體（cellular complexes）的高斯過程，可以捕獲高階單元之間相互作用的圖的泛化。
論文的主要貢獻(xiàn)之一是對兩種全新內(nèi)核進(jìn)行推導(dǎo)，包括 Matérn 內(nèi)核和另一種混合了不同單元類型的信息的內(nèi)核。
除此以外，還有很多大佬紛紛曬出了自己的成績單。
開創(chuàng)性論文有幾篇？
與此同時，Reddit 網(wǎng)友在線發(fā)出靈魂拷問：
ICML、NeurIPS、CVPR 等頂會，究竟有多少篇論文是真正具有開創(chuàng)性的？
我自己也在頂會上發(fā)表過一些論文，但每當(dāng)我坐下來反思時，又覺得我的工作雖然不錯，但影響力并不大，就像砌墻時的一塊普通磚頭。我困惑的是，我們什么時候可以看到像「Attention is All You Need」這樣有重大影響力的突破性工作。
有網(wǎng)友表示，會議評審過程總是偏愛略有創(chuàng)新的論文。通常情況下，具有極大突破性的論文被接受的概率較低。
最典型的例子是，Ruslan Salakhutdinov 和 Geoffrey Hinton 合著的論文 —— 為 Netflix 競賽提出的方法，被 NIPS 2006 拒絕了。
當(dāng)時，其中一位審稿人非常嚴(yán)厲地評論道，「這是垃圾，我非常確信這真的是垃圾」。
沒想到，他們的論文最終被 ICML2007 接受，并且這個方法成為了最終冠軍團(tuán)隊算法中的一個重要組成部分。
論文地址：https://www.cs.toronto.edu/~amnih/papers/rbmcf.pdf
一位審稿人承認(rèn)道，也許我有某種偏見。
但作為一名評審，我經(jīng)?？吹竭@種情況。「略有創(chuàng)新」的東西很容易被接受，而更具突破性的想法往往至少有一個審稿人完全誤解了一切，或者本能地不喜歡這個想法。
這只是同行評審制度的自然結(jié)果 —— 略有創(chuàng)新的論文很容易被理解。
只要寫得好，有大量實驗，其被接受的幾率就很高。
攻擊一個已經(jīng)被社區(qū)廣泛接受的想法也是困難的。相反，一篇創(chuàng)新的論文需要審稿人付出更多的努力，而且很容易被誤解。
而真正具有開創(chuàng)性論文，在我們產(chǎn)出的大量「垃圾」論文中所占比例不到 1%。
可見，做出開創(chuàng)性成果是非常困難的，所以我們要更重視數(shù)量（任何結(jié)果，證明研究人員值得公共支出），而非質(zhì)量（好的結(jié)果）。而不相關(guān)的貢獻(xiàn)最終也會被歷史和時間所淘汰。
這確實是值得每個人思考的一個問題。
參考資料：
https://twitter.com/peter_richtarik/status/1783752833348534610
https://www.reddit.com/r/MachineLearning/comments/1cfm9ep/d_icml_2024_results/
https://www.reddit.com/r/MachineLearning/comments/1chfqca/d_icml_2024_decision_thread/
本文來自微信公眾號：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。