【新智元導(dǎo)讀】一年一度的 ICML 2024 錄用結(jié)果出爐!今年投稿量再漲 3000+,達(dá)到 9653,審稿意見質(zhì)量太差,AC 還得重讀論文才能確定結(jié)論。
剛剛,國際機(jī)器學(xué)習(xí)大會 ICML 2024 最終錄用結(jié)果,公布了!
本次會議的投稿量初步統(tǒng)計為 9653 篇,而去年的投稿量只有 6538 篇。
第 42 屆 ICML 會議(每年一次)將于 7 月 21-27 日在奧地利維也納舉辦,中稿的小伙伴可以開始準(zhǔn)備了!
從歷年的統(tǒng)計中可以看到,ICML 的投稿量增長速度非常快,今年更是創(chuàng)下了歷史新高,提交量大漲 3000 多篇。
審稿質(zhì)量太差
作為會議的 AC,Peter Richtarik 表示他總共處理了 19 篇論文,接受論文的平均分為 4.25-6.33,被拒論文的平均分為 2.60-6.00。
他也指出了一個嚴(yán)峻的問題,就是審稿意見的質(zhì)量太差了,不管是正向還是負(fù)面的意見,有很多都是錯誤的,導(dǎo)致自己經(jīng)常很晚才能提交 meta-review,不得不親自讀一遍論文。
有網(wǎng)友分享經(jīng)歷,論文收到的評分為 7/3/3/4,被拒稿了,他只認(rèn)可其中一人的審稿意見,另外兩個人的表現(xiàn)完全就像是「本科生」。
他們給出的意見包括「不是預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò),不能很好地泛化」、「只使用了小數(shù)據(jù)(論文明確說明用于小數(shù)據(jù)學(xué)習(xí))」、「基于樹的方法無法擴(kuò)展」、「結(jié)果并不是所有使用的數(shù)據(jù)集上最好的,所以該方法沒用」、「有 2021 年之前的參考資料,太過時了」之類的逆天言論。
另一個被拒稿的評分為 6653,作者認(rèn)為其中 3 人明顯誤解了方法,并在 rebuttal 環(huán)節(jié)中道歉了,但只是將置信度分?jǐn)?shù)從 4 更改為 3,然后 AC 還是決定拒稿。
只能說,被拒稿倒是小事,審稿水平低才是大問題。
也有網(wǎng)友分享了他的勵志經(jīng)歷,被拒稿 4 次之后,當(dāng)時還以為自己毫無價值,現(xiàn)在終于中了博士生涯的第一篇論文,得償所愿了!
網(wǎng)友曬出成績單
大模型加速器
滑鐵盧大學(xué)矢量研究所、北京大學(xué)、微軟研究院的研究人員提出的「可提高語言模型效率的外推算法」EAGLE 被 ICML 2024 錄用。
EAGLE 是一種快速解碼大型語言模型 (LLMs) 的全新基線模型,通過實驗證明了模型性能幾乎不會損失,該方法將 LLMs 第二頂層的上下文特征向量進(jìn)行外推,從而顯著提高生成效率:
1、生成速度比標(biāo)準(zhǔn)解碼(13B)快 3 倍、比 Lookahead (13B) 快 2 倍、比 Medusa (13B) 快 1.6 倍
2、在生成文本的分布中,證明了其結(jié)果與普通解碼具有一致性;
3、1-2 天內(nèi)可訓(xùn)練完畢,在 8x RTX 3090 GPU 上進(jìn)行測試,即使 GPU 資源匱乏的人也能使用該算法加速;
4、可與其他并行技術(shù)相結(jié)合,例如 vLLM、DeepSpeed、Mamba、FlashAttention、量化和硬件優(yōu)化。
用大模型進(jìn)行結(jié)構(gòu)化學(xué)推理
伊利諾伊大學(xué)厄巴納-香檳分校、上海交大、紐約大學(xué)等機(jī)構(gòu)的研究人員發(fā)布的 StructChem,使用了一種簡單而有效的提示策略,就可以讓 LLMs 進(jìn)行復(fù)雜的化學(xué)推理。
研究人員發(fā)現(xiàn) LLM 通常擁有解決復(fù)雜化學(xué)挑戰(zhàn)所需的基本知識,但卻缺乏解鎖正確 / 相關(guān)知識和指導(dǎo)精確、逐步推理所需的結(jié)構(gòu)化推理。
文中總結(jié)了當(dāng)前最先進(jìn)的 LLM(例如 GPT-4)無法解決的四個主要錯誤。
新方法 StructChem 包括三個步驟,可以作為 LLM 的引導(dǎo):
1、公式收集,要求 LLM 提供公式及其解釋作為基礎(chǔ);
2、逐步推理,以 PoT 生成的公式為基礎(chǔ),確保精確性;
3、基于置信度的審查和細(xì)化,進(jìn)一步檢查每個推理步驟的準(zhǔn)確性。
在 SciBench 上進(jìn)行的實驗結(jié)果顯示,StructChem 在 few-shot 和 zero-shot 設(shè)置的復(fù)雜化學(xué)難題中實現(xiàn)了 30% 的性能飛躍。
從 fMRI 重建圖像
值得一提的是,來自 Stability AI、醫(yī)學(xué) AI 研究中心(MEDARC)等機(jī)構(gòu)的研究人員升級了模型 MindEye2。
只需要 1 小時的數(shù)據(jù),它便可以從 fMRI 大腦活動中重建和檢索圖像,甚至可以將 2D 圖像轉(zhuǎn)化為 3D 視頻,堪稱一項革命性的技術(shù)。
這篇論文同時被 ICML 和 ICLR 接收。
而在實際的應(yīng)用中,MindEye2 表現(xiàn)出了驚人的性能。比如,在圖像檢索任務(wù)中,其準(zhǔn)確率超過 90%,超越以往的方法。
另外,得益于使用預(yù)訓(xùn)練的生成模型,MindEye2 在圖像重建方面也取得了顯著的效果。
論文地址:https://arxiv.org/pdf/2403.11207
生成式機(jī)器人智能體
來自 CMU、清華大學(xué)交叉信息研究院、MIT 等機(jī)構(gòu)的研究人員提出的 RoboGen 論文被接受收。
這項研究提出的 RoboGen,是一種通過通過生成式模擬,自住學(xué)習(xí)多種機(jī)器人技能的生成機(jī)器人智能體。
最新方法利用了基礎(chǔ)模型和生成模型的最新進(jìn)展。
論文地址:https://arxiv.org/pdf/2311.01455
不是直接使用或調(diào)整這些模型來產(chǎn)生策略或低級別的行動,而是生成式方案,其用這些模型來自動生成多樣任務(wù)、場景和訓(xùn)練監(jiān)督,從而在最少的監(jiān)督下擴(kuò)大機(jī)器人技能學(xué)習(xí)。
博弈學(xué)習(xí)
論文解決了在單調(diào)博弈(monotone games)中學(xué)習(xí)納什均衡的問題,其中收益函數(shù)的梯度在策略配置文件空間中是單調(diào)的,可能包含加性噪聲。
論文鏈接:https://arxiv.org/pdf/2305.16610
研究人員首先建立一個統(tǒng)一的框架來學(xué)習(xí)單調(diào)游戲中的平衡,適應(yīng)完整和嘈雜的反饋;
然后在不考慮噪聲的情況下,構(gòu)建出趨向于近似平衡的收斂率。
最后通過更新彈弓策略(slingshot strategy)來引入一個轉(zhuǎn)折(twist),以有限的間隔錨定當(dāng)前策略,使得模型能夠確定具有保證率的基礎(chǔ)博弈的確切納什均衡。
文中所提出的框架非常全面,集成了現(xiàn)有的收益擾動算法,并且通過實驗證明了,基于該框架的算法可以顯著加速收斂。
圖高斯過程
來自倫敦大學(xué) AI 中心的研究人員,關(guān)于圖高斯過程的論文正式被 ICML 接受。
行業(yè)內(nèi)對開發(fā)圖機(jī)器學(xué)習(xí)模型以解決拓?fù)錃w納偏差產(chǎn)生了很大的興趣,特別是對此類結(jié)構(gòu)的高斯過程給予了高度關(guān)注,可以用來解釋不確定性,但圖僅限于對兩個頂點之間的關(guān)系進(jìn)行建模。
該論文不止使用二元任務(wù)設(shè)置,而是考慮多元關(guān)系,包括頂點、邊及單元(cells)之間的相互作用。
論文地址:https://arxiv.org/pdf/2311.01198
具體來說,研究人員提出了單元復(fù)合體(cellular complexes)的高斯過程,可以捕獲高階單元之間相互作用的圖的泛化。
論文的主要貢獻(xiàn)之一是對兩種全新內(nèi)核進(jìn)行推導(dǎo),包括 Matérn 內(nèi)核和另一種混合了不同單元類型的信息的內(nèi)核。
除此以外,還有很多大佬紛紛曬出了自己的成績單。
開創(chuàng)性論文有幾篇?
與此同時,Reddit 網(wǎng)友在線發(fā)出靈魂拷問:
ICML、NeurIPS、CVPR 等頂會,究竟有多少篇論文是真正具有開創(chuàng)性的?
我自己也在頂會上發(fā)表過一些論文,但每當(dāng)我坐下來反思時,又覺得我的工作雖然不錯,但影響力并不大,就像砌墻時的一塊普通磚頭。我困惑的是,我們什么時候可以看到像「Attention is All You Need」這樣有重大影響力的突破性工作。
有網(wǎng)友表示,會議評審過程總是偏愛略有創(chuàng)新的論文。通常情況下,具有極大突破性的論文被接受的概率較低。
最典型的例子是,Ruslan Salakhutdinov 和 Geoffrey Hinton 合著的論文 —— 為 Netflix 競賽提出的方法,被 NIPS 2006 拒絕了。
當(dāng)時,其中一位審稿人非常嚴(yán)厲地評論道,「這是垃圾,我非常確信這真的是垃圾」。
沒想到,他們的論文最終被 ICML2007 接受,并且這個方法成為了最終冠軍團(tuán)隊算法中的一個重要組成部分。
論文地址:https://www.cs.toronto.edu/~amnih/papers/rbmcf.pdf
一位審稿人承認(rèn)道,也許我有某種偏見。
但作為一名評審,我經(jīng)??吹竭@種情況。「略有創(chuàng)新」的東西很容易被接受,而更具突破性的想法往往至少有一個審稿人完全誤解了一切,或者本能地不喜歡這個想法。
這只是同行評審制度的自然結(jié)果 —— 略有創(chuàng)新的論文很容易被理解。
只要寫得好,有大量實驗,其被接受的幾率就很高。
攻擊一個已經(jīng)被社區(qū)廣泛接受的想法也是困難的。相反,一篇創(chuàng)新的論文需要審稿人付出更多的努力,而且很容易被誤解。
而真正具有開創(chuàng)性論文,在我們產(chǎn)出的大量「垃圾」論文中所占比例不到 1%。
可見,做出開創(chuàng)性成果是非常困難的,所以我們要更重視數(shù)量(任何結(jié)果,證明研究人員值得公共支出),而非質(zhì)量(好的結(jié)果)。而不相關(guān)的貢獻(xiàn)最終也會被歷史和時間所淘汰。
這確實是值得每個人思考的一個問題。
參考資料:
https://twitter.com/peter_richtarik/status/1783752833348534610
https://www.reddit.com/r/MachineLearning/comments/1cfm9ep/d_icml_2024_results/
https://www.reddit.com/r/MachineLearning/comments/1chfqca/d_icml_2024_decision_thread/
本文來自微信公眾號:新智元 (ID:AI_era)
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。