一年一度 NLP （自然語(yǔ)言處理）頂會(huì) ACL （國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)）揭曉了最終獲獎(jiǎng)?wù)撐?。今年，共?7 篇論文榮獲最佳論文，時(shí)間檢驗(yàn)獎(jiǎng)?lì)C給斯坦福 GloVe、康奈爾大學(xué)相似性度量。另外，還有最佳主題獎(jiǎng)、最佳社會(huì)影響力獎(jiǎng)、最佳資源獎(jiǎng)、領(lǐng)域主席獎(jiǎng)，以及杰出論文獎(jiǎng)。
ACL 2024 終于頒獎(jiǎng)了！
共有 7 篇最佳論文，35 篇杰出論文，還有時(shí)間檢驗(yàn)獎(jiǎng)、SAC 獎(jiǎng)、最佳主題論文、最佳資源論文獎(jiǎng)等一并公布。
值得一提的是，7 篇最佳論文中，Deciphering Oracle Bone Language with Diffusion Models 由全華人團(tuán)隊(duì)完成。
今年的國(guó)際計(jì)算語(yǔ)言學(xué)年會(huì)（ACL）第 26 屆會(huì)議，于 8 月 11-16 日在泰國(guó)曼谷開(kāi)幕。
ACL 2024 的論文總提交量與 2023 年相差無(wú)幾，大致為 5000 篇，其中 940 篇論文被接收。
本屆 ACL 堪稱有史以來(lái)，最大的一次，共有 72 名 SAC、716 名 AC、4208 位審稿人。
975 篇 findings 論文，6 篇 JCL、31 篇 TACL，還有 3 個(gè)主題演講，1 個(gè) panel。
整場(chǎng)會(huì)議還包含了 18 個(gè) workshop、6 個(gè) tutorial、38 個(gè) demo，60 篇 SRW 論文。
論文作者具體提交論文情況如下：
大多數(shù)人提交了 1 篇 / 2 篇論文：有 10333 名學(xué)者提交了 1 篇，2130 人提交了 2 篇
少部分人提交了多篇論文：有 3 位作者提交了 18 篇，6 人提交了 19 篇，18 人提交了超 20 篇。
一起看看，今年都有哪些團(tuán)隊(duì)榮獲大獎(jiǎng)？
7 篇最佳論文
論文 1：Deciphering Oracle Bone Language with Diffusion Models
作者：Haisu Guan, Huanxin Yang, Xinyu Wang, Shengwei Han, Yongge Liu, Lianwen Jin, Xiang Bai, Yuliang Liu
機(jī)構(gòu)：華中科技大學(xué)、阿德萊德大學(xué)、安陽(yáng)師范學(xué)院、華南理工大學(xué)
論文地址：https://arxiv.org/pdf/2406.00684
如題所示，華人團(tuán)隊(duì)用 AI 做了一件非常有趣且有價(jià)值的事 —— 借助擴(kuò)散模型破譯甲骨文（OBS）。
甲骨文起源于大約 3000 年前的中國(guó)商朝，是語(yǔ)言史上的一塊基石。
盡管人們已經(jīng)發(fā)現(xiàn)了數(shù)以千計(jì)的碑文，但甲骨文的大量?jī)?nèi)容仍未被破譯，為這一古老的語(yǔ)言蒙上了一層神秘的面紗。
論文中，作者介紹了一種采用圖像生成 AI 的新方法，特別是研發(fā)出「Oracle Bone Script Decipher」（OBSD）。
利用基于條件擴(kuò)散的策略，OBSD 生成了重要的破譯線索，為 AI 輔助分析古代語(yǔ)言開(kāi)辟了一條新路。
為了驗(yàn)證其有效性，研究人員在甲骨文數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)，量化結(jié)果證明了 OBSD 的有效性。
論文 2：Natural Language Satisfiability: Exploring the Problem Distribution and Evaluating Transformer-based Language Models
（暫未提交預(yù)印本）
論文 3：Causal Estimation of Memorisation Profiles
作者：Pietro Lesci, Clara Meister, Thomas Hofmann, Andreas Vlachos, Tiago Pimentel
機(jī)構(gòu)：劍橋大學(xué)、蘇黎世聯(lián)邦理工學(xué)院
論文地址：https://arxiv.org/pdf/2406.04327
理解 LLM 的記憶，對(duì)實(shí)踐和社會(huì)有著重要的影響，比如研究模型訓(xùn)練動(dòng)態(tài)或防止版權(quán)侵權(quán)。
先前的研究，將記憶定義為通過(guò)實(shí)例訓(xùn)練，對(duì)模型預(yù)測(cè)該實(shí)例的能力，產(chǎn)生的因果響應(yīng)。
這個(gè)定義依賴于一個(gè)反事實(shí)：能夠觀察到模型沒(méi)有看到該實(shí)例時(shí)會(huì)發(fā)生什么。
然而，現(xiàn)有的方法通常針對(duì)模型架構(gòu)，而非特定模型實(shí)例估算記憶，很難提供計(jì)算效率高，且準(zhǔn)確的反事實(shí)估計(jì)。
這項(xiàng)研究填補(bǔ)了一個(gè)重要空白，作者基于計(jì)量經(jīng)濟(jì)學(xué)中的差分設(shè)計(jì)，提出了一種原則性且高效的新方法來(lái)估計(jì)記憶化。
利用這種方法，只需在整個(gè)訓(xùn)練過(guò)程中，觀察一小部分實(shí)例的行為，就能描述出模型的記憶概況，即模型在整個(gè)訓(xùn)練過(guò)程中的記憶趨勢(shì)。
在 Pythia 模型套件的實(shí)驗(yàn)中，研究人員發(fā)現(xiàn)：
（1）大型模型的記憶性更強(qiáng)、更持久；
（2）由數(shù)據(jù)順序和學(xué)習(xí)率決定；
（3）在不同規(guī)模的模型中具有穩(wěn)定的趨勢(shì)，因此大型模型的記憶與小型模型的記憶具有可預(yù)測(cè)性。
論文 4：Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model
作者：Ahmet üstün, Viraat Aryabumi, Zheng-Xin Yong, Wei-Yin Ko, Daniel D'souza, Gbemileke Onilude, Neel Bhandari, Shivalika Singh, Hui-Lee Ooi, Amr Kayid, Freddie Vargus, Phil Blunsom, Shayne Longpre, Niklas Muennighoff, Marzieh Fadaee, Julia Kreutzer, Sara Hooker
機(jī)構(gòu)：Cohere For AI、布朗大學(xué)、Cohere、Cohere For AI Community、卡內(nèi)基梅隆大學(xué)、麻省理工學(xué)院
論文地址：https://arxiv.org/pdf/2402.07827
今年 2 月，初創(chuàng)公司 Cohere 發(fā)布了一款名為 Aya 全新開(kāi)源的大規(guī)模語(yǔ)言生成式大模型，覆蓋了超 101 種語(yǔ)言。
值得一提的是，Aya 模型語(yǔ)言模型覆蓋范圍，是現(xiàn)有開(kāi)源模型兩倍多，超越了 mT0 和 BLOOMZ。
人類評(píng)估得分達(dá)到 75%，在各項(xiàng)模擬勝率測(cè)試中得分為 80-90%。
這一項(xiàng)目得以啟動(dòng)，匯集了來(lái)自 119 個(gè)國(guó)家的超 3000 名獨(dú)立研究人員的力量。
此外，研究人員還公開(kāi)了迄今為止最大的多語(yǔ)言指導(dǎo)微調(diào)數(shù)據(jù)集，包含 513 百萬(wàn)條數(shù)據(jù)，涵蓋 114 種語(yǔ)言。
論文 5：Mission: Impossible Language Models
作者：Julie Kallini, Isabel Papadimitriou, Richard Futrell, Kyle Mahowald, Christopher Potts
機(jī)構(gòu)：斯坦福大學(xué)、加州大學(xué)爾灣分校、得克薩斯大學(xué)奧斯汀分校
論文地址：https://arxiv.org/pdf/2401.06416
喬姆斯基等人曾直言道，LLM 在學(xué)習(xí)人類可能和不可能學(xué)習(xí)的語(yǔ)言方面具有同等能力。
然而，很少有公開(kāi)發(fā)表的實(shí)驗(yàn)證據(jù)，支撐這種說(shuō)法。
為此，研究人員開(kāi)發(fā)了一組復(fù)雜程度不同的合成「不可能語(yǔ)言」，每種語(yǔ)言都是通過(guò)系統(tǒng)地改變英語(yǔ)數(shù)據(jù)，并用非自然詞序和語(yǔ)法規(guī)則設(shè)計(jì)而成。
這些語(yǔ)言處在不可能語(yǔ)言的連續(xù)體上：一端是完全不可能語(yǔ)言，比如隨機(jī)重排的英語(yǔ)；另一端是在語(yǔ)言學(xué)上被認(rèn)為是不可能語(yǔ)言，比如基于詞位置計(jì)數(shù)規(guī)則。
經(jīng)過(guò)一系列評(píng)估，GPT-2 在學(xué)習(xí)不可能語(yǔ)言方面，非常吃力，這對(duì)核心觀點(diǎn)提出了挑戰(zhàn)。
更為重要的是，研究者希望這種方法能夠引發(fā)，更多關(guān)于 LLM 在學(xué)習(xí)不同類型語(yǔ)言方面能力的研究，以便更好地理解 LLM 在認(rèn)知和語(yǔ)言類型學(xué)研究中的潛在應(yīng)用。
論文 6：Semisupervised Neural Proto-Language Reconstruction
作者：Liang Lu, Peirong Xie, David R. Mortensen
機(jī)構(gòu)：卡內(nèi)基梅隆大學(xué)、南加州大學(xué)
論文地址：https://arxiv.org/pdf/2406.05930
現(xiàn)有的原生語(yǔ)言比較重建工作，通常需要全程監(jiān)督。
然而，歷史重建模型只有在使用有限的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，才具有實(shí)用價(jià)值。
對(duì)此，研究人員提出了一種半監(jiān)督歷史重建任務(wù)。
在這種任務(wù)中，模型只需在少量標(biāo)注數(shù)據(jù)（有原形的同源集）和大量無(wú)標(biāo)注數(shù)據(jù)（無(wú)原形的同源集）的基礎(chǔ)上進(jìn)行訓(xùn)練。
作者研發(fā)出一種用于比較重建的神經(jīng)架構(gòu) ——DPD-BiReconstructor，其中包含了語(yǔ)言學(xué)家比較方法中的一個(gè)重要觀點(diǎn)：重建詞不僅可以從其子詞中重建出來(lái)，還可以確定性地轉(zhuǎn)換回其子詞中。
研究表明，這種架構(gòu)能夠利用未標(biāo)記的同源詞集，在這項(xiàng)新任務(wù)中的表現(xiàn)優(yōu)于現(xiàn)有的半監(jiān)督學(xué)習(xí)基線。
論文 7：Why are Sensitive Functions Hard for Transformers?
作者：Michael Hahn, Mark Rofin
機(jī)構(gòu)：薩爾大學(xué)
論文地址：https://arxiv.org/pdf/2402.09963
實(shí)證研究已經(jīng)發(fā)現(xiàn)了 Transformer 模型一系列可學(xué)習(xí)性偏差和局限性，比如在學(xué)習(xí)計(jì)算簡(jiǎn)單形式語(yǔ)言（如 PARITY）時(shí)始終存在困難，而且傾向與低階函數(shù)。
然而，理論上的理解仍然有限，現(xiàn)有的表達(dá)能力理論要么過(guò)度預(yù)測(cè)，要么低估了實(shí)際的學(xué)習(xí)能力。
研究人員證明，在 Transformer 架構(gòu)下，損失景觀（loss landscape）受到輸入空間敏感性的約束：
那些輸出對(duì)輸入字符串的多個(gè)部分敏感的 Transformer 模型，在參數(shù)空間中占據(jù)孤立點(diǎn)，導(dǎo)致在泛化中出現(xiàn)低敏感度偏差。
研究從理論和實(shí)證角度證明，最新理論統(tǒng)一了關(guān)于 Transformer 學(xué)習(xí)能力和偏差的慣犯經(jīng)驗(yàn)觀察，比如它們?cè)陲堖€中，對(duì)地敏感度和低階函數(shù)的偏好，以及在奇偶性問(wèn)題上難以進(jìn)行長(zhǎng)度泛化。
這表明，理解 transformer 的歸納偏差不僅需要研究其原則上的表達(dá)能力，還需要研究其損失景觀。
2 篇時(shí)間檢驗(yàn)獎(jiǎng)
論文 1：GloVe：Global Vectors for Word Representation（2014）
作者：Jeffrey Pennington, Richard Socher, Christopher Manning
機(jī)構(gòu)：斯坦福大學(xué)
論文地址：https://nlp.stanford.edu/pubs/glove.pdf
詞嵌入（word embedding）是 2013 年至 2018 年間 NLP 深度學(xué)習(xí)方法的基石，并且繼續(xù)產(chǎn)生重大影響。它們不僅提高了 NLP 任務(wù)的性能，還在計(jì)算語(yǔ)義方面具有顯著影響，如詞相似性和類推。
最具影響力的兩種詞嵌入方法可能是 skip-gram / CBOW 和 GloVe。與 skip-gram 相比，GloVe 提出得更晚，其相對(duì)優(yōu)勢(shì)在于其概念上的簡(jiǎn)單性 —— 直接基于單詞的分布特征優(yōu)化它們?cè)谙蛄靠臻g中的相似性，而不是從簡(jiǎn)化語(yǔ)言建模的角度，將其作為一組參數(shù)進(jìn)行間接優(yōu)化。
論文 2：Measures of Distibutional Similarity（1999）
作者：Lillian Lee
機(jī)構(gòu)：康奈爾大學(xué)
論文地址：https://aclanthology.org/P99-1004.pdf
研究分布相似性度量，目的是改進(jìn)對(duì)未見(jiàn)的共現(xiàn)（concurrence）事件的概率估計(jì)，相當(dāng)于另一種方式表征單詞間的相似性。
論文的貢獻(xiàn)有三方面：對(duì)各種度量方式的廣泛實(shí)證比較；基于相似度函數(shù)所包含的信息進(jìn)行分類；引入了一種新函數(shù)，在評(píng)估潛在代理分布方面表現(xiàn)出色。
1 篇最佳主題論文
論文：OLMo: Accelerating the Science of Language Models
作者：Dirk Groeneveld, Iz Beltagy, Pete Walsh, Akshita Bhagia, Rodney Kinney, Oyvind Tafjord, Ananya Harsh Jha, Hamish Ivison, Ian Magnusson, Yizhong Wang, Shane Arora, David Atkinson, Russell Authur, Khyathi Raghavi Chandu, Arman Cohan, Jennifer Dumas, Yanai Elazar, Yuling Gu, Jack Hessel, Tushar Khot, William Merrill, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Valentina Pyatkin, Abhilasha Ravichander, Dustin Schwenk, Saurabh Shah, Will Smith, Emma Strubell, Nishant Subramani, Mitchell Wortsman, Pradeep Dasigi, Nathan Lambert, Kyle Richardson, Luke Zettlemoyer, Jesse Dodge, Kyle Lo, Luca Soldaini, Noah A. Smith, Hannaneh Hajishirzi
機(jī)構(gòu)：艾倫人工智能研究所、華盛頓大學(xué)、耶魯大學(xué)、紐約大學(xué)、卡內(nèi)基梅隆大學(xué)
論文地址：https://arxiv.org/abs/2402.00838
這項(xiàng)工作是提高大語(yǔ)言模型訓(xùn)練透明性和可重復(fù)性的重大進(jìn)展，這是社區(qū)為了取得進(jìn)展（或者至少是為了讓除了行業(yè)巨頭之外的其他貢獻(xiàn)者也能為進(jìn)展做出貢獻(xiàn)）而迫切需要的。
3 篇最佳社會(huì)影響力獎(jiǎng)
論文 1：How Johnny Can Persuade LLMs to Jailbreak Them: Rethinking Persuasion to Challenge AI Safety by Humanizing LLMs
作者：Yi Zeng, Hongpeng Lin, Jingwen Zhang, Diyi Yang, Ruoxi Jia, Weiyan Shi
機(jī)構(gòu)：弗吉尼亞理工大學(xué)、中國(guó)人民大學(xué)、加州大學(xué)戴維斯分校、斯坦福大學(xué)
論文地址：https://arxiv.org/abs/2401.06373
這篇論文探討了繞過(guò)限制這一人工智能安全主題。它研究了一種在社會(huì)科學(xué)研究領(lǐng)域開(kāi)發(fā)的方法。該研究極具吸引力，并有可能對(duì)社區(qū)產(chǎn)生重大影響。
論文 2：DIALECTBENCH: An NLP Benchmark for Dialects, Varieties, and Closely-Related Languages
作者：Fahim Faisal, Orevaoghene Ahia, Aarohi Srivastava, Kabir Ahuja, David Chiang, Yulia Tsvetkov, Antonios Anastasopoulos
機(jī)構(gòu)：?jiǎn)讨蚊飞髮W(xué)、華盛頓大學(xué)、圣母大學(xué)、RC Athena
論文地址：https://arxiv.org/abs/2403.11009
方言變異是自然語(yǔ)言處理和人工智能中一個(gè)研究不足的現(xiàn)象。然而，對(duì)它的研究具有極高的價(jià)值，不僅在語(yǔ)言學(xué)和社會(huì)角度上，而且對(duì)應(yīng)用也有重要影響。這篇論文提出了一個(gè)創(chuàng)新的基準(zhǔn)，用于在大語(yǔ)言模型時(shí)代研究這一問(wèn)題。
論文 3：Having Beer after Prayer? Measuring Cultural Bias in Large Language Models
作者：Tarek Naous, Michael J. Ryan, Alan Ritter, Wei Xu
機(jī)構(gòu)：佐治亞理工學(xué)院
論文地址：https://arxiv.org/abs/2305.14456
這篇論文揭示了大語(yǔ)言模型時(shí)代的一個(gè)重要問(wèn)題：文化偏見(jiàn)。雖然研究的背景是阿拉伯文化和語(yǔ)言，但結(jié)果表明，在設(shè)計(jì)大語(yǔ)言模型時(shí)，我們需要考慮文化的細(xì)微差別。因此，可以對(duì)其他文化進(jìn)行類似研究，以推廣并評(píng)估其他文化是否也受到這一問(wèn)題的影響。
3 篇最佳資源論文
論文 1：Latxa: An Open Language Model and Evaluation Suite for Basque
作者：Julen Etxaniz, Oscar Sainz, Naiara Perez, Itziar Aldabe, German Rigau, Eneko Agirre, Aitor Ormazabal, Mikel Artetxe, Aitor Soroa
機(jī)構(gòu)：巴斯克大學(xué)
論文地址：https://arxiv.org/abs/2403.20266
這篇論文詳細(xì)地描述了語(yǔ)料庫(kù)收集和評(píng)估數(shù)據(jù)集的所有細(xì)節(jié)。盡管他們研究的是巴斯克語(yǔ)言，但這種方法可以擴(kuò)展用于構(gòu)建低資源語(yǔ)言的大語(yǔ)言模型。
論文 2：Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research
作者：Luca Soldaini, Rodney Kinney, Akshita Bhagia, Dustin Schwenk, David Atkinson, Russell Authur, Ben Bogin, Khyathi Chandu, Jennifer Dumas, Yanai Elazar, Valentin Hofmann, Ananya Harsh Jha, Sachin Kumar, Li Lucy, Xinxi Lyu, Nathan Lambert, Ian Magnusson, Jacob Morrison, Niklas Muennighoff, Aakanksha Naik, Crystal Nam, Matthew E. Peters, Abhilasha Ravichander, Kyle Richardson, Zejiang Shen, Emma Strubell, Nishant Subramani, Oyvind Tafjord, Pete Walsh, Luke Zettlemoyer, Noah A. Smith, Hannaneh Hajishirzi, Iz Beltagy, Dirk Groeneveld, Jesse Dodge, Kyle Lo
機(jī)構(gòu)：艾倫人工智能研究所，加州大學(xué)伯克利分校，卡內(nèi)基梅隆大學(xué)、Spiffy AI、麻省理工學(xué)院、華盛頓大學(xué)
論文地址：https://arxiv.org/abs/2402.00159
這篇論文闡述了在為大語(yǔ)言模型準(zhǔn)備數(shù)據(jù)集時(shí)，數(shù)據(jù)策展的重要性。它提供了有價(jià)值的見(jiàn)解，可以惠及社區(qū)內(nèi)的廣泛受眾。
論文 3：AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents
作者：Harsh Trivedi, Tushar Khot, Mareike Hartmann, Ruskin Manku, Vinty Dong, Edward Li, Shashank Gupta, Ashish Sabharwal, Niranjan Balasubramanian
機(jī)構(gòu)：紐約州立大學(xué)石溪分校、艾倫人工智能研究所、薩爾大學(xué)
論文地址：https://arxiv.org/abs/2407.18901
這是一個(gè)非常令人印象深刻且重要的嘗試 —— 構(gòu)建一個(gè)用于人機(jī)交互的模擬器和評(píng)估環(huán)境。這將鼓勵(lì)為社區(qū)制作具有挑戰(zhàn)性的動(dòng)態(tài)基準(zhǔn)。
21 篇領(lǐng)域主席獎(jiǎng)
35 篇杰出論文
（此圖不完整）
參考資料：
https://x.com/aclmeeting/status/1823664612677705762
本文來(lái)自微信公眾號(hào)：微信公眾號(hào)（ID：null），作者：新智元
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。