最新中文語言理解領域權威榜單 CLUE，誕生了一項新的紀錄：
來自阿里達摩院的大模型，獲得了超越人類成績的 86.685 高分。
這是該榜單誕生近三年以來，首次有 AI 超過人類得分。
這也意味著 AI 理解中文的水平又達到了一個新的高度。
那么，創(chuàng)下這一紀錄的 AliceMind，是如何做到的？
4 項任務超人類水平，同時實現總榜平均分首次超越
作為業(yè)界最權威的中文自然語言理解榜單之一，CLUE 從文本分類、閱讀理解、自然語言推理等 9 項任務中全面考核 AI 模型的語言理解能力。
過去三年，該榜單吸引了眾多國內 NLP 團隊的參與，盡管榜首位置多次易主，但參評 AI 模型一直未能超越人類成績。
本次，這個來源于阿里通義大模型系列的 AliceMind，一舉在 4 項任務中超過了人類水平，并實現總分的首次超越。
據介紹，AliceMind 一共靠下面兩個關鍵技術獲得這一成績。
首先，基礎模型迭代升級
AliceMind 的基礎模型在通用語言預訓練模型 StructBERT1.0（入選 ICLR 2020）之上，進行了迭代升級。
此前 1.0 的工作聚焦于通過在句子級別和詞級別引入兩個新的目標函數，相當于給機器內置一個“語法識別器”。
這使機器在面對語序錯亂或不符合語法習慣的詞句時，仍能準確理解并給出正確的表達和回應，大大提高機器對詞語、句子以及語言整體的理解力。
本次，達摩院通過使用此前團隊用于 PLUG / 中文 GPT-3 等超大規(guī)模模型訓練所使用的海量高質量中文文本，以及近兩年訓練技術的經驗，進行了以下改進：
替換激活函數，用 GLU 替換 GeLU；
使用更大規(guī)模的字 / 詞混合的詞表，替換了原始的字級別詞表；
使用相對位置向量替代絕對位置向量；
選取 5 億規(guī)模的模型，在增加約 60% 模型參數和計算量的前提下，獲得性能顯著提升。
此外，阿里達摩院配合 AliceMind 在大規(guī)模預訓練領域訓練端和推理端的加速技術的積累，利用 StrongHold (SuperComputing 2022) 等技術實現了在 16 卡 A100 上用 14 天時間完成超過 500B tokens 的訓練。
其次，Finetune
預訓練模型是語義理解的重要基礎，但是如何將其應用于下游任務同樣也是一項重要的挑戰(zhàn)。
達摩院 NLP 團隊面對語義相似度、文本分類、閱讀理解等下游任務，從遷移學習、數據增強、特征增強等方面進行了一系列的探索，來提升下游任務的性能表現。
以 CLUE 榜單中的 WSC 任務為例：
{
“target”: {
“span2_index”: 25, “span1_index”: 14,
“span1_text”: “小橋”，“span2_text”: “它”
},
“idx”: 14,
“l(fā)abel”: “true”，
“text”: “村里現在最高壽的人，也不知這小橋是什么年間建造的。它年年搖搖欲墜，但年年都存在著?！?/p>
}
輸入樣本構建方式：
村里現在最高壽的人，也不知這 <名詞> 小橋 </名詞 > 是什么年間建造的。< 代詞 > 它 </代詞 > 年年搖搖欲墜，但年年都存在著。
在常規(guī)的分類方法中，一般使用 [CLS] 標簽的最后一層隱藏狀態(tài)作為輸入分類器的特征，要求模型通過標記隱式地學習指代任務。
為了加強分類器的輸入特征，阿里達摩院從編碼器最后一層隱藏狀態(tài)中提取出指代詞和名詞所對應的向量表示并進行 mean pooling。
隨后將名詞和代詞的向量表示進行拼接，并用分類器進行 0-1 分類。在加入增強輸入特征后，在 dev 集上，模型表現從 87.82 提升至 93.42 (+5.6)。
通過分析 structbert 的預訓練任務，我們也可以發(fā)現，這種特征構建的方式，更符合 structbert 預訓練任務的形式，縮短了 Pretrain 階段和 Fine-tune 階段的 gap，從而提高了模型表現。
關于 AliceMind
阿里達摩院歷經三年研發(fā)出阿里通義 AliceMind。
該模型體系涵蓋預訓練模型、多語言預訓練模型、超大中文預訓練模型等，具備閱讀理解、機器翻譯、對話問答、文檔處理等能力。
并先后登頂了 GLUE、CLUE、XTREME、VQA Challenge、DocVQA、MS MARCO 在內的自然語言處理領域的的六大權威榜單，斬獲 36 項冠軍。
AliceMind 已于去年 6 月開源。
本次在 CLUE benchmark 上首超人類中所使用的 backbone 模型，已經在達摩院此前發(fā)布的 ModelScope 平臺中開放。
開放地址：
https://modelscope.cn/models/damo/nlp_structbert2_fill-mask_chinese-large/summary
本文來自微信公眾號：量子位 （ID：QbitAI），作者：豐色
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。