設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

頂會(huì)卷到中學(xué):人大附中吳悠上榜 NeurIPS,入選高中賽道 Spotlight

量子位 2024/9/29 12:45:39 責(zé)編:汪淼

NeurIPS 2024 放榜,人大附中有高中生一作入選。

今年,NeurIPS 率先把 AI 頂會(huì)卷到了高中里,正式面向高中生征集論文,還為此專門設(shè)置了高中生賽道(High School Projects Track)。

現(xiàn)在結(jié)果終于出爐,北京大學(xué)計(jì)算機(jī)學(xué)院的張銘教授分享了一則入圍消息:

人大附中吳悠,有一篇一作論文入選該賽道,還被選為了 Spotlight Project。

論文題為《Vision-Braille:An End-to-End Tool for Chinese Braille Image-to-Text Translation》,提出了一種中文盲文圖像到文本的端到端翻譯工具。

據(jù)張銘教授介紹,吳悠在 2022 年高一加入她的課題組時(shí),就提出了這個(gè)項(xiàng)目的想法。

端到端中文盲文圖像到文本翻譯工具

具體來說,該項(xiàng)目基于谷歌的 mT5 模型,采用 Curriculum Learning(課程學(xué)習(xí))方法微調(diào)出了一個(gè)盲文翻譯模型。

其中的難點(diǎn)主要包括幾個(gè)方面:

  • 缺少數(shù)據(jù)集:中文盲文翻譯數(shù)據(jù)集非常稀缺,數(shù)據(jù)的采集也比較困難,需要耗費(fèi)大量人力。

  • 盲文數(shù)據(jù)的特殊性:盲文通過最多三個(gè)單元格來表示每個(gè)漢字的發(fā)音,即聲母、韻母和音調(diào)。但在實(shí)際使用中,盲文使用者通常會(huì)省略大部分聲調(diào)符號(hào),這給盲文翻譯帶來了挑戰(zhàn)。

  • 同音字混淆:中文中存在大量同音字,并且由于聲調(diào)符號(hào)經(jīng)常被省略,同音字的區(qū)分變得更加困難。

為此,論文作者們首先構(gòu)建了一組中文-盲文數(shù)據(jù)集,包括 Chinese-Braille-Full-Tone、Chinese-Braille-No-Tone 和 Chinese-Braille-10per-Tone。

作者從萊比錫數(shù)據(jù)集中收集了 100 萬個(gè)不同的中文句子,使用中文盲文在線平臺(tái)提供的工具,將收集到的中文句子轉(zhuǎn)換為“全音”盲文。

而后,為了模擬真實(shí)世界中盲文使用者省略聲調(diào)的情況,作者識(shí)別出這些盲文中代表聲調(diào)的部分,并隨機(jī)去除了其中 90% 的聲調(diào),創(chuàng)建 Chinese-Braille-10per-Tone 以反映現(xiàn)實(shí)世界中中文盲文的使用情況。

數(shù)據(jù)按照 8:1:1 的比例被劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

訓(xùn)練方法方面,作者使用 RetinaNet 來執(zhí)行盲文 OCR 任務(wù),將盲文圖像轉(zhuǎn)換為數(shù)字盲文字符。

接著,采用課程學(xué)習(xí)策略 —— 即從簡(jiǎn)單到復(fù)雜地安排訓(xùn)練任務(wù),分三個(gè)階段微調(diào)了多語言 Transformer 模型 mT5:

  • 第一階段:使用 Chinese-Braille-Full-Tone 數(shù)據(jù)集作為訓(xùn)練的簡(jiǎn)單部分,讓模型學(xué)習(xí)基本的翻譯規(guī)則。這個(gè)數(shù)據(jù)集中的盲文包含完整的聲調(diào)信息。

  • 第二階段:使用 Chinese-Braille-No-Tone 數(shù)據(jù)集,讓模型在沒有聲調(diào)信息的情況下,學(xué)會(huì)根據(jù)上下文猜測(cè)正確的中文字符。

  • 第三階段:使用 Chinese-Braille-10per-Tone 數(shù)據(jù)集,讓模型更好地適應(yīng)實(shí)際應(yīng)用場(chǎng)景。

實(shí)驗(yàn)結(jié)果顯示,在驗(yàn)證集和測(cè)試集上,該模型的 BLEU 得分分別達(dá)到了 62.4 和 62.3,顯著提高了盲文翻譯的準(zhǔn)確度。

論文作者已經(jīng)放出了項(xiàng)目 Demo,效果是醬嬸的,感興趣的小伙伴們可以戳文末鏈接自行測(cè)試:

(正確答案:不過,對(duì)于自己外向的性格,埃托奧說,“這就是真實(shí)的我,我不會(huì)為此改變”。)

該項(xiàng)目是在吳悠高三時(shí)完成。張銘教授透露,他目前已進(jìn)入康奈爾大學(xué)就讀計(jì)算機(jī)和生物醫(yī)藥工程專業(yè)。

論文致謝中提到,吳悠主要是在張銘教授博士生、論文第二作者袁野的指導(dǎo)下完成了這項(xiàng)研究。

張銘,北京大學(xué)計(jì)算機(jī)學(xué)院教授,博士生導(dǎo)師,研究領(lǐng)域包括文本挖掘、知識(shí)圖譜、圖神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)教育研究等。她合作發(fā)表的科研學(xué)術(shù)論文曾獲 ICML 2014 最佳論文、ICDM 2022 最佳論文提名等榮譽(yù)。Google Scholar 顯示,她的論文引用量接近 2 萬,h 指數(shù)為 48。

NeurIPS 高中生賽道

NeurIPS 是今年剛設(shè)的“高中生賽道”,主要征集“機(jī)器學(xué)習(xí)的社會(huì)影響”方向的論文。

公告是這樣寫的:

提交項(xiàng)目必須說明完全由高中生作者獨(dú)立完成的工作。希望每個(gè)提交的項(xiàng)目都能突出顯示積極的社會(huì)影響,或者使用機(jī)器學(xué)習(xí)產(chǎn)生積極社會(huì)影響的潛力。

詳細(xì)來說,就是允許高中生們找外部導(dǎo)師來合作完成項(xiàng)目,但必須把導(dǎo)師以及合作者的貢獻(xiàn),和高中生作者的貢獻(xiàn)區(qū)分開來。

公告中還規(guī)定了,作者需要提交高中在讀證明,所有補(bǔ)充材料均應(yīng)完全由作者完成,包括視頻、Demo、海報(bào)、網(wǎng)站或源代碼。

值得一提的是,其他頂會(huì)也有積極接觸和影響高中生的趨勢(shì)。

比如,CVPR 的做法是和高中合作,開展 CV 領(lǐng)域的專業(yè)講座等課外活動(dòng)。

本文來自微信公眾號(hào):量子位(ID:QbitAI),作者:魚羊,原標(biāo)題《人大附高中生中 NeurIPS,入選高中賽道 Spotlight,頂會(huì)真卷到中學(xué)了》

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:NeurIPS,頂會(huì),人大附中,吳悠

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知