6月6日消息，據(jù)國(guó)外媒體報(bào)道，谷歌表示，它已在提高沒(méi)有大量書面文本語(yǔ)料的語(yǔ)言的翻譯質(zhì)量上取得了進(jìn)展。在一篇即將正式發(fā)表的博客文章中，該公司詳細(xì)介紹了助力提升谷歌翻譯（Google Translate）所支持的108種語(yǔ)言翻譯質(zhì)量的新創(chuàng)新技術(shù)（特別是缺乏語(yǔ)料數(shù)據(jù)的約魯巴語(yǔ)和馬拉雅拉姆語(yǔ)）。
谷歌翻譯服務(wù)平均每天翻譯1500億個(gè)單詞。
自谷歌翻譯首次亮相以來(lái)的13年里，神經(jīng)機(jī)器翻譯、基于重寫的范式和設(shè)備端處理等技術(shù)的出現(xiàn)和改進(jìn)，助力該平臺(tái)的翻譯準(zhǔn)確性取得不小的飛躍。但直到近年，即便是最先進(jìn)的翻譯支持算法也一直落后于人類的表現(xiàn)。谷歌以外的努力充分說(shuō)明了這個(gè)問(wèn)題的嚴(yán)重性——旨在使得非洲大陸的數(shù)千種語(yǔ)言可自動(dòng)翻譯的Masakhane項(xiàng)目，至今還沒(méi)有走出數(shù)據(jù)收集和轉(zhuǎn)錄階段。Mozilla致力于建立一個(gè)開源的語(yǔ)音轉(zhuǎn)錄數(shù)據(jù)收集平臺(tái)Common Voice，自2017年6月推出以來(lái)也只審查了40種語(yǔ)音。
谷歌稱，它在翻譯領(lǐng)域所取得的突破并不是由單一技術(shù)驅(qū)動(dòng)的，而是針對(duì)低資源語(yǔ)言、高資源語(yǔ)言、總體質(zhì)量、延遲和整體推理速度的多項(xiàng)技術(shù)共同作用產(chǎn)生的。在2019年5月到2020年5月之間，根據(jù)人工評(píng)估和BLEU(基于翻譯系統(tǒng)翻譯和人工參考翻譯之間相似性的衡量標(biāo)準(zhǔn))，谷歌翻譯在所有語(yǔ)言中平均提高了5分以上，在50種語(yǔ)料資源最少的語(yǔ)言中平均提高了7分以上。
混合模型和數(shù)據(jù)挖掘器
這些技術(shù)中的第一個(gè)是轉(zhuǎn)換模型架構(gòu)——一種混合架構(gòu)，包括一個(gè)Transformer編碼器和一個(gè)用Lingvo實(shí)現(xiàn)的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)解碼器，后者是一個(gè)用于序列建模的TensorFlow框架。
在機(jī)器翻譯中，編碼器通常將單詞和短語(yǔ)編碼為內(nèi)部表示形式，然后由解碼器生成目標(biāo)語(yǔ)言的文本?；赥ransformer的模型是谷歌研究人員在2017年首次提出的，在這一點(diǎn)上它比RNN更有效，但谷歌表示，它的研究表明，翻譯質(zhì)量的提高主要來(lái)自Transformer的一個(gè)部件:編碼器。這可能是因?yàn)殡m然RNN和Transformer都是為處理有序的數(shù)據(jù)序列而設(shè)計(jì)的，但后者并不要求按順序處理數(shù)據(jù)序列。換句話說(shuō)，如果涉及的數(shù)據(jù)是自然語(yǔ)言，Transformer不必先處理好句子的開頭才處理句子的結(jié)尾。
然而，RNN解碼器在推理時(shí)間上仍然比Transformer中的解碼器要“快得多”。谷歌翻譯團(tuán)隊(duì)認(rèn)識(shí)到這一點(diǎn)，于是在將RNN解碼器與Transformer編碼器耦合之前，對(duì)RNN解碼器進(jìn)行了優(yōu)化，以創(chuàng)建低延遲、質(zhì)量及穩(wěn)定性均比此前所使用的RNN神經(jīng)機(jī)器翻譯模型更勝一籌的混合模型。原來(lái)使用的RNN神經(jīng)機(jī)器翻譯模型已有4年歷史。
2006年上線不久以來(lái)，谷歌翻譯模型各種語(yǔ)言的BLEU得分提升趨勢(shì)
除了打造新穎的混合模型架構(gòu)之外，谷歌還升級(jí)了一個(gè)有幾十年歷史的爬蟲程序。該程序用來(lái)從文章、書籍、文檔和網(wǎng)絡(luò)搜索結(jié)果等內(nèi)容中的數(shù)百萬(wàn)條示例翻譯中編制訓(xùn)練語(yǔ)料。該新數(shù)據(jù)挖掘器基于支持14個(gè)語(yǔ)言對(duì)的嵌入模式，而非基于詞典模式，也就是說(shuō)它是使用實(shí)數(shù)向量來(lái)表示單詞和短語(yǔ),更多地聚焦于精確性(檢索數(shù)據(jù)中的相關(guān)數(shù)據(jù)部分)，而非檢索（實(shí)際檢索的相關(guān)數(shù)據(jù)總量）。產(chǎn)出效果方面，谷歌說(shuō)這使得該數(shù)據(jù)挖掘器提取到的句子數(shù)量平均增加了29%。
噪聲數(shù)據(jù)和遷移學(xué)習(xí)
翻譯性能提升的另一來(lái)源是一種建模方法，它能更好地處理訓(xùn)練數(shù)據(jù)中的噪聲。據(jù)觀察，噪聲數(shù)據(jù)(含有大量無(wú)法正確理解或解釋的信息的數(shù)據(jù))會(huì)損害語(yǔ)料數(shù)據(jù)豐富的語(yǔ)言的翻譯質(zhì)量。所以，谷歌翻譯團(tuán)隊(duì)部署系統(tǒng)來(lái)給使用噪聲數(shù)據(jù)訓(xùn)練的模型的示例打分，進(jìn)而篩選出“純凈”的數(shù)據(jù)。實(shí)際上，這些模型一開始基于所有的數(shù)據(jù)進(jìn)行訓(xùn)練，然后逐漸基于更小、更純凈的數(shù)據(jù)子集進(jìn)行訓(xùn)練，這種方法在人工智能研究領(lǐng)域被稱為課程學(xué)習(xí)。
對(duì)于資源較少的語(yǔ)言，谷歌在谷歌翻譯中采用了一個(gè)回譯機(jī)制，來(lái)強(qiáng)化并行訓(xùn)練數(shù)據(jù)，即語(yǔ)言中的每個(gè)句子都與其譯文相配對(duì)。(機(jī)器翻譯傳統(tǒng)上依賴于源語(yǔ)言和目標(biāo)語(yǔ)言成對(duì)句子的語(yǔ)料庫(kù)的統(tǒng)計(jì)。)在該機(jī)制中，訓(xùn)練數(shù)據(jù)與合成的并行數(shù)據(jù)自動(dòng)對(duì)齊，目標(biāo)文本為自然語(yǔ)言，而源文本則由神經(jīng)翻譯模型生成。結(jié)果是，谷歌翻譯充分利用更豐富的單語(yǔ)文本數(shù)據(jù)來(lái)訓(xùn)練模型，谷歌稱這對(duì)提高翻譯流暢性特別有幫助。
谷歌地圖自帶的翻譯功能
谷歌翻譯現(xiàn)在還采用M4建模方法，即用一個(gè)單一的巨型模型——M4——來(lái)在多種語(yǔ)言和英語(yǔ)之間進(jìn)行翻譯。(M4最初是在去年的一篇論文中提出的，該論文證明，在基于來(lái)自100多種語(yǔ)言的250億對(duì)句子進(jìn)行訓(xùn)練后，M4提高了30多種低資源語(yǔ)言的翻譯質(zhì)量。)M4建模讓谷歌翻譯中的遷移學(xué)習(xí)成為可能，因此，通過(guò)基于法語(yǔ)、德語(yǔ)、西班牙語(yǔ)等高資源語(yǔ)言 (它們有數(shù)十億條并行示例語(yǔ)料)的訓(xùn)練獲得的見解，可以應(yīng)用于低資源語(yǔ)言的翻譯，如約魯巴語(yǔ)、信德語(yǔ)和夏威夷語(yǔ)(它們只有數(shù)萬(wàn)條示例)。
展望未來(lái)
谷歌稱，自2010年以來(lái)，按照BLEU標(biāo)準(zhǔn)（滿分100分，谷歌翻譯水平每年至少提高1分，但自動(dòng)化機(jī)器翻譯的問(wèn)題并沒(méi)有得到解決。谷歌承認(rèn)，即使是它的增強(qiáng)模型，也會(huì)出現(xiàn)各種錯(cuò)誤，如合并一種語(yǔ)言的不同方言，產(chǎn)生明顯的字面翻譯，以及在特定主題內(nèi)容和非正式語(yǔ)言或口語(yǔ)上表現(xiàn)糟糕等等。
這家科技巨頭正想方設(shè)法來(lái)解決這一挑戰(zhàn)，包括借助它的谷歌翻譯社區(qū)。該游戲化項(xiàng)目招募志愿者來(lái)翻譯單詞和短語(yǔ)或者檢查翻譯是否正確，借助他們來(lái)提高低資源語(yǔ)言的翻譯質(zhì)量。就在今年2月，結(jié)合新興的機(jī)器學(xué)習(xí)技術(shù)，該項(xiàng)目為谷歌翻譯增加了對(duì)總共7500萬(wàn)人使用的五種語(yǔ)言的支持，包括基尼亞盧旺達(dá)語(yǔ)、奧里雅語(yǔ)、韃靼語(yǔ)、土庫(kù)曼語(yǔ)和維吾爾語(yǔ)。
谷歌并不是唯一一家追求真正通用的翻譯工具的公司。2018年8月，F(xiàn)acebook公布了一種人工智能模型，該模型結(jié)合使用逐字翻譯、語(yǔ)言模型和回譯來(lái)超越語(yǔ)言配對(duì)系統(tǒng)。最近，麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室的研究人員也提出了一種無(wú)監(jiān)督學(xué)習(xí)模型——一種從沒(méi)有明確標(biāo)記或分類的測(cè)試數(shù)據(jù)中學(xué)習(xí)的模型——它可以在沒(méi)有直接的雙語(yǔ)翻譯數(shù)據(jù)的情況下在兩種語(yǔ)言的文本之間進(jìn)行翻譯。
谷歌在一份聲明中表示，它“非常感謝”學(xué)術(shù)界和產(chǎn)業(yè)界在機(jī)器翻譯領(lǐng)域的研究成果，其中一些研究為谷歌自身的項(xiàng)目帶來(lái)了啟發(fā)。 “通過(guò)結(jié)合利用和拓展近期的各種技術(shù)進(jìn)步，我們完成了谷歌翻譯最近的改進(jìn)。” 該公司說(shuō)，“經(jīng)過(guò)此次升級(jí)，我們很自豪能夠提供相對(duì)連貫的自動(dòng)翻譯，哪怕是所支持的108種語(yǔ)言中語(yǔ)料資源最少的一種語(yǔ)言?！?/p>
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。