7 月 3 日晚，一場獨(dú)特的演唱會上線抖音、西瓜視頻、今日頭條、鮮時光 TV，引發(fā) 1.4 億樂迷集體懷舊。這是“Beyond Live 1991 生命接觸演唱會”及紀(jì)念音樂會的精選重映。Beyond，是華語搖滾樂發(fā)展歷史上的璀璨明珠，更是一代人的青春記憶。
而這次當(dāng)億萬觀眾沉浸在 DNA 被喚醒的懷舊情緒中時，可能也有很多朋友并不知道，他們看到的、聽到的穿越 31 年時光而來的畫面和聲音，其實(shí)是經(jīng)過超清修復(fù)的。只是在原汁原味的真實(shí)還原下，很多人并未發(fā)現(xiàn)而已。
完成這次超清修復(fù)的，就是字節(jié)跳動旗下的云服務(wù)平臺火山引擎。
超清修復(fù)，不止是提升音畫清晰度
如果你看過 Beyond Live 1991 生命接觸演唱會原版視頻，就能真切感受到這次超清修復(fù)版的提升。比如下面這張修復(fù)前后的效果對比圖，就是肉眼可見的提升。
時隔多年后依然能看到這場演唱會如此清晰的版本，的確是一件幸事。相信也有朋友會好奇，抖音到底施了什么魔法？火山引擎到底是怎么修復(fù)的呢？
這里不妨為大家解釋一下。
首先，因?yàn)槭茄莩獣男迯?fù)，所以不可避免會分成兩個部分：畫質(zhì)修復(fù)和音質(zhì)的修復(fù)。
畫質(zhì)修復(fù)方面，我們先看看存在哪些難點(diǎn)。
第一是畫面的模糊受損，早期因?yàn)榧夹g(shù)條件差，演唱會在拍攝、制作、壓縮、傳輸?shù)日麄€過程都會出現(xiàn)畫面模糊、噪聲多的情況。比如那時的影片一般都是隔行掃描，編碼、顯示都會帶來交錯條紋等瑕疵。
第二是演唱會獨(dú)特的色彩、亮度和舞臺氛圍感，比如怎樣平衡亮度調(diào)節(jié)和底噪被放大之間的矛盾，也是難點(diǎn)。
第三是需要對人像面部進(jìn)行精細(xì)處理，普通的畫質(zhì)修復(fù)算法難以做到，而且調(diào)節(jié)人像效果和背景之間的差異也是難點(diǎn)。
這些是演唱會修復(fù)的核心難點(diǎn)，對于這些難點(diǎn)，火山引擎則研發(fā)了專門的算法技術(shù)進(jìn)行攻克。比如畫面模糊受損的問題，他們有清晰度增強(qiáng)和瑕疵修復(fù)算法，這些是基于大量數(shù)據(jù)訓(xùn)練的深度學(xué)習(xí)算法，提升分辨率的同時，還能在缺少紋理的區(qū)域生成豐富的細(xì)節(jié)。
同時，還能利用基于運(yùn)動補(bǔ)償?shù)纳疃葘W(xué)習(xí)多幀交錯算法，解決各行掃描格式視頻存在的拉絲和橫紋情況。
下面這張照片就展現(xiàn)了修復(fù)前后的對比，可以明顯看到修復(fù)前撥吉他的手部有橫紋、模糊的情況，修復(fù)之后整個明顯更清晰銳利了。
提升畫質(zhì)的同時還要注重演唱會藝術(shù)氛圍的保留。火山引擎給出了基于美學(xué)評分的自適應(yīng)分區(qū)域色彩亮度增強(qiáng)算法，它會根據(jù)片源的效果，依據(jù)美學(xué)評分，在色彩，亮度，對比度，飽和度，人像 ROI 和背景區(qū)域分別增強(qiáng)，使亮區(qū)與暗區(qū)都能得到最好的表現(xiàn)效果。
比如下面這張修復(fù)前后的對比，修復(fù)之后的色彩明顯更飽滿，同時整體風(fēng)格上也沒有失去演唱會燈光的氛圍感。
而人像的修復(fù)方面，火山引擎則通過自研的自適應(yīng)人像增強(qiáng)算法，進(jìn)行人物高清五官重建。對不同大?。ń?/ 中景 / 遠(yuǎn)景 ）、不同姿態(tài)（側(cè)臉 / 俯視 / 仰視），不同遮擋程度的人臉都有較好的修復(fù)增強(qiáng)效果。
音質(zhì)修復(fù)方面，也是類似。原版演唱會視頻天然存在早期設(shè)備條件不好導(dǎo)致的音質(zhì)差的問題，還有環(huán)境噪聲帶來的干擾。另外那時的設(shè)備、壓縮算法不成熟，也會導(dǎo)致音頻截止頻率低。演唱會混響過大影響收音質(zhì)量、以及響度不均衡問題造成的聽感不適等。這些都是音質(zhì)修復(fù)存在的難點(diǎn)。
針對原版音頻的噪聲，火山引擎給出了多元素場景的自研降噪算法，可以針對音樂場景和人聲場景實(shí)現(xiàn)兼容的 AI 降噪。普通的降噪算法主要針對人聲，給演唱會降噪時難免對部分聲音造成損傷，而火山引擎的這套算法可以保留人說話 / 唱歌 / 音樂的同時，抑制其他噪聲。
比如下面這張對比圖，原版攜帶噪聲的音頻頻譜整體非常渾濁，噪音（紫色的部分）整個演唱會都存在，而經(jīng)過 AI 音頻降噪算法處理過后，頻譜圖清晰了很多。
對于早期設(shè)備音頻帶寬不夠的問題，火山引擎也有音頻超分算法予以解決，它能夠?qū)ρ莩獣械娜寺暡糠诌M(jìn)行頻帶拓展，豐富高頻信息，提升音質(zhì)，并且在處理過程中不會引入其他失真使體驗(yàn)變差。
此外還有響度算法，則是提取演唱會中的歌唱人聲部分，然后進(jìn)行響度的調(diào)整，使得整體的人聲更加舒適。
當(dāng)然，這次演唱會重映之后，IT之家也向火山引擎方面了解到，修復(fù)的工作也并不完全是 AI 算法進(jìn)行的，也會有人工處理的部分，只是人工參與的很少。比如在畫質(zhì)修復(fù)時，主要是和色彩相關(guān)的會加入部分人工，而音頻部分主要是在響度調(diào)整上做了一些人工的細(xì)節(jié)調(diào)整。
總體來說，這次演唱會的修復(fù)絕大部分工作通過 AI 算法技術(shù)來完成的，并且我們也能看到，修復(fù)的工作不僅僅是提升音畫清晰度這么簡單，還涉及到藝術(shù)氛圍的保留、噪聲、細(xì)節(jié)的取舍、色彩的調(diào)整、重編碼等等，是一個成體系的復(fù)雜流程。而這個流程，火山引擎已經(jīng)能用技術(shù)在無人工參與的情況下完成絕大部分。
最終呈現(xiàn)在我們面前的，就是一場音畫全面煥發(fā)新生，同時藝術(shù)感又原汁原味的經(jīng)典演唱會，成就了一場情懷的狂歡。
比情懷更重要的，是賦能
從效果來說，這次 Beyond 演唱會的超清修復(fù)是讓人驚嘆的，看了上面的介紹，相信會有朋友自然地想到，這些修復(fù)技術(shù)這么厲害，而且很少需要人工參與，那如果能將它們開放出來，讓更多的主體能參與到這種頗具意義的修復(fù)中去，豈不是更好？
其實(shí)這些，就是火山引擎視頻云正在做的，而且他們提供的能力還有更多。
相信大家也能感受到，視頻在如今互聯(lián)網(wǎng)傳媒時代的重要性。IDC 在年初曾發(fā)布一份《中國視頻云市場跟蹤（2021 上半年）》報告，其中顯示，2021 上半年中國視頻云市場規(guī)模達(dá)到 43.7 億美元，同比增長 38.7%。我們正在迎接一個全新的“超視頻時代”：不管是企業(yè)到用戶，還是用戶到用戶，一個行業(yè)內(nèi)的信息傳遞有 50% 以上是通過視頻承載，就可以認(rèn)為是“超視頻時代”。
總之，在廣泛的商業(yè)場景正在從圖文走向視頻的大背景下，視頻正在成為一種新的生產(chǎn)力，各行各業(yè)都在思考如何建設(shè)自己的視頻能力。
而火山引擎這家字節(jié)跳動旗下的云服務(wù)平臺，恰好通過視頻云為各行各業(yè)帶來完整的視頻能力。這次修復(fù) Beyond 演唱會所涉及的相關(guān)技術(shù)，其實(shí)只是火山引擎視頻云能力的“冰山一角”。
根據(jù)今年 2 月火山引擎公布的最新視頻云產(chǎn)品矩陣，這是一個包含泛互聯(lián)網(wǎng)、游戲、金融、廣電等場景，視頻點(diǎn)播、veImageX、實(shí)時音視頻等核心產(chǎn)品，以此構(gòu)成完整的解決方案。最底層的核心中臺，則是火山引擎在服務(wù)抖音、西瓜視頻等優(yōu)秀應(yīng)用積累和沉淀下來的技術(shù)能力，覆蓋網(wǎng)絡(luò)傳輸、智能生產(chǎn)和智能處理全鏈路的能力。
而細(xì)分到每一項能力方面，火山引擎視頻云也有對應(yīng)的技術(shù)優(yōu)勢。比如在編碼方面，火山引擎的 BVC 系列編碼器在視頻編碼器全球頂級賽事 MSU2020 中獲得 17 項冠軍。
在視頻播放體驗(yàn)上，火山引擎擁有獨(dú)創(chuàng)的“零首幀”優(yōu)化，實(shí)現(xiàn)短視頻首幀起播小于 100ms，長視頻首幀起播小于 400ms，帶來無感知的流暢播放體驗(yàn)。
還有他們的 VQScore 畫質(zhì)評估算法體系也已經(jīng)在多媒體領(lǐng)域世界級學(xué)術(shù)會議 ICME2021 拿到第一名，穩(wěn)定性方面更是能將應(yīng)用崩潰率降到低于 1/100000。
正因?yàn)閾碛羞@些技術(shù)優(yōu)勢，火山引擎視頻云才能為不同的行業(yè)提供極致的視頻體驗(yàn)。并且在視頻體驗(yàn)方面，火山引擎也建立了自己的數(shù)據(jù)體系標(biāo)準(zhǔn)，從互動體驗(yàn)、播放體驗(yàn)、畫質(zhì)體驗(yàn)、性能體驗(yàn)四個方面做細(xì)致優(yōu)化，從而讓用戶體驗(yàn)可量化、可優(yōu)化。
舉例來說，現(xiàn)在很多“超新 Z 世代”喜歡在快看上看“漫劇”，這種全新的視頻內(nèi)容形式背后就有火山引擎視頻云的助力?；鹕揭嬉曨l云為快看“漫劇”創(chuàng)作提供了強(qiáng)大的視頻編輯，推動 UGC 內(nèi)容的繁榮，同時還為快看提供了零首幀的相關(guān)優(yōu)化經(jīng)驗(yàn)，提升了用戶觀看體驗(yàn)。
（快看世界技術(shù) VP 安嘗思）
再比如今年 5 月，Pico 以 8K 3D VR 的方式舉辦了鄭鈞“We Are”VR 私人唱聊會的互動直播，火山引擎視頻云為 Pico 提供了從 VR 采集、VR 編碼推流、VR 云導(dǎo)播、虛擬現(xiàn)實(shí)特效疊加到 VR 播放器的全鏈路能力。
（鄭鈞“We Are”VR 私人唱聊會）
總體來說，目前火山引擎視頻云已經(jīng)服務(wù)了很多的行業(yè)，覆蓋游戲、電商、金融、教育等各個領(lǐng)域。包括前面我們說的修復(fù) Beyond 演唱會過程中所使用的各種技術(shù)，在各行各業(yè)也都已經(jīng)有很成熟的應(yīng)用。也許，修復(fù) Beyond 演唱會并和大家一起來一場免費(fèi)的懷舊狂歡，是一件很有情懷的事，但小編覺得，能夠?qū)⑦@些能力開放出去，賦能給千千萬萬需要用視頻建設(shè)生產(chǎn)力的主體，是比情懷更重要的事情。
結(jié)語
Beyond Live 1991 生命接觸演唱會的重映已經(jīng)結(jié)束，但小編相信，類似這樣用技術(shù)修復(fù)文化的情懷不會止步。去年，抖音、西瓜視頻聯(lián)合火山引擎已經(jīng)為我們修復(fù)了超百部經(jīng)典動畫，這次是 Beyond 的經(jīng)典演唱會，未來，也許還有更多被時光侵蝕的作品會重新煥發(fā)生機(jī)。
而這樣的事情，只靠為數(shù)不多的企業(yè)來完成，遠(yuǎn)遠(yuǎn)不夠，相反需要更多的企業(yè)或主體參與進(jìn)來。火山引擎視頻云的賦能，對推動這樣有價值的事情，無疑會起到非常重要的作用。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。