9 月 6 日消息，vivo 今天在一場影像技術(shù)分享會上正式介紹了自家的自研 ISP 芯片 V1，并分享了 vivo 與蔡司聯(lián)手在手機光學(xué)鏡頭、拍照算法技術(shù)方面的新突破。
vivo 影像產(chǎn)品經(jīng)理王兆豐說，夜景、變焦、運動防抖、視頻等特性是 vivo 影像系統(tǒng)發(fā)力的重點方向。在手機拍照領(lǐng)域，“如今算法更重要還是硬件更重要？”是 vivo 此次拋出的核心問題。
在發(fā)布會結(jié)尾，vivo 也預(yù)熱稱，9 月 9 日他們的 vivo X70 系列旗艦手機將會發(fā)布，除了這次展示的新技術(shù)，vivo 還會帶來更多拍照技術(shù)方面的“驚喜”。
一、“等效 32MB 緩存”干翻臺式 CPU，將算法寫到芯片里
vivo 影像算法總監(jiān)杜元甲說，消費者現(xiàn)在不光需要手機在常規(guī)場景下拍出好照片，也希望在一些高挑戰(zhàn)性場景中拍出好照片，比如暗光、運動場景。
這些需求都對手機處理圖像信息的能力提出了更高的要求。如今拍攝一段 30 幀視頻，每幀圖像允許處理器進行運算的時間僅有 33 毫秒。
除此之外，功耗也成了一大挑戰(zhàn)：既要提升處理能力，又不能過多增加功耗。為了解決這個問題，vivo 的思路是定制化芯片 + 自研算法結(jié)合。
其實此前 vivo 在引入定制芯片方面已經(jīng)積累了一定經(jīng)驗：在 vivo X1、Xplay 中，vivo 就將定制 Hi-Fi 芯片放入手機，提升手機音頻體驗。到 2017 年，vivo 將定制的 DSP 圖像芯片放入到 X9 Plus 中，提升手機影像 HDR 表現(xiàn)。
此次，vivo 組建了超過 300 人的研發(fā)團隊，經(jīng)過 24 個月研發(fā)，最終推出了 V1 ISP 芯片。杜元甲說，在這枚芯片的研發(fā)中，vivo 也與手機 SoC 廠商進行了深度合作，但他并未透露具體廠商名稱。
2019 年，vivo 曾與三星聯(lián)合研發(fā)了 Exynos 980 5G SoC，據(jù)稱今年 vivo 也將在 X70 系列旗艦中使用三星 Exynos 1080 SoC，可見 vivo 和三星一直以來都保持著良好的合作關(guān)系。
因此我們推測此次 vivo ISP 芯片的合作廠商，大概率是三星。
V1 是 vivo 自研的第一顆影像芯片，可以搭配不同的主芯片和屏幕，可以擴充 ISP 算力、釋放主芯片 ISP 負載。
這枚 V1 芯片在特定圖像處理任務(wù)時，在性能、延遲、功耗等方面具有優(yōu)勢，杜元甲說，相比 CPU、DSP 等芯片，V1 處理特定任務(wù)的效率有“指數(shù)級提升”，也可以完成數(shù)據(jù)的并行處理。
vivo 優(yōu)化了數(shù)據(jù)在芯片內(nèi)部的儲存架構(gòu)和高速讀寫電路，實現(xiàn)了等效 32MB 的“片上高速緩存”，讀寫速度可以達到 35.84Gbps，而目前主流旗艦級臺式機 CPU 的高速緩存也僅有 16MB 左右。
那么 V1 這樣的優(yōu)化有怎樣的效果呢，在夜景拍攝中，去噪、插幀等這類對算力需求較大的算法都可以應(yīng)用進來。在 V1 輔助下，主芯片可以實現(xiàn) 1080P 60 幀的夜景視頻降噪、插幀。
在 V1 的加持下，主芯片可以在低光錄像時，以低功耗運行 4K 30FPS 的 MEMC 去噪和插幀，這輔助并強化了主芯片在夜景下的影像效果，配合主芯片 ISP 原有的降噪功能，實現(xiàn)二次提亮二次降噪。
值得一提的是，vivo 通過將軟件算法轉(zhuǎn)移至 V1 的專用硬件電路中，讓復(fù)雜的計算成像功能在默認拍照和錄像預(yù)覽下即可開啟。
在高速處理同等計算成像算法時，相比軟件實現(xiàn)的方式，V1 的專用算法硬件電路功耗降低了 50%。
這也就是 vivo 所說的“硬件級算法”。
二、蔡司鏡片加持，良品率不到 60% 也要死磕
vivo 光學(xué)器件總監(jiān)朱盼盼說，去年 vivo 與蔡司達成了合作，從鏡片、鏡頭到濾光片，vivo 都聯(lián)合蔡司進行了創(chuàng)新。
他提到，眩光、鬼影、邊緣畫質(zhì)差等問題仍然是如今手機拍照的普遍痛點，而這些問題的解決都需要光學(xué)器件性能的提升。
vivo 通過使用高規(guī)格玻璃鏡片補足了傳統(tǒng)塑膠鏡片的缺點，朱盼盼特別提到了“阿貝數(shù)”這一性能指標(biāo)，vivo 的玻璃鏡片阿貝數(shù)達到了 Vd 81.6，相比上代設(shè)計視場色差降低約 70%。
得益于新型玻璃鏡片的使用，鏡片中心的透光率達到了 95%，相比傳統(tǒng)鏡片提升了 2%。
當(dāng)然，使用玻璃鏡片面臨許多挑戰(zhàn)，比如工藝復(fù)雜、良率低，據(jù)稱這次 vivo 的玻璃鏡片工藝步驟有 11 道，每 100 片中才能挑選出 60 片良品。同時，vivo 通過 AOA 工藝，實現(xiàn)了鏡片的動態(tài)調(diào)整。
為了解決眩光、鬼影等問題，vivo 采用了 SWC 鍍膜技術(shù)，將鏡片表面反射率降低至 0.1%，而此前這一數(shù)值為 0.8%，降低了 90%。其核心是在鏡片表面上做出“納米級紋路”。
另外，vivo 通過 ALD 鍍膜工藝，讓鏡片上形成 0.4nm 均勻分布的光學(xué)膜層，從而使反射率均勻值到達 0.25% 左右。朱盼盼特別提到，這些工藝已到達成熟量產(chǎn)階段。
為了解決“花瓣鬼影”問題，vivo 通過色素旋涂技術(shù)，更好地實現(xiàn)了蔡司 T * 鍍膜，可以提升紅光的吸收率，從而改善眩光和鬼影問題。
去年 vivo 和蔡司成立了聯(lián)合影像實驗室，朱盼盼說，蔡司的團隊給了他們非常大的幫助。
三、聯(lián)手蔡司定義新色彩標(biāo)準(zhǔn)，深度神經(jīng)網(wǎng)絡(luò)賦能拍照算法
王兆豐繼續(xù)介紹了 vivo 在拍照軟件算法層面的突破，vivo 通過三年 10 款機型的打磨，形成了自己一套成像色彩風(fēng)格。
不過專業(yè)的創(chuàng)作者，更偏向于還原人眼看到的真實色彩，為此，vivo 與蔡司聯(lián)手打造了“蔡司自然色彩”色彩標(biāo)準(zhǔn)。
vivo 在 P3 色域基礎(chǔ)上，選擇了 140 色卡指定色彩標(biāo)準(zhǔn)，與蔡司共同制定色彩標(biāo)準(zhǔn)，為了適應(yīng)更加精細的色彩標(biāo)準(zhǔn)，vivo 在粗調(diào)試中增加了色彩映射矩陣算法，將調(diào)試參數(shù)增加到 384 個。
通過這些調(diào)試，vivo 將照片色相準(zhǔn)確度提升了約 15.5%。
另外 vivo 選擇“復(fù)刻”蔡司 Biotar 鏡頭提升人像拍攝的效果，但是復(fù)刻需要解決不少難題，比如 Z 方向景深的模擬、XY 方向像場的變化、還原鏡頭光斑。
在這其中，vivo 通過深度卷積網(wǎng)絡(luò)，學(xué)習(xí)了 28W 張人像分割照片、10W 張手勢分割圖片；另外 vivo 建立了虛化模型，實現(xiàn) 3D-POP 虛化效果。
在還原鏡頭光斑形狀方面，vivo 通過散焦濾波核生成技術(shù)，對不同鏡頭的光斑進行更真實的模擬。
除了這些算法之外，vivo 在人像拍攝、延時攝影、10bit Log 視頻拍攝、超級夜景等方面也進行了優(yōu)化。
vivoRAWHDR3.0 算法，提升了夜景拍攝樣張的色彩表現(xiàn)，通過 SuperRAW 功能，實現(xiàn)了 14bit 色深，最大支持 10 幀合成。
結(jié)語：手機拍照領(lǐng)域，硬件軟件結(jié)合加深
在自研 ISP 芯片 V1、定制光學(xué)鏡片、提升鏡片加工工藝的同時，vivo 也在算法上繼續(xù)打磨，聯(lián)合蔡司進行調(diào)教。
可以看到，算法的實現(xiàn)需要出色硬件的輔助，隨著如今圖像數(shù)據(jù)量增加，圖像畫質(zhì)要求提升，算法對于硬件性能要求也“水漲船高”，自研 ISP 芯片無疑成為了廠商們的一個新的突破口。
小米、vivo 紛紛推出自研 ISP 芯片，OPPO 的自研 ISP 芯片也正在路上，如今在手機拍照領(lǐng)域，硬件 + 軟件“兩條腿走路”已經(jīng)成為了大趨勢。我們也期待廠商們未來能在芯片層創(chuàng)新上帶來更多突破。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。