驚艷眾人的 Vision Pro 竟偷偷裝了「腦機(jī)接口」？
蘋果 Vision Pro 的橫空出世，一夜之間在全球引起軒然大波。
正如庫(kù)克所稱，這將開(kāi)啟「空間計(jì)算」時(shí)代，足見(jiàn) Vision Pro 對(duì)所有人來(lái)說(shuō)意義非凡。
戴上 Vision Pro，只需眨眨眼，捏合手指，甚至動(dòng)動(dòng)嘴，「頭號(hào)玩家」的科幻便成為可能。
但，蘋果 Vision Pro 的科幻感，不僅于此。
頭顯發(fā)布后，蘋果前研究員 Sterling Crispin 在推特回顧自己工作中，透露了不少關(guān)于 Vision Pro 的「黑科技」。
最讓人驚艷的是，Vision Pro 其實(shí)還暗藏著一種「腦機(jī)接口」技術(shù)。
不需要芯片植入，它就能預(yù)測(cè)你的大腦行為，妥妥的「讀心術(shù)」。
此外，蘋果頭顯還能根據(jù)個(gè)人身體和大腦的數(shù)據(jù)，來(lái)檢測(cè)心理狀態(tài)。
看似篇幅不長(zhǎng)的推文中，其實(shí)給許多人對(duì)蘋果 Vision Pro 帶來(lái)了無(wú)限的暢享。
Vision Pro 暗藏「腦機(jī)接口」？
2018 年，Sterling Crispin 加入蘋果技術(shù)開(kāi)發(fā)小組，擔(dān)任「神經(jīng)技術(shù)原型」的研究員。
3 年前，他開(kāi)始參與 Vision Pro 的研發(fā)工作。
正如他在推特上所稱，自己花費(fèi)人生 10% 的時(shí)間為 Vision Pro 的開(kāi)發(fā)做出貢獻(xiàn)，這是我做過(guò)的最長(zhǎng)的一次努力。
Crispin 在蘋果的大部分工作都受到保密協(xié)議的約束，設(shè)計(jì)廣泛的主題和方法。
但其實(shí)，這些工作，有些蘋果已經(jīng)申請(qǐng)了專利，可以拿出來(lái)講。
Crispin 稱，「要使特定預(yù)測(cè)成為可能，涉及很多技巧，我提到的少數(shù)專利對(duì)此進(jìn)行了詳細(xì)說(shuō)明。」
最酷的能力就是能夠預(yù)測(cè)用戶，會(huì)在他們實(shí)際點(diǎn)擊之前，點(diǎn)擊某些東西。
而這項(xiàng)技術(shù)背后的主要原理是，每個(gè)人在做每件事之前，瞳孔會(huì)做出反應(yīng)，其中部分原因是你預(yù)計(jì)在你點(diǎn)擊之后會(huì)發(fā)生一些事情。
因此，蘋果可以通過(guò)算法來(lái)監(jiān)視你的眼睛行為。
并實(shí)時(shí)重新設(shè)計(jì) UI，以創(chuàng)建更多這種預(yù)期的瞳孔反應(yīng)，從而創(chuàng)建個(gè)人大腦的生物反饋。
這其實(shí)就是通過(guò)眼睛實(shí)現(xiàn)的初級(jí)「腦機(jī)接口」。
Crispin 表示，「這是一項(xiàng)艱巨的工作，也是我引以為豪的事情。隨時(shí)都會(huì)接受侵入性腦部手術(shù)?！?/p>
從中可見(jiàn)，蘋果頭顯利用大量神經(jīng)科學(xué)技術(shù)來(lái)開(kāi)發(fā)其中的一些關(guān)鍵功能，憑借不同技巧來(lái)確定一個(gè)人將要做的事。
此外，Crispin 稱自己工作很大一部分，涉及通過(guò)用戶在沉浸式體驗(yàn)中的身體和腦部數(shù)據(jù)，來(lái)檢測(cè)用戶的心理狀態(tài)。
畢竟沉浸在虛擬世界中的人們，真的很需要有個(gè)健康檢測(cè)的功能。
當(dāng)你處在混合現(xiàn)實(shí)，或者虛擬現(xiàn)實(shí)體驗(yàn)中，AI 模型嘗試預(yù)測(cè)你是否感到好奇、思維漫游、害怕、注意力集中、記起過(guò)去的經(jīng)歷或其他認(rèn)知狀態(tài)。
而這些都可以通過(guò)眼動(dòng)追蹤、腦部電活動(dòng)、心臟跳動(dòng)和節(jié)奏、肌肉活動(dòng)、大腦中的血液密度、血壓、皮膚電導(dǎo)等測(cè)量數(shù)據(jù)來(lái)推斷。
除了以上提到的技術(shù)，推測(cè)認(rèn)知狀態(tài)還包括你可能察覺(jué)不到的方式。
比如，向你快速閃爍視覺(jué)效果，或者聲音，然后測(cè)量你對(duì)此的反應(yīng)。
還有一項(xiàng)專利介紹了，如何使用機(jī)器學(xué)習(xí)，以及來(lái)自身體和大腦的信號(hào)來(lái)預(yù)測(cè)你的注意力、放松程度或?qū)W習(xí)情況。
然后，頭顯會(huì)自動(dòng)更新虛擬環(huán)境，以增強(qiáng)這些狀態(tài)。
因此，你可以想象一個(gè)自適應(yīng)沉浸式環(huán)境，它可以通過(guò)改變你在背景中看到和聽(tīng)到的內(nèi)容，來(lái)幫助每個(gè)人學(xué)習(xí)、工作或放松。
Sterling Crispin 介紹的這些和科技，或許我們能夠在 VisionPro 未來(lái)迭代升級(jí)中看到。
背后部分專利一覽
支撐發(fā)布會(huì)上魔幻演示的效果的，是蘋果在默默開(kāi)發(fā) VR 設(shè)備這么多年中自己的技術(shù)積累。
5000 多項(xiàng) VR 專利，是發(fā)布會(huì)上驚艷眾人產(chǎn)品和基石和護(hù)城河。
現(xiàn)在就來(lái)看看演示中涉及到的專利技術(shù)。
雙手 + 意念控制一切
市面上幾乎所有的 VR 設(shè)備都配備了手柄。
但是蘋果卻大膽的在自己的第一款 VR 產(chǎn)品中就完全依賴手勢(shì)追蹤和眼球追蹤實(shí)現(xiàn)了絲滑的控制效果。
背后的技術(shù)在 2023 年獲得了專利。
根據(jù)專利圖示，F(xiàn)IG.1 是 3D 操作環(huán)境的框架圖，展示了用戶 UI 實(shí)現(xiàn)的整體框架。
FIG.4 是捕捉用戶的手勢(shì)輸入的頭顯計(jì)算機(jī)系統(tǒng)的手部跟蹤單元的框架圖。
FIG.5 是用戶的眼球追蹤數(shù)據(jù)輸入的頭顯計(jì)算機(jī)系統(tǒng)的眼睛跟蹤單元的框架圖。
這個(gè)專利圖例展示了眼球反光輔助眼球追蹤的流程圖。
除了提供手部和眼球追蹤技術(shù)的基礎(chǔ)之外，該專利還描述了用戶如何在 3D 環(huán)境中更有效的進(jìn)行交互的設(shè)計(jì)和流程。
強(qiáng)大的手勢(shì)追蹤體驗(yàn)，還源于今年 5 月，蘋果又獲得了一項(xiàng)專利。
這項(xiàng)專利描述了頭顯中的攝像頭如何使用深度映射來(lái)區(qū)分不同的手勢(shì)。
圖注：FIG.7E / F / H / I 說(shuō)明了相對(duì)于三維環(huán)境，基于用戶在一系列用戶輸入期間保持的手握力從而有選擇地移動(dòng)虛擬對(duì)象或相對(duì)于三維環(huán)境（以及三維環(huán)境中的所有虛擬對(duì)象）移動(dòng)視點(diǎn)維度環(huán)境。
一鍵生成 3D 形象
還記得之前被全網(wǎng)嘲諷的小扎在 Horizon World 里的 3D 形象嗎？
蘋果給出了的方案也許部分解釋了為什么同樣是做 VR 設(shè)備，蘋果能引爆全網(wǎng)，Meta 卻讓自己的股票「跌跌不休」。
背后的技術(shù)專利也在上周被公布出來(lái)。
這個(gè)專利描述了未來(lái)的 Apple Watch 和 XR 頭顯將允許用戶使用設(shè)備上的相機(jī)設(shè)置自己的 3D 頭像的技術(shù)。
在專利的示意圖中，蘋果展示了未來(lái)的 Apple Watch 允許用戶使用 Apple Watch 背面的傳感器拍攝自己的 Face ID 圖像。
該傳感器技術(shù)同樣可用于 XR 環(huán)境。
無(wú)限畫布
蘋果發(fā)布會(huì)上演示的 Vision Pro 可以將周圍空間作為無(wú)限畫布。
用戶不僅可以隨意使用任何 APP，而且可以把它們調(diào)成喜歡的任意尺寸。
蘋果在 2018 年就申請(qǐng)了和這個(gè)功能相關(guān)的專利，這項(xiàng)技術(shù)讓未來(lái)的 XR 頭顯提供用戶在 3D 環(huán)境中編輯文檔的功能。
如下圖 Apple 的專利圖所示。
另一個(gè)相關(guān)專利是 2021 年獲得的讓佩戴 XR 頭顯設(shè)備 (HMD) 的用戶可以查看顯示器（Mac、MacBook 或電視）并根據(jù)需要進(jìn)行虛擬擴(kuò)展的技術(shù)。
收購(gòu) AR 初創(chuàng)公司 Mira
其實(shí)，從申請(qǐng)多項(xiàng)專利可見(jiàn)，蘋果在 AR / VR 領(lǐng)域的探索，蓄謀已久。
最早可以回溯到 2010 年，蘋果就收購(gòu)了來(lái)自瑞典的面部識(shí)別技術(shù)公司 Polar Rose。
在 Vision Pro 推出的后一天，就傳出了蘋果近來(lái)收購(gòu)了 Mira。這是一家構(gòu)建輕量級(jí) AR 頭顯的初創(chuàng)公司，還為美國(guó)軍方提供服務(wù)。
根據(jù) Mira 首席執(zhí)行官 Ben Taft 在 Ins 上的帖子顯示，作為收購(gòu)的一部分，蘋果已經(jīng)聘請(qǐng)了至少 11 名 Mira 的員工。為 Mira 在蘋果的下一篇章感到興奮。從宿舍到收購(gòu)的 7 年旅程。
目前，具體收購(gòu)金額未知，也不清楚 Mira 在蘋果的增強(qiáng)現(xiàn)實(shí)路線圖中扮演怎樣的角色。
據(jù) 2 名前員工透露，蘋果前設(shè)計(jì)主管 Jony Ive 曾一度擔(dān)任這家初創(chuàng)公司的顧問(wèn)。
Mira 于 2016 年由 Ben Taft 創(chuàng)立，總部位于洛杉磯，一直在為全球客戶生產(chǎn) AR 頭顯，包括任天堂在日本環(huán)球影城中的主題公園。
這家初創(chuàng)公司迄今已籌集了約 1700 萬(wàn)美元的資金，包括藍(lán)熊資本、幸福投資和紅杉資本在內(nèi)的投資者。
而蘋果在 Vision Pro 中展示出來(lái)的很多技術(shù)，也是源于一次次成功的收購(gòu)。
比如一些手勢(shì)和空間定位的專利技術(shù)，就是通過(guò)收購(gòu)了總部位于蒙特利爾的 VRvana 獲得的。
頭顯「iPhone 時(shí)刻」到來(lái)，還需 5 年
蘋果推出的 Vision Pro，預(yù)示著它的下一個(gè)時(shí)代即將到來(lái)。
這款頭顯標(biāo)志著蘋果首次創(chuàng)建了一個(gè)新的計(jì)算平臺(tái)，可以取代現(xiàn)有的大部分主要產(chǎn)品。
盡管 iPhone 蠶食了 iPod，iPad 威脅到了 Mac。但是，還沒(méi)有哪一個(gè)蘋果產(chǎn)品類別能夠同時(shí)擊敗當(dāng)前 3 個(gè)主要細(xì)分市場(chǎng)。
彭博報(bào)道稱，想讓 Vision Pro 成為 iPhone 的替代品，至少需要 5 年的時(shí)間。若要成為殺手級(jí)產(chǎn)品，可能需要付出更多的時(shí)間。
如今，Vision Pro 售價(jià) 3499 美元，價(jià)格高且不說(shuō)，不能與手機(jī)互聯(lián)互通，甚至也不能打電話。
而且設(shè)計(jì)還是太過(guò)笨重，而且必須隨身裝一個(gè)外置電池組，僅有 2 小時(shí)電量，無(wú)法長(zhǎng)時(shí)間使用。
但在接下來(lái)的幾年里，蘋果能夠解決這些問(wèn)題，并推出一款「無(wú)所不能」的設(shè)備。
表面來(lái)看，Vision Pro 看起來(lái)就像是一個(gè)為有錢人，或者那些對(duì)科技新品有無(wú)限需求的人而定制的「高價(jià)玩具」。
但是，蘋果在 WWDC 上也竭力表明，這是每個(gè)人的設(shè)備，從辦公、到娛樂(lè)、視頻、出行等等方面。
不過(guò)，這并非不可能。
蘋果在 iPhone、MacBook 等產(chǎn)品的迭代更新向世人展示了自身的潛力。
進(jìn)而，Vision Pro 及其更先進(jìn)的后續(xù)產(chǎn)品的發(fā)展價(jià)值，也將變得更加清晰。
其實(shí)還有一點(diǎn)是，Vision Pro 并不像 iPad 或 iPhone 一樣容易上手。而且每個(gè)人戴上頭顯還可能會(huì)有沉浸體驗(yàn)的不舒適感。
不過(guò)，隨著時(shí)間的推移，人們便會(huì)習(xí)慣這種全新的「空間計(jì)算機(jī)」，就像戴一副眼鏡一樣。
通過(guò) Vision Pro，蘋果展示了自己正朝著將計(jì)算設(shè)備體積縮到最小、最輕便的未來(lái)努力。
但這可能是一條漫長(zhǎng)，而崎嶇的道路。
不過(guò)，至少在周一的 2 個(gè)小時(shí)里，對(duì)于數(shù)百萬(wàn)果粉來(lái)說(shuō)，這款頭顯讓他們終于見(jiàn)證了 Vision Pro 的到來(lái)。
或許有一天，我們可能會(huì)戴著 Vision Pro，觀看 WWDC 2030。
參考資料：
https://twitter.com/sterlingcrispin/status/1665792422914453506
https://www.bloomberg.com/news/newsletters/2023-06-06/apple-vision-pro-a-post-mac-iphone-and-ipad-future-with-new-visionos-and-apps
https://www.patentlyapple.com/2023/06/today-apple-introduced-the-apple-vision-pro-a-revolutionary-spatial-computer-headset-thats-out-of-this-world-backed-by.html
本文來(lái)自微信公眾號(hào)：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。