用數(shù)據(jù)打造用戶虛擬化身 蘋果兩項VR/AR相關(guān)新專利得到授權(quán)

近日，蘋果的兩項 VR/AR 相關(guān)新專利得到了美國專利商標(biāo)局(U.S. Patent and Trademark Office)授權(quán)。

第一項專利是“生成身體姿勢信息(Generating body pose information)系統(tǒng)”。該系統(tǒng)通過收集身體各個地方的信息，然后利用這些信息打造用戶的虛擬化身(avatar)。第二項專利是“自適應(yīng)無線傳輸(Adaptive wireless transmission schemes)系統(tǒng)”。該系統(tǒng)處理 VR 頭顯設(shè)備和主機之間的通信。

據(jù)悉，蘋果正在開發(fā) AR/VR 頭顯，以及稱為“Apple Glass”的 AR 智能眼鏡。蘋果正在針對人機交互領(lǐng)域的難題設(shè)計不同的解決方案，希望蘋果頭顯產(chǎn)品可以在其他頭顯產(chǎn)品中脫穎而出。

01. 新系統(tǒng)通過搜集姿態(tài)信息，在虛擬世界打造一個“你”

根據(jù)專利報告顯示，蘋果新專利“生成身體姿勢信息”系統(tǒng)可以通過攝像頭、神經(jīng)網(wǎng)絡(luò)系統(tǒng)等方式搜集用戶的姿態(tài)信息，形成一個用戶的虛擬化身 。

1、用神經(jīng)網(wǎng)絡(luò)系統(tǒng)搜集用戶姿態(tài)信息

單個神經(jīng)網(wǎng)絡(luò)系統(tǒng)可以搜集用戶姿勢信息;多個神經(jīng)網(wǎng)絡(luò)系統(tǒng)協(xié)同工作，可以模擬用戶的某個關(guān)節(jié);最終，所有系統(tǒng)的信息全部匯總在一起便可以在虛擬世界打造一個用戶的“分身”。

在這個過程中，不同的硬件設(shè)備都需要機器學(xué)習(xí)。因為“生成身體姿勢信息”系統(tǒng)不僅要處理攝像機所搜集的數(shù)據(jù)，還需要讓不同的神經(jīng)網(wǎng)絡(luò)系統(tǒng)之間“學(xué)會”信息交互。

2、神經(jīng)網(wǎng)絡(luò)系統(tǒng)覆蓋身體全關(guān)節(jié)

神經(jīng)網(wǎng)絡(luò)系統(tǒng)會搜集用戶身體上哪些部位的信息，蘋果在專利報告中給出了答案。

“生成身體姿勢信息”系統(tǒng)的信息搜集范圍包括了“脖頸、肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、骨盆關(guān)節(jié)、膝關(guān)節(jié)、踝關(guān)節(jié)和指關(guān)節(jié)”。該系統(tǒng)不但會對每個部位的信息搜集范圍做出界定，而且還會確定各部位之間的連接處在哪里。

盡管該項專利的列表里給出了所有創(chuàng)建用戶身體模型需要的基本要素，但似乎并不是很詳盡。比如說，指關(guān)節(jié)似乎只是重點指代手指，腳趾以及腳部運動似乎并沒有被該系統(tǒng)所關(guān)注。

3、用數(shù)據(jù)打造用戶虛擬化身

蘋果認為，打造良好的沉浸式體驗需要盡可能地搜集更多有關(guān)用戶姿態(tài)的信息。因為 VR 或 AR 應(yīng)用程序可能會需要依據(jù)用戶的靜態(tài)姿勢或動態(tài)行為，為用戶呈現(xiàn)不同的內(nèi)容。比如說，VR 游戲中的守衛(wèi)需要對用戶不同的攻擊動作做出不同的反應(yīng)。

事實上，蘋果希望用“生成身體姿勢信息”系統(tǒng)控制用戶在虛擬世界的化身。比如說，虛擬在線社交 VR Chat 就可能會運用到這個系統(tǒng)來改變用戶的頭像呈現(xiàn)方式。

02. 打通通訊壁壘，新專利使用凝視功能分配數(shù)據(jù)資源

蘋果的第二項專利“自適應(yīng)無線傳輸”系統(tǒng)希望能打通頭顯和主機之間通訊壁壘。

1、VR 頭顯遇通訊難題

目前市面上的 VR 頭顯如 Oculus Quest，盡管設(shè)計者可以通過增加頭顯的重量，讓頭顯和主機之間的連接部位減少相應(yīng)重量，但是，連接部位的電線本身就是一個問題。

對此，有人提出用無線通信系統(tǒng)減輕頭顯的重量，并且取消電線。但事實上，無線通信系統(tǒng)也會存在很多問題。

比如說，無線通信系統(tǒng)傳輸數(shù)據(jù)需要消耗設(shè)備電量，并且無線通訊系統(tǒng)的帶寬比有線通訊更少。再比如，無線通訊系統(tǒng)里最常見的斷連、其他設(shè)備干擾的問題。

2、新專利采用交錯幀傳輸

面對這些難題，蘋果新專利“自適應(yīng)無線傳輸”系統(tǒng)提供了一種新的解決方案。

它雖然采用了無線通信系統(tǒng)，但是減少了一次傳輸?shù)臄?shù)據(jù)量。該方案要求系統(tǒng)傳輸盡可能少的視頻數(shù)據(jù)。并且，這項專利選擇將網(wǎng)絡(luò)的帶寬量減半，通過左右眼數(shù)據(jù)交錯使用，實現(xiàn)交錯幀數(shù)據(jù)傳輸(interleaved frame transmissions)。

蘋果的新專利認為，數(shù)據(jù)不必傳輸畫面的每一幀。它將畫面的傳輸幀分成不同類，一類是需要緊急更新的畫面幀，另一類是可以再次使用、沒有更新、較早時間的畫面幀。

3、凝視跟蹤功能加持數(shù)據(jù)節(jié)流

此外，該項專利還用到了凝視跟蹤功能(mention of gaze tracking)。該功能可以通過用戶的凝視，優(yōu)先更新用戶正在查看畫面的數(shù)據(jù)。不僅如此，它還通過注視點顯示技術(shù)(foveated display techniques)減少用戶未關(guān)注的畫面細節(jié)量，再次節(jié)省數(shù)據(jù)傳輸。

但實現(xiàn)這一方案可能需要極高的幀速率(frame rates)。據(jù)蘋果專利報告顯示，由于頭顯在眼睛部位，所以“每秒至少達到 100 幀”。

03. 技術(shù)會不斷迭代，但并不會全應(yīng)用于蘋果產(chǎn)品

此前，蘋果在 VR 和 AR 領(lǐng)域具有很多專利申請，并且與這次兩項新專利有一些技術(shù)交叉。

比如說在中央凹區(qū)域的顯示技術(shù)( foveated displays)方面，中心凹是眼睛的一個關(guān)鍵區(qū)域，它使人們能夠以非常清晰和精確的方式看到東西。2020 年，蘋果又設(shè)計了與此次類似的一個系統(tǒng)，該系統(tǒng)可以通過眼動追蹤( eye tracking)來決定將數(shù)據(jù)資源投放在屏幕哪些地方，并且可以通過凝視檢測功能(using gaze detection)來確保畫面是否完成更新。

再比如說，手勢識別功能。2018 年，蘋果的一項專利曾涉及如何利用頭顯下方的攝像頭來監(jiān)控用戶的手勢變化，以便系統(tǒng)通過手勢變化管理 3D 文檔。2015 年，蘋果的一項專利可以通過機器視覺，遠距離識別人們的手勢。

蘋果每周都會提交大量的專利申請，但新專利的存在僅代表蘋果的研發(fā)團隊對該領(lǐng)域感興趣，并不能保證這些專利會出現(xiàn)在蘋果的產(chǎn)品中。

04. 結(jié)語：蘋果下場會帶火 VR/AR 設(shè)備嗎?

蘋果兩項在 VR/AR 領(lǐng)域的新專利向我們揭示了一個事實，蘋果已經(jīng)擁有較為成熟的、針對人機交互領(lǐng)域的難題的解決方案。

根據(jù)天風(fēng)證券分析師郭明錤報告，蘋果可能將在 2022 年中期推出 VR/AR 頭顯設(shè)備。他認為，蘋果頭顯能否成功要看 VR/AR 應(yīng)用能否提供非常順暢的顯示與操作流程。

據(jù) IDC 稱，到 2022 年，VR/AR 的市場價值約為 560 億美元。當(dāng)蘋果入場頭顯設(shè)備時，是否能通過新的技術(shù)加速 VR/AR 設(shè)備落地，我們靜觀其變。

關(guān)鍵詞： 數(shù)據(jù) 虛擬化身 VR 蘋果