英國(guó)格拉斯哥大學(xué)提出新方法 能創(chuàng)造跟全息投影進(jìn)行物理交互感覺(jué)

看見(jiàn)籃球的 3D 全息投影已經(jīng)不稀奇，但如果你能拍打、觸摸這個(gè)籃球幻像，而且能感受到它的彈性呢?

英國(guó)格拉斯哥大學(xué)的一個(gè)工程師團(tuán)隊(duì)提出一種新方法，能創(chuàng)造跟全息投影進(jìn)行物理交互的感覺(jué)。

當(dāng)你用不同力度拍這個(gè)虛擬籃球時(shí)，你的手掌會(huì)感受到不同的彈性力道，就像在拍一個(gè)真球，你的手、手指和手腕都會(huì)有逼真的觸感。

而實(shí)現(xiàn)這樣宛如科幻片里的互動(dòng)體驗(yàn)，完全不需要可穿戴或手持外圍設(shè)備，比傳統(tǒng)的 VR/AR 系統(tǒng)更加輕便。

這項(xiàng)研究的論文題目為《交互式立體顯示的偽全息投影和氣動(dòng)反饋》，已發(fā)表于 WILEY 智能系統(tǒng)領(lǐng)域旗艦刊 Advanced Intelligent Systems 上。

三種模式，讓虛擬籃球拍起來(lái)像真球

如何做到逼真的籃球彈跳觸感?

研究團(tuán)隊(duì)打造了一個(gè)帶有氣動(dòng)觸覺(jué)反饋設(shè)備的偽全息投影。

如圖，其開(kāi)發(fā)的系統(tǒng)有 3 個(gè)主要組件，分別是偽全息顯示、手勢(shì)識(shí)別模塊和觸覺(jué)反饋設(shè)備。這些組件被連接到主計(jì)算機(jī)，并通過(guò)基于 Unity 平臺(tái)的內(nèi)部構(gòu)建程序進(jìn)行控制。

其中，偽全息顯示基于 Pepper 的幽靈投影方案，創(chuàng)造了一種物體“漂浮”在空中的錯(cuò)覺(jué);手勢(shì)識(shí)別模塊使得用戶可用手勢(shì)與虛擬對(duì)象進(jìn)行交互。

除了視覺(jué)反饋外，該系統(tǒng)通過(guò)提供觸覺(jué)反饋來(lái)提供更真實(shí)的交互感。

其觸覺(jué)反饋設(shè)備名為 Aerohaptics，當(dāng)用戶操縱虛擬物體時(shí)，該設(shè)備使用指向用戶手上的加壓空氣噴射，來(lái)復(fù)制觸摸感覺(jué)，同時(shí)它還提供位置和強(qiáng)度控制，以適應(yīng)各種交互場(chǎng)景。

根據(jù)全息投影與用戶之間的交互性質(zhì)，Arduino 控制器單元可區(qū)分多種操作模式，包括恒壓模式、手部標(biāo)志選擇模式和手部跟蹤模式。

在恒壓輸出模式下，無(wú)論手的空間位置如何，系統(tǒng)都會(huì)向用戶提供恒定的氣動(dòng)反饋，即用戶會(huì)感受到相同的壓力。

在手部標(biāo)志選擇模式下，算法可以選擇用戶手的哪個(gè)部分(共 6 個(gè)標(biāo)志，每個(gè)指尖各 1 個(gè) + 手掌上 1 個(gè))是跟蹤系統(tǒng)的目標(biāo)，系統(tǒng)可以準(zhǔn)確地提供氣動(dòng)觸覺(jué)反饋給不同的手部標(biāo)志。

在手部跟蹤模式下，壓力基于 3D 虛擬成像的拓?fù)渑c用戶手的運(yùn)動(dòng)交互，Arduino 控制器單元將手指速度值直接映射到壓力調(diào)制單元，使用戶感覺(jué)像觸碰到一個(gè)真實(shí)存在的東西。

比如用戶試圖拍打全息籃球時(shí)，將收到與拍打球時(shí)“感知”的力度成正比的氣動(dòng)反饋，能感受到球從指尖滾動(dòng)時(shí)“圓圓”的形狀，以及球彈回手掌時(shí)的彈跳壓力變化。

定位精準(zhǔn)到手指，拍得越重反彈越猛

隨后，研究團(tuán)隊(duì)用實(shí)驗(yàn)展示了其系統(tǒng)的兩項(xiàng)功能，即觸覺(jué)反饋傳遞的準(zhǔn)確定位控制和可調(diào)觸覺(jué)反饋強(qiáng)度。

首先在控制觸覺(jué)反饋傳遞的位置方面，系統(tǒng)可控制空氣噴射以非常高的精度指向不同位置。

系統(tǒng)中的商業(yè)手部跟蹤設(shè)備可以檢測(cè)到用戶手部的不同位置，包括手指、手掌、手腕等，跟蹤系統(tǒng)和氣體噴嘴能準(zhǔn)確控制觸覺(jué)反饋的傳遞位置。

為了證明這一點(diǎn)，Aerohaptics 系統(tǒng)被編程為按順序瞄準(zhǔn)用戶手上的單個(gè)指尖，研究人員在用戶指尖上粘了紙條，這樣就能清晰看到噴氣的位置是否精準(zhǔn)。

從上圖(d)中可以看到，空氣會(huì)集中噴在目標(biāo)手指上，相鄰手指上粘的紙條沒(méi)有受到干擾。

其次，為了提供不同強(qiáng)度的觸覺(jué)反饋，其系統(tǒng)包含一個(gè)氣流控制機(jī)制，以調(diào)節(jié)噴到用戶手部的空氣量。這在很多情況下都很有用。

比如，當(dāng)用戶的手離空氣噴嘴越來(lái)越近或越來(lái)越遠(yuǎn)時(shí)，觸覺(jué)反饋的強(qiáng)度可以保持不變;當(dāng)用戶試圖迅速猛拍虛擬籃球，會(huì)產(chǎn)生更強(qiáng)的觸覺(jué)反應(yīng);當(dāng)用戶拍打幅度很輕時(shí)，球的反饋強(qiáng)度也會(huì)相應(yīng)降低。

研究人員在用戶的手掌上放了一個(gè)力傳感器，并記錄了觸覺(jué)反饋的強(qiáng)度，獲得的圖像結(jié)果顯示了虛擬籃球三次硬彈跳后氣流變化，然后是三次較軟的氣流，從而致使傳遞給用戶手的力發(fā)生了變化。

比其他全息顯示功能更全

Aerohaptics 系統(tǒng)由格拉斯哥大學(xué)詹姆斯?瓦特工程學(xué)院的 Ravinder Dahiya 教授領(lǐng)導(dǎo)的可彎曲電子和感應(yīng)技術(shù)(BEST)小組開(kāi)發(fā)。

Dahiya 教授說(shuō)，近年來(lái)，觸覺(jué)反饋和立體顯示技術(shù)取得了長(zhǎng)足的進(jìn)步，使我們更接近于與虛擬對(duì)象進(jìn)行逼真地交互。

但當(dāng)前的觸覺(jué)技術(shù)往往要用到可穿戴或手持外圍設(shè)備，其高成本與復(fù)雜性可能會(huì)阻礙該技術(shù)的普及。

與其他交互式全息顯示相比，Aerohaptics 系統(tǒng)能將其他系統(tǒng)實(shí)現(xiàn)的 360° 視角、空中手勢(shì)識(shí)別、觸覺(jué)等功能合在一起，同時(shí)無(wú)需用戶連接設(shè)備。

相對(duì)于其他在 3D 虛擬環(huán)境中提供觸覺(jué)反饋的技術(shù)，啟動(dòng)觸覺(jué)反饋系統(tǒng)擁有反饋定位和強(qiáng)度控制等優(yōu)勢(shì)，并保持較低的復(fù)雜性和低成本。

結(jié)語(yǔ)：未來(lái)或引入嗅覺(jué)反饋

總體來(lái)看，與在虛擬環(huán)境中提供觸覺(jué)反饋的其他方法相比，Aerohaptics 系統(tǒng)是一個(gè)成本效益高的解決方案，復(fù)雜性相對(duì)較低。

研究團(tuán)隊(duì)正在考慮給系統(tǒng)添加更多觸覺(jué)反饋功能，比如溫度變化帶來(lái)的感覺(jué)，嗅覺(jué)反饋也可以通過(guò)該系統(tǒng)在氣流中引入各種氣味來(lái)提供。隨著后續(xù)進(jìn)一步發(fā)展，Aerohaptics 系統(tǒng)擁有實(shí)現(xiàn)多種感官相互作用的潛力。

這在現(xiàn)實(shí)生活中的應(yīng)用有相當(dāng)廣闊的探索空間，比如可以為遠(yuǎn)程電話會(huì)議創(chuàng)造更逼真的 3D 渲染互動(dòng)，幫醫(yī)生在虛擬空間執(zhí)行棘手的操作，或者讓醫(yī)生遠(yuǎn)程指導(dǎo)機(jī)器人進(jìn)行真正的手術(shù)。

關(guān)鍵詞： 英國(guó) 格拉斯哥大學(xué) 物理交互 感覺(jué)