電子技術(shù)的發(fā)展，讓我們可以隨時隨地享受一場「視聽盛宴」，人類的聽覺和視覺從此徹底解放。

近幾年，給設(shè)備裝上「觸覺」逐漸成了新的研究熱點，尤其是在「元宇宙」概念的加持下，加上觸感無疑能讓虛擬世界的真實感大大提升。

當(dāng)下觸覺感知技術(shù)主要是通過「數(shù)據(jù)驅(qū)動」的模式來模擬和渲染觸感，模型首先記錄下用戶與真實紋理交互的信號，然后將信號輸入到紋理生成部分，并用振動的方式將觸感「回放」給用戶。

最近一些方法大多基于用戶交互運動和高頻振動信號來對紋理的特征進(jìn)行建模，比如摩擦和微觀表面特征。

雖說數(shù)據(jù)驅(qū)動極大提升了模擬的真實感，但仍然存在諸多限制。

比如世界上的紋理可以說是有「無數(shù)種」，如果每種紋理都記錄一遍，所需的人力、物力都不可想象，也無法滿足一些小眾用戶的需求。

人類對于觸覺的感知相當(dāng)敏感，不同的人對于相同物體的感覺也不同，數(shù)據(jù)驅(qū)動的方式無法從根本上消除從紋理記錄到紋理渲染的感知不匹配問題。

最近，南加州大學(xué)維特比工程學(xué)院的三個博士生提出了一種全新的「偏好驅(qū)動」模型框架，利用人類分辨紋理細(xì)節(jié)的能力對生成的虛擬感知進(jìn)行調(diào)整，最終可以達(dá)到相當(dāng)逼真的觸覺感知，論文發(fā)表在IEEE Transactions on Haptics.

論文鏈接：https://ieeexplore.ieee.org/document/9772285

偏好驅(qū)動的模型首先會給用戶一個真實的觸摸紋理，然后模型會使用幾十個變量隨機(jī)生成三個虛擬紋理，然后用戶可以從中選擇摸起來與真實物體最相似的一個紋理。

隨著不斷地試錯和反饋，模型會通過搜索不斷優(yōu)化變量的分布，使得生成的紋理更接近用戶的偏好。這種方法比直接記錄、回放紋理具有明顯優(yōu)勢，因為計算機(jī)讀取的內(nèi)容和人類的真實感受之間總是存在差距。

這個流程實際上跟「甲方乙方」差不多，我們作為感知者（甲方），如果覺得觸摸感不對勁，就打回去，讓算法（乙方）修改重新生成，直到生成的效果滿意為止。

這樣做實際上很合理，因為不同的人摸相同的物體都會有不同的感覺，但計算機(jī)釋放的信號卻是相同的，所以根據(jù)每個人進(jìn)行觸感定制，很有必要！

整個系統(tǒng)由兩個模塊組成，首先是一個深度卷積生成對抗網(wǎng)絡(luò)（DCGAN），用于將潛空間的向量映射到紋理模型，在UPenn Haptic Texture Toolkit (HaTT)上進(jìn)行訓(xùn)練。

第二個模塊是一個基于比較的進(jìn)化算法：一組生成的紋理模型中，協(xié)方差矩陣適應(yīng)進(jìn)化策略（CMA-ES）會根據(jù)用戶的偏好反饋創(chuàng)建一個新的紋理模型以進(jìn)化。

為了模擬真實紋理，研究人員首先會要求用戶使用定制工具來觸摸真實紋理，然后使用觸覺設(shè)備觸摸一組虛擬紋理候選，其中觸覺反饋通過連接到設(shè)備觸控筆的Haptuator來傳輸。

用戶唯一需要做的就是選擇最接近真實紋理的虛擬紋理，并使用簡單的滑塊接口來調(diào)整摩擦量（amount of friction），因為摩擦對于紋理觸感來說至關(guān)重要，也可能因人而異。

然后所有的虛擬紋理將根據(jù)用戶的選擇按照進(jìn)化策略進(jìn)行更新，然后用戶再次進(jìn)行選擇和調(diào)整。

重復(fù)上述過程，直到用戶找到他們認(rèn)為的接近真實紋理的虛擬紋理并保存，或者找不到更接近的虛擬紋理為止。

研究人員將評估過程分為兩個階段，每個階段分別有一組參與者。

在第一階段，五名參與者分別為5個真實紋理生成和搜索虛擬紋理。

第二階段則是評估最終保存的偏好驅(qū)動紋理（VTp）及其相應(yīng)的真實紋理（RT）之間的差距。

評估的方式主要采用形容詞評價（adjective rating）的方式，對包括粗糙度、硬度和光滑度等感知維度進(jìn)行評估。

并且在VTp、RT和數(shù)據(jù)驅(qū)動的紋理（VTd）之間的相似性進(jìn)行比較。

實驗結(jié)果也表明遵循進(jìn)化的過程，用戶能夠有效地找到一個虛擬紋理模型，真實程度超過數(shù)據(jù)驅(qū)動模型。

此外，超過80%的參與者認(rèn)為偏好驅(qū)動模型生成的虛擬紋理評級要優(yōu)于數(shù)據(jù)驅(qū)動模型。

觸覺設(shè)備在視頻游戲、時裝設(shè)計和手術(shù)模擬中越來越受歡迎，即使在家里，我們也開始看到用戶使用與筆記本電腦一樣流行的那些觸覺設(shè)備。

比如第一人稱視頻游戲加入觸覺以后，會極大提升玩家的真實感。

論文作者表示，當(dāng)我們通過工具與環(huán)境交互時，觸覺反饋只是一種形式，一種感官反饋，音頻是另一種感官反饋，兩者都非常重要。

除了游戲外，這項工作成果對于用于牙科或手術(shù)培訓(xùn)的虛擬紋理尤其有用，這些虛擬紋理需要非常準(zhǔn)確。

「外科訓(xùn)練絕對是一個巨大的領(lǐng)域，需要非常逼真的紋理和觸覺反饋；裝修設(shè)計還需要在開發(fā)過程中對質(zhì)地進(jìn)行高度精確地模擬，然后再進(jìn)行制造。」

從電子游戲到時裝設(shè)計，一切都在集成觸覺技術(shù)，而現(xiàn)有的虛擬紋理數(shù)據(jù)庫可以通過這種用戶偏好方法得到改進(jìn)。

紋理搜索模型還可以讓用戶從數(shù)據(jù)庫中提取虛擬紋理，例如賓夕法尼亞大學(xué)的觸覺紋理工具包，可以對其進(jìn)行改進(jìn)，直到獲得他們想要的結(jié)果。

這項技術(shù)與紋理搜索模型一結(jié)合，那你就可以使用之前別人已經(jīng)記錄完成的虛擬紋理，然后根據(jù)策略來優(yōu)化紋理。

作者暢想，在未來，模型甚至可能不需要真實的紋理。

我們生活中的一些常見事物的感覺是非常直觀的，我們天生就可以通過查看照片來微調(diào)自己的感官，而無需參考真實的紋理。

比如當(dāng)我們看到一張桌子時，我們可以想象一旦觸摸到這張桌子會有什么感覺，利用我們對表面的這種先驗知識，就可以向用戶提供視覺反饋，并允許他們選擇匹配的內(nèi)容。

文章的第一作者Shihan Lu目前是南加州大學(xué)計算機(jī)科學(xué)學(xué)院的博士研究生，之前在沉浸式技術(shù)方面做過聲音方面的相關(guān)工作，即通過在工具與其交互時引入匹配的聲音，使虛擬紋理更加身臨其境。

文章的的第二作者M(jìn)ianlun Zheng（鄭棉侖）是南加州大學(xué)計算機(jī)科學(xué)學(xué)院的博士研究生，本科和碩士畢業(yè)于武漢大學(xué)。

? ?