Meta元宇宙中專利系列介紹（五）：人工實境之前饋防撞專利
https://bit.ly/3BGQsn1
早期玩家戴著VR眼鏡或頭戴式裝置，眼前所見都是虛擬世界的虛擬影像，等於與現實世界
中的實體物件完全隔絕，因此玩家在有限的空間中，例如客廳或房間，在揮舞四肢或自由
移動身軀時，難免會碰撞到實體的桌子、牆壁、茶几等物體而受傷，這大大影響了沈浸感
。
有鑑於此，Meta於2019年12月申請「用於人工實境環境的前饋防止碰撞」(Feed-forward
collision avoidance for artificial reality environments)專利，並在2021年12月獲
准案號為US11,195,320B2之美國專利（以下稱本專利）。本專利主要揭露一種人工實境系
統(artificial reality system)，包含一頭戴式顯示器（head-mounted display, HMD）
、攝像裝置、實體影像重合引擎(physical overlay engine)，以及渲染引擎（
rendering engine，這裡所謂的「引擎」，是代表一種用軟體方式去收集數據並予以分析
的演算法）。
請參考圖一，本專利技術特徵在於，實體影像重合引擎係用以判斷實體物件（如圖中標號
144的沙發），並收集其對應產生的實體影像數據，而渲染引擎係用以根據HMD所輸出的人
工實境內容（如圖中標號122所示），及其對應產生的虛擬渲染數據。透過實體影像數據
與渲染影像數據的疊合，讓實體的沙發在人工實境內容中呈現半透明；換言之，人工實境
內容中也可以弱化虛擬世界中的盔甲武士、樹、寶藏等影像清晰度，而換取更具體且清楚
的沙發影像輪廓。
https://imgur.com/uLDtRld
圖二為圖一HMD（標號112）的一種實施例，其包含顯示器（標號203）、移動感測器（標
號206）、內部控制單元（標號210），以及影像捕捉元件（標號138A、138B），其中本專
利所謂的移動感測器，可計算當下HMD加速度的加速計（又被稱為慣性量測單元，IMU）、
判斷當下HMD位置的GPS感測器、判斷當下相對於HMD之實體環境中，不同物件之對應距離
與方位的雷達或聲納感測器，內部控制單元可包含電源與具有印刷電路板上的處理器、記
憶體與各種硬體電子元件；影像捕捉元件是用來捕捉在視角範圍內（標號130A與130B之間
）的實體物件之影像數據。另外，手持裝置（標號114）上設有一實體按鈕或虛擬按鈕（
標號142），一旦使用者按下該按鈕，手持裝置就會透過無線訊號和HMD進行溝通，即可如
前所述，實體影像數據與渲染影像數據的疊合而讓實體的沙發在人工實境內容中呈現半透
明。當然，前述中的按鈕也可以是其他操控形式，例如語音命令、手勢或其他各種形式的
輸入。
https://imgur.com/CAGCdPl
本專利中提到，傳統的人工實境系統所呈現的內容，不一定會與實體世界中的物件尺寸完
全一致，正因如此，當使用者在實體空間中移動時，由於使用者已沈浸在虛擬的人工實境
內容中，所以無法準確地在實體空間中移動躲避其中的障礙物，以至於可能發生碰撞；抑
或是，為了躲避實體世界中的障礙物，使用者需無時無刻留意周圍實體環境是否有障礙物
，造成難以有良好之沈浸式體驗。
傳統的人工實境系統在技術上的最大缺點，在於HMD無法提供任何相對於使用者所在實體
空間之相對位置的資訊。舉例來說，當使用者頭戴傳統的HMD時，其所看到的虛擬世界的
影像，完全覆蓋實體世界的物體，也就是說，當使用者大幅移動或擺動身體時，可能就與
實體世界中的物體發生碰撞；因此，使用者就被迫卸下HMD，以觀察自己當下所在位置是
否可能有障礙物，Meta認為這些缺點都大大地中斷沈浸式之體驗，不該在未來的元宇宙中
發生。
然而，本專利係透過HMD上的攝像裝置（例如相機鏡頭），與手持裝置之間的參考坐標系
(frame of reference)中隨時隨地不斷計算該兩者間的相對位置，進而對應地將該相對位
置在人工實境內容中產生，並且當渲染引擎偵測到人工實境內容中所渲染的圖像覆蓋到實
體物件（例如沙發144）時，實體影像重合引擎就會自動讓實體物件呈現半透明狀態，以
提醒使用者避免與實體環境中的物體碰撞，如此能讓使用者在虛擬世界中有更好的沈浸式
體驗。
同樣地，請再參考圖二，若HMD的視角偵測到實體空間中存在壁爐、電視和沙發，那麼透
過實體影像重合引擎，就會自動讓這些物體在人工實境內容中呈現半透明狀態（如圖二中
虛線之圖繪）。
https://imgur.com/wWpdCqe
此外，使用者戴上HMD後，可決定是否要按下手持裝置上的按鈕，以開啟一啟動條件
(activation condition)產生重合影像數據(overlay image data)。一旦選擇啟動，實體
影像重合引擎與渲染引擎，就會開始偵測前述兩者的影像數據是否疊合。請再參考圖三，
其係為實體環境中的一虛擬邊界（如圖三中的粗黑線902所繪示）。當啟動條件被開啟時
，該虛擬邊界也對應產生。該虛擬邊界的作用在於，當使用者一旦接近或跨過該虛擬邊界
時，HMD就會對使用者顯示出警告；更甚者，若使用者更進一步地靠近實體世界的物件時
，實體影像重合引擎就會自動讓實體物件呈現半透明狀態，以提醒使用者避免與實體環境
中的物體發生碰撞。
https://imgur.com/nhyFe3U
Meta的這件發明專利，也許會讓沈浸在虛擬世界的玩家，回憶起2016年2月宏達電在國際
消費性電子展（俗稱CES）上發表的HTC Vive，而旗下的Vive Pre開發者版本中的其中一
項亮點，就是Chaperone安全系統，該系統中有一項設定，可供使用者決定是否要顯示地
板邊界的安全設定，如圖五中的「Always show floor bounds」所示，其目的就是為了當
玩家靠近障礙物時，會顯示出藍色的網格牆（如圖六所示），以提醒玩家小心實體環境中
的物體以免發生碰撞。
https://imgur.com/BwjZU1m
https://imgur.com/SLIoVyY
就HTC Vive Pre保護使用者免於實體環境中與物體發生碰撞的技術，Meta之本專利所揭露
的技術似乎與其相似，但由於本專利申請日是在2019年12月，而HTC Vive Pre在2016年2
月就已公開發表，本專利申請日似落後於HTC所發表的Chaperone安全系統之後，這對於
Meta在爭奪未來元宇宙的地盤時或有其他變數，日後兩家公司在元宇宙的發展，大家且拭
目以待。
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 203.145.192.245 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Patent/M.1659512584.A.44C.html