[情報] 老黃正與HTC合作開發注視點渲染

[zebb ()]

來源: https://www.twitch.tv/videos/360153308?t=01h33m33s

應該就是針對vive pro eye

希望最終能從driver層就支援注視點渲染，這樣舊遊戲也能直接使用

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 124.11.189.152
※ 文章網址: https://www.ptt.cc/bbs/VR/M.1546962428.A.CE4.html
推 museangel: 不知道實際運作能夠降低多少資源，我猜跟固定前方視點
→ museangel: 渲染的需求差不多，只是變成不用把頭轉來轉去，眼球動
→ museangel: 一動就可以了
→ kuma660224: 差不多減少幾成.  其實還是會很吃效能
→ zebb: 降低多少其實要看設定
→ kuma660224: 邊緣解析度看要降多少倍
→ kuma660224: Go的FFR也是可選的，但不會省太多
→ kuma660224: 因為太省就連中間範圍畫質也明顯影響
→ kuma660224: 目前FOV90-110規格，能省的外圍邊緣不多
→ kuma660224: 如果以後180-200度，能省的外圍面積就很大
→ kuma660224: 但由於最高階顯卡差幾成性能的價差很大
→ kuma660224: 所以即使省不多也可能很划算
→ zebb: Go還有個因素是因為不知視線位置所以無法開太大
→ zebb: 如果有眼追，Go也能開更大達到相同效果
→ kuma660224: 2080有Ti跟沒Ti只差15-25％性能，價差1萬
→ kuma660224: Go是知道眼神位置啊，就預設中間嘛
→ kuma660224: 它是要用戶自己習慣只看中間
→ kuma660224: 有眼追我是覺得能省的範圍沒差
→ kuma660224: 因為人多數時候仍然只看中間
→ zebb: 我的意思是要你看"中間"也不可能是"中間一個點"而是一個區域
→ zebb: 而這區域可以因為眼追的加入更縮小
→ kuma660224: 無論有無眼追都是區域啊
→ kuma660224: 因為人類眼睛需要高解析的範圍也不窄
→ kuma660224: 精確知道看哪點，它周圍蠻大範圍也得高解析
→ kuma660224: 不然視覺上會明顯發現解析度變差
→ kuma660224: 能動解析度的只有類似眼角餘光的外圍視野
→ kuma660224: 而目前頭顯FOV太小，所以正常往前看時
→ kuma660224: 200多度大部分餘光範圍本來就在畫面外沒畫
一、參考這邊的說明: https://goo.gl/8Sz4xa
-------------------------------------------------------------------
1. 視野(visual field)

眼睛所能看到的區域稱為視野。視網膜中央的小窩是感光細胞高度集中的區域，提供細部
視覺及辨色力，一般對物體對焦僅在小窩呈像，稱為小窩視覺(foveal vision)，僅佔視
野中央約 2°的極小區域，故眼睛須不停移動以便對焦於不同細部。整個視野範圍涵蓋左
、右共 180°(雙眼重疊的區域為120°)，中央視線往上 60°、往下 70°。最有效的視
力範圍在中央 30°視角內，可提供清楚的視覺影像與色彩資訊，愈往視野周邊愈不精確
，主要藉對明暗強度的反應辨識視覺線索，周邊視覺僅供視者維持一般方向感與空間動態
活動的察覺(圖3-4)
-------------------------------------------------------------------
得知
- 人眼視力最高解析度區域僅占2°
- 人眼視力最有效的範圍在30°內

這也可以測試自己的眼睛來驗證，先讓電腦螢幕上顯示一大片小一點的文字，
固定注視著中間某一個字，不移動視線的情形下試著把旁邊的文字"看清楚"
可以發現確實就只有固定注視的文字旁邊非常小的範圍可以辨別，
詳細幾度或許因人而異但不會差2度太多 (記得用小字比較明顯)

二、再參考Go的 Fixed Foveated Rendering 做法: https://goo.gl/CPkUjA
可以得知他主要概念是基於以下兩個:
- 因鏡片變形，眼睛看中間區域的10度和看邊緣的10度所佔的面板區域不同大，
  旁邊占較大，故將旁邊的解析度降低後因佔的區域大實際看到的解析度不會差太多
  我想這可以這樣類比，放兩個4K螢幕在正前方:
  A. 20吋，距離眼睛100公分，撥放4K畫面
  B. 40吋，距離眼睛200公分，播放同畫面2K解析度
  此時人眼看起來應分不出兩者的差異
  而A就是FFR的中央區域，B就是邊緣區域，B就算播放4K畫面人眼看起來也沒太大差異
- 一般人眼視線習慣會"掃描"的區域只有中央大範圍，很少人常常斜眼看東西，太累。
由這兩點的概念產生了FFR，且建議開發者盡可能開高，主要是降低四周10~20度區域
的解析度，保留中央70~80度區域不降解析度


綜合以上一二資訊可以推論出如果有眼追用來精確知道注視點，那麼
這中央區域可以再縮小進而將更多的區域降低解析度而不影響視覺上的品質
畢竟人眼最高解析度只有約2度，較高解析度只有約30度，而現在FFR的作法是
中間部分約70~80度都畫最高解析度，加了眼追後可能畫30度最高解就行
※ 編輯: zebb (61.228.154.33), 01/10/2019 11:18:45
推 museangel: 想到縮小渲染範圍就想到相反的概念，360° 3d錄影，好
→ museangel: 像很少看過哪個遊戲有360° 3d通關影片，多數都只用2d
→ museangel: 拍給大家看，但vr遊戲的最大價值就是沉浸感呀，是不是
→ museangel: 問題在技術上很麻煩？
→ zebb: 遊戲中FOV外的沒有render，要全部render的話FPS應該很可怕
推 museangel: 那之後大視野的pimax大量出貨比較有機會看到vr180°遊
→ museangel: 戲影片囉？因為目前連vr180°都好像沒看過
→ zebb: 小派沒到180，最多水平170，另外問題是遊戲中玩家會看來看去
→ zebb: 直接把雙眼影像鏡射錄成影片或live理論上有可能但
→ zebb: 實際上觀看者會非常容易暈
→ zebb: 所以用MR的方式錄遊戲內容會是比較好的方式，而你要的類似
→ zebb: 用兩個鏡頭來錄製MR，理論上可行實際上沒看過有人這麼做
→ kuma660224: Oculus最近又推出FoveatRandering改良版
→ kuma660224: goo.gl/VCg1iM  也是無須眼球追蹤
→ kuma660224: 但多了後製補畫面需求，沒省那麼多
→ kuma660224: 還在測試版階段
→ kuma660224: 這個Masked Based技術重點不是讓外圍模糊
→ kuma660224: 而是減少消耗時仍可保持清晰...
→ kuma660224: 可能未來可以跟其他降低解析度的技術並用
→ zebb: 這個應是畫低解再升頻回來，和眼球追蹤是兩回事
→ kuma660224: MBFR可跟眼球追蹤並用，所以稱為FR
→ zebb: 眼追與MBFR與FFR可以配合使用，更減少loading
→ kuma660224: 但目前Oculus沒有砸錢搞Foveat硬體
→ kuma660224: 所以暫時實作只有類似FFR固定位置
→ kuma660224: 技術是類似升頻，而傳統FR都是降下去就糊了
→ kuma660224: 要省更多效能可能就太糊被察覺，
→ kuma660224: MBFR可用來讓你Foveat外圍不要降太多
→ kuma660224: 但他用Stencil Mask讓GPU達到再省些效能
→ kuma660224: 比如原本外圍40%解析度才順，可能用
→ kuma660224: 50％解析＋MBFR遮蔽＋後製升頻省10％效能
→ kuma660224: 跟降到40％差不多快,但畫質好一點
→ kuma660224: FR是繪圖技法，跟EyeTrace其實是不同技術
→ kuma660224: FR可以有很多不同繪圖實作方式，eyeTrace也有很多不同
→ kuma660224: 硬體實現方式
→ kuma660224: 只是兩者要協作才能完整運用
→ kuma660224: 老黃協助HTC實作到SDK的只是軟體面
→ kuma660224: 的FR渲染，EyeTrace硬體技術大概來自供應商
→ kuma660224: Oculus的FR繪圖技法應該自己在搞，
→ kuma660224: 而EyeTrace硬體他有收購丹麥的眼球追蹤公司
→ kuma660224: HTC太小，傾向整合產業上下供應商技術
→ kuma660224: Oculus有財大氣粗FB,傾向垂直整合自有方案
→ kuma660224: 但也受限FB對HardCore市場沒啥興趣....
→ kuma660224: 它的眼球追蹤與高階硬體，已經不優先了
→ kuma660224: 除非眼球追蹤技術能再Costdown能下放
→ kuma660224: 目前蘋果谷歌Oculus都有併購眼球追蹤公司
→ kuma660224: 避免專利卡在供應商.
→ kuma660224: 要實作產品其實不是軟硬體問題，
→ kuma660224: 而是何時成本壓低與VR/AR市場成熟度的問題

Foveated rendering就是"注視點"渲染，wiki第一句就是
-----------------------------------------------------------
Foveated rendering is an upcoming graphics rendering technique which uses an
eye tracker integrated with a virtual reality headset to reduce the rendering
workload by greatly reducing the image quality in the peripheral vision
(outside of the zone gazed by the fovea).[1][2]
-----------------------------------------------------------
為何叫Foveated(注視點)rendering也就是這方式目標是"注視點以外的區域反正也看不出
來所以可以利用一些不同的rendering方式在這些區域偷效能"，所以需要眼追才能得知正
確的"注視點"來做到以上目標。

oculus做的FFR、MBFR並不是正規的注視點渲染，而是為了CP值所做的取捨。這取捨相對
的因為不知注視位置導致中央不偷效能的區域就必須夠大涵蓋一般人習慣轉眼珠掃描的
範圍，70~80度視角代表他預設大部分用戶轉眼珠大多都在這70~80度內，但不會/很少
直接看最邊緣的那10~20度，所以從那邊緣10~20度來偷效能。
這也就是我稍早說的FFR第二概念。

是故FR並不能稱為繪圖技法，繪圖技法是"FFR的降解"或者"MBFR的遮罩"，FR是"從注視點
以外的區域偷效能的方式"，而他需要使用眼追(有很多不同實作方式)配合繪圖技法(同樣
很多不同實作方式例如FFR的降解或MBFR的遮罩少畫再升頻回來)才能完美實現。
當然少了眼追也行，只是能省下的資源較少。
但FFR與MBFR沒用眼追不能結論為 "用FFR或MBFR就不需要眼追" 而是 "因為眼追還很貴，
考量CP後決定先不加眼追硬體而預設用戶就是只能看中央70~80度才清楚"

所以稍早我解釋的是"FFR再加上眼追的話可以進一步提升效能"
至於oculus的做法，我也覺得很實際，眼追硬體成本下來前先從軟體面能做的盡量做。但
效果上不會比真正配上眼追硬體還好。
※ 編輯: zebb (61.228.154.33), 01/10/2019 15:14:12
→ kuma660224: 那是當然，oc現在走cp值衝量的路線
→ kuma660224: 無意追求更高大上的完美方案
→ kuma660224: 所以一些內部元老級走了
→ kuma660224: 軟體提升至少不花什麼成本又立即見效
→ kuma660224: 之後看看Vive Pro Eye到底會什麼價格
→ kuma660224: 感覺會創下vive系列新高價紀錄
→ zebb: pro eye我無法看好...曲高和寡，眼追對體驗提升又不若大FOV
→ kuma660224: 我也覺得大FOV比較優先，還有紗窗
推 nfsong: 如果仔細看能看得清  慢一點 小一點應該無訪 至少要看的清
→ ry3298: 滿好奇用什麼追蹤技術，穩定性如何。以前用眼動儀的經驗
→ ry3298: 是這玩意兒很容易失焦，大概連續用10分鐘要校正焦點一次
→ ry3298: （要校正的是眼動推斷的使用者視焦點
推 ry3298: 至於眼動追蹤技術，國內也有自產的唷
→ zebb: 應該就是紅外線LED+紅外線攝影機+影像處理，放VR頭顯內
→ zebb: 因為距離眼睛非常近所以精確度可以更好，或許也不用常校正
→ kuma660224: 目前多是紅外光源與感測器堆在眼周
→ kuma660224: 用眼睛不同部位反射度不同去推定視點角度
→ kuma660224: 原理其實蠻單純，一堆新創企業在搞
→ kuma660224: 軟體與硬體組合都還在優化（成本上的）
→ kuma660224: 技術成熟但成本重量怕會讓頭顯很難賣
→ kuma660224: 所以遲遲不見標配
→ kuma660224: 其實VR不要求用眼神控制的精度
→ kuma660224: 只要大略角度允許小誤差，也能拿來省效能
推 ry3298: 沒用過頭盔/眼鏡型，不知如何XD 以前混的地方考慮過tobi
→ ry3298: i的眼睛型，但最後沒入手