[情報] 目標解析度世界第一的Varjo

[covenant (藍悠)]

http://www.moguravr.com/varjo-vr-2/

之前就有看到號稱要達到人眼水準的Varjo在募資，預計2018年底前發售。

https://www.meson.tokyo/blog/2018/1/27/vrvarjocmo

最近看到這篇採訪，看起來效果的確是挺驚人？

製作者原本是來自於Nokia，當初Hololens也運用了被微軟買下的Nokia的基礎技術。

據說解析度比Oculus和Vive要來得高60倍。

https://goo.gl/e6f81A 上方是Varjo，而下方是Oculus的畫面。

採訪中有提到技術內容，我也是看得半知半解就是XD"

https://goo.gl/ReZ3AM

似乎是說在透鏡和銀幕之間設置OLED顯示器和可將顯示器反射的鏡子，並且透過視線追蹤
把握使用者正在看哪，在OLED上顯示視線所及之處的對應影像，並利用鏡子調整角度來讓
對應影像能正好照射在視線所及之處。

他們也有預計開發AR眼鏡的樣子，據採訪者所說也是效果驚人？不同於Hololens是透過鏡
片直接看到現實世界，而是像VR那般覆蓋使用者所有的視界，並透過攝影機拍下的畫面來
讓使用者看到現實世界。

不過解析度這麼高的VR頭戴式顯示器沒有打算販賣給一般消費者的樣子，是定位為高價位
向企業販售，大概在16萬到22萬台幣之間？

也許未來會有機會在遊樂園之類的地方體驗到也說不定XD


--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 1.171.95.154
※ 文章網址: https://www.ptt.cc/bbs/VR/M.1519438764.A.B5E.html
推 nfsong: 好屌
→ samhou6: 60倍?  認真?
→ kuma660224: 內文寫那oled 1個成本要10萬日幣...
→ kuma660224: 這即時運算，大概不是一般消費電腦
→ kuma660224: 能跑的動，是用在例如商業飛行模擬器
→ kuma660224: 電腦可能是大機櫃插很多顯卡。
→ shamanlin: 內文沒有的結構沒有說得很清楚，但應該不是3F想的那樣
→ shamanlin: 這不是真的弄一個超高DPI的OLED，自然也不需要更多圖形
→ shamanlin: 運算，傳統是放一個螢幕然後你眼睛可以到處看，這方法
→ shamanlin: 是利用眼動追蹤跟鏡子折射，讓你眼睛好像到處看但其實
→ shamanlin: 固定在一個範圍，用傳統方式看一個物件可能200x200
→ shamanlin: 他就能讓你在感覺大小不變的情況下看到400x400
→ shamanlin: 但這種設計有很明顯的兩大缺點，基本上我認為是悲劇啦
→ covenant: 缺點@@?
推 GameGyu: 沒誤解的話，其實就是一片投射到另一片...
推 zebb: 這半年以上了，原理其實就是注視點渲染的概念，利用一片
→ zebb: 高解的微型OLED，再加上巧妙的機構與眼球追蹤，讓你不管看哪
→ zebb: 視野中間都是那塊微型OLED
→ zebb: 構想很好，做的完美效果一定不錯，但牽涉到機構就不知道
→ zebb: 實際做出來的效果如何了。另外是有機構應該更不耐摔
推 zebb: 微型OLED常見於高階無反相機觀景窗內。這樣做或許與注視點
→ zebb: 渲染也有相同問題，就是遊戲應用需特別支援才能使用此功能
推 zebb: 這篇不錯 https://itw01.com/2LTGEP6.html
推 Litfal: 概念不錯，但反應速度應該很難達成
推 Litfal: 除了機構要跟上眼球，眼球追蹤資料還要送給應用程式→回傳
→ Litfal: 注視區的高解析圖像→繪製  這樣的一個過程會帶來延遲
推 peacedove: 我有看過，現在prototype的區域很小一塊，但真的很清楚
→ shamanlin: 根據資料圖形繪製那是最不用擔心的部分，最大的兩個缺
→ shamanlin: 點一個是眼動追蹤的精度與回饋速度，另一個注定悲劇的
→ shamanlin: 是只要牽扯到機械結構就直接GG了，目前技術不存在可以
→ shamanlin: 讓折射鏡片的機械結構能即時跟上眼球動作
→ kuma660224: 注視點渲染只是解約繪圖效能。
→ kuma660224: 它要細緻還是需要超高解析oled
→ kuma660224: foveated只是讓外圈用低解析度繪製
→ kuma660224: 內圈還是受限面板實體ppi
推 zebb: 這還是注視點渲染概念沒錯，要畫超高解的只有中央那塊OLED
→ zebb: 的區域，旁邊相對於中央是低解的
推 terrytina19: 想買 等中樂透再說...
推 zebb: 他的微型OLED只佔整個FOV15%，若要全部100%都畫這種解析度，
→ zebb: 目前消費市場的硬體不可能達成的，等個10年看看有沒有機會
→ zebb: 我認為這應用眼控的精度不用很準，主要還是機構問題待克服
→ kuma660224: 15%那根本沒幾度嘛
→ kuma660224: 人眼看VR連目前100度都還嫌太小
推 zebb: 大概就像這個吧 https://goo.gl/KmUYvA 沒實際體會不知效果
→ zebb: 說不定夠用了?有試過的peadedove大覺得呢?
→ zebb: 另外，有夠巧 蘋果上週公佈個新專利，內容幾乎和varjo完全
→ zebb: 相同，不知有沒有投資 https://yivian.com/news/41880.html
→ zebb: 等等，蘋果的專利是去年8月提交，但varjo在這之前就公布了
→ zebb: 所以是被蘋果致敬? XD
推 zebb: 阿 抱歉，打錯字，是peacedove大才對，sorry~
推 peacedove: 現在的大小要拿來應用完全不夠，但他們有workaround 的
→ peacedove: 方法（但我不是很懂）。然後我看到的已經是一年前的舊
→ peacedove: 產品了，他們現在應該有更好的
→ kuma660224: 蘋果的專利看起來只有應用foveated rendering
→ kuma660224: 跟活動鏡片折反射沒有關係。是直接塞8k螢幕
→ kuma660224: 用foveated注視渲染產生內外圈不同精細畫像資料來餵
→ kuma660224: 用意應該是讓8k螢幕不需穿越時空門來的超級獨顯
→ kuma660224: Foveat概念易懂，如何具體實作就是專利想解決的
→ kuma660224: 顯示面板部分則另一回事。即使1K螢幕也能得利
推 zebb: 不對唷，你仔細看看蘋果專利內容，對於顯示面板組件有寫
→ zebb: The input-output devices may include one or more
→ zebb: displays ... may be mounted within a head-mounted
→ zebb: display chassis...
→ zebb: 這份專利是更廣泛的，不管是varjo的移動反射鏡做法，或者直
→ zebb: 接移動mini-OLED面板，或者僅用一整片5吋的mini-OLED(這面板
→ zebb: 可能要64K甚至更高的解析度)，都涵蓋在這專利內!
→ zebb: 依照varjo去年六月就開始看到消息，以及蘋果在八月提交
→ zebb: 此專利的時間，加上這專利的內容來看，我認為很有可能
→ zebb: 蘋果做專利蟑螂，看到varjo的idea就去申請個更泛用的
→ zebb: 專利且包含varjo的做法。當然也不排除真的蘋果是自己
→ zebb: 想到的啦，只是蘋果致敬其他人也不是第一次了...
→ zebb: 總之幫varjo QQ，至少歐洲區淪陷了 XD
→ zebb: varjo新出爐的through the lens https://goo.gl/PNC8yt
→ zebb: 看起來FOV不大，中間區域如果跟著注視點跑或許堪用...
→ kuma660224: 那英文只說可包含1或多個顯示器
→ kuma660224: 裝載於頭戴裝置內。
→ kuma660224: 從哪裡看出有可移動的東西?
→ kuma660224: 它移動的只是Foveat繪圖的聚焦點
→ kuma660224: 硬體直接用到8Kx8K超細顯示
→ kuma660224: 不用什麼機械位移折射的奇淫巧技
→ kuma660224: 是用高低解析的兩個buffer傳輸資料
→ kuma660224: 用圖形裝置將兩者融合成一個。
→ kuma660224: 顯示在超高檔8k顯示器上。
→ kuma660224: 要在這麼小空間做到8k甚至不只一個
→ kuma660224: 它很可能是用到研發中的microled
推 zebb: 我說的是varjo符合他的專利內容，專利並沒有說面板不能移動
→ zebb: "移動的只是Foveat繪圖的聚焦點"，不就是varjo的作法嗎
推 zebb: 另外資訊有點奇怪，編號14的整個display和編號50的注視點
→ zebb: 區域都是8Kx8K?如果50是8K，整個14應該是64K之類了吧
→ kuma660224: varjo重點是用移動的機構，去跟隨視線焦點而顯示
→ kuma660224: 如果只是講foveated，早就有其他實作方案
→ zebb: 如果50注視點是用8K，整個display 14也是用8K，代表50是第
→ zebb: 二片不同於14的面板，那麼要讓這面板移動到注視點，有很多
→ zebb: 方法，varjo是其中一個
推 zebb: 我說的編號50 14是看這個https://goo.gl/2Mrooo
→ kuma660224: 14是整個8k顯示器，50,52,54是標示foveated不同影響
→ kuma660224: 因為高解析與低解析需要漸變融合
→ kuma660224: 54已經完全是100%低解析，
→ kuma660224: 50小框以內100%完全高解析，52是兩者漸變範圍
→ kuma660224: 繪圖晶片產生1全景低解析輸出，再產生1高解析局部輸出
→ kuma660224: 如眼球往左上角看，50/52整個往左上角移動
→ kuma660224: 其他部位全用低解析度取代，反正是眼角餘光
→ kuma660224: 這個50/52大小應該可調整。越小越省效能
推 zebb: 似乎是你說的對，我沒細看文字只看圖片，被FIG.4內的#50說明
→ zebb: 誤導了，他不該寫8Kx8K而是該寫Full resolution才是
→ zebb: 所以是整塊8K面板，注視點畫全解析度，其他部分畫低解
→ kuma660224: 其實它這做法讓我很讚嘆。原本我以為的
→ kuma660224: Foveated繪圖實作，是全在gpu搞定。
→ zebb: 細看文字後確實應如你所說，抱歉阿 orz
→ zebb: 如此確實和varjo不同，應沒有專利問題，我收回蟑螂~~
→ kuma660224: 傳輸時已是跟面板相同解析度，只是繪圖時取巧
→ zebb: 不過GPU還是得知道50區域才能畫full resolution吧?
→ zebb: 你是說GPU畫8K?那不就沒有省到效能?
→ kuma660224: 但高解析8K@90hz要怎麼傳輸是個問題
→ zebb: 目前要畫4K@90Hz都有困難了，畫8K就沒有注視點渲染的意義了
→ kuma660224: Apple想到的做法似乎是傳輸1低解析圖（舉例3K）
→ kuma660224: 再傳輸1點對點圖（舉例也3k）只佔畫面幾分之一
→ kuma660224: 兩張圖在顯示器用硬體合成8K畫面，視線焦點看到
→ kuma660224: 是點對點圖所以高解析，外圍是低解析顯示在8k面板
→ kuma660224: 這樣只要很少傳輸頻寬就搞定8k輸出顯示。
→ kuma660224: pimax的8K, 後來就傳出其實傳輸輸出時只有5K
→ kuma660224: Pimax只是用8k面板顯示5K畫面來減少紗窗
→ kuma660224: 因為即使gpu超強，真8k用線材傳輸也是問題
推 zebb: pimax8K是用兩個4K面板，輸出1440P單眼再升上去
→ zebb: 所以注視點渲染還是得在PC的GPU做才行吧
→ kuma660224: GPU內搞定foveat做法類似  goo.gl/3WeGz9
→ kuma660224: GPU要知哪邊需完整解析度，其他區可縮水到1/N
→ kuma660224: 最終傳輸給顯示器仍會scale各區域為正常解析度
→ kuma660224: 正常繪圖時每個像素可能經歷成千上萬的運算指令
→ kuma660224: 把左上角當成1/4低解析，該區就只要1/4運算量。
→ kuma660224: 雖然將它算完放大回正常尺寸時也消耗一點運算量，
→ kuma660224: 但放大是透過硬體，每像素只耗1個tex2d()指令
→ kuma660224: 幾乎無感，所以GPU透過分區不同解析度，再輸出4-8K
→ kuma660224: 會比畫原生4-8K省效能。但傳輸4-8K到面板的頻寬沒省
→ kuma660224: Gpu全程搞定方案當解析度與fps越高，會撞上傳輸問題
→ kuma660224: Apple也用gpu做不同解析度的注視點渲染
→ kuma660224: 但gpu只渲染，兩種較小暫存畫面用線傳輸給顯示器，
→ kuma660224: 由顯示器內某種硬體scaler去合成, 最終輸出成8k
→ kuma660224: 就可能用現有HDMI或DP去搞定8K@120hz
→ kuma660224: 而pimax沒這技術也沒Foveated，只能硬幹。
→ kuma660224: GPU與傳輸頻寬兩個瓶頸無法克服，只能向解析度妥協。
→ kuma660224: 不管如何實作，Foveated VR繪圖最後輸出都像這樣
→ kuma660224: goo.gl/eS2sJ6  中心有某區塊是100%點對點
→ kuma660224: 往外一個範圍是漸變區，最外圍大面積是糊的低解析
→ kuma660224: 看這圖再回頭看專利示意圖，就更清楚了
→ kuma660224: Apple強在它投資是一條龍，從軟體到SOC到超高解析面板
→ kuma660224: 所以能提出這種方案，可能要訂做配合的顯示器
推 zebb: 懂了，簡單說就是用8K面板，注視點追蹤，叫GPU畫注視點附近
→ zebb: 相對整個FOV8K下小區域的1對1解析度(假設20%就是約1.5K)，再
→ zebb: 畫其餘整個FOV的低解畫面(假設2K)，傳輸這兩個畫面進頭盔，
→ zebb: 再用硬體搭配注視點位置來合成並upsacle成8K來顯示這樣。
→ zebb: 謝謝解說，我被FIG.4那個小區域的8Kx8K誤導了 XD
推 zebb: 不過這樣說來也和varjo概念是一樣的，畫兩張高解低解，只是
推 zebb: varjo像你所說沒這技術所以只能如此實作
→ kuma660224: apple那需要未來的8k面板
→ kuma660224: varjo可能不需要未來的面板
→ kuma660224: 因為它只要很小一塊用在高解析局部
→ kuma660224: 所以現在就能生出原型
→ kuma660224: 不過我沒看到它解決視野外圍顯示問題
→ kuma660224: 外圍眼角餘光也是需要面板來顯示
→ kuma660224: 它用鏡子折射的似乎只有小小高解析的
→ kuma660224: 但VR不能視角小到只秀Foveat區域啊?
推 zebb: 他用兩塊面板，全視野用低解的，注視點區用高解的mini-OLED
推 sasado: 解析這麼高，一般PC一定跑不動
推 zebb: 並不會，加上注視點渲染後整體沒畫多高