[情報] XCloud導入Direct Capture技術降低延遲

[talan (這個好吃嗎)]

微軟在今年E3期間除了有兩場遊戲發布會之外，
其實還有一系列針對遊戲開發的Xfest影片，分享一些遊戲技術與開發技巧，

有興趣的可以在以下網址下收看

Xfest 2022
https://www.youtube.com/watch?v=4aBEi4SbPlQ&list=
PLRs2lXTYCDQ3uPs2PBJoc69ET6LrM_EK5

https://tinyurl.com/2bw2kp4w


其中，微軟發表一項今年開始導入Xbox Cloud Gaming雲端遊戲串流技術-Direct Capture

https://www.youtube.com/watch?v=-WIXftoHCl4

影片有中文字幕，雖然是機翻，但大致可以看懂。


Xbox雲端遊戲串流，從遊戲中的一幀遊戲畫面從渲染完成到被編碼成串流畫面，
以往是要完整走完硬體HDMI顯示的流程


https://i.imgur.com/m3yP5MT.jpg

present queue (0-66ms) -> 顯示 -> 顯示回寫 (8.3ms)

根據遊戲不同，遊戲畫面在顯示前會有一個佇列，有些遊戲有雙重甚至三重緩衝，
會占用0到66ms不等的時間。而在螢幕顯示之後，還有一個固定8.3ms的顯示回寫，
才能進入串流編碼，因此走完整個HDMI顯示流程會有8.3至74.3ms不等的延遲，

但2022年，微軟推出新技術Direct Capture，遊戲畫面被編碼成串流畫面前，
可以直接繞過整個HDMI流程

https://i.imgur.com/jiM2cKn.jpg

https://i.imgur.com/OyOfrvR.jpg

Direct Capture處理時間為2-12ms，可以節省至多72.3ms的延遲，

繞過硬體顯示流程，能避免垂直同步、雙重/三重緩衝所造成的等待時間，
免了那台根本不存在雲端資料中心的顯示器所需的縮放處理時間。


而Direct Capture可以自動應用在許多雲端遊戲上，
但目前技術還有一些限制，某些遊戲需要開發者作點變更才能使用

https://i.imgur.com/ewirHY0.png


如目前只支援到1440P的最高解析度，不支援動態解析度、HDR等，
但這些限制會隨技術進步逐漸改進。

另外微軟也堆如何降低遊戲延遲，對開發者作出一些建議

目前Xbox雲端遊戲，PC支援的最高解析度為1080P，移動設備則是720P，
所以遊戲原生解析度超過上述解析度，在串流中都需要縮放處理，增加處理時間，
若想強化雲端遊戲體驗，微軟建議可以降低解析度，除了免去縮放處理時間，
也能在運算資源投在強化遊戲畫面

---

有聽說某些使用VPN遊玩雲端遊戲的人說延遲很低，當時覺得很不可思議，
說不定是遊玩有應用Direct Capture的遊戲。

微軟一直有在改善雲端遊戲的遊玩體驗，
像是去年有在EDGE瀏覽器上推出clarity boost功能，
能應用本地主機的運算能力，強化串流畫面的清晰度。

可惜目前還是沒法體驗，希望雲端遊戲早日在台灣服務...

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 220.132.218.164 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/XBOX/M.1656258166.A.56A.html
推 TETUO: 直接繞過去也太威了，不愧是微軟作為軟體開發本業的實力!
→ Avier: 慘了太猛了
→ Avier: 希望未來 PC 也不用透過顯示卡，直接雲端 8K 開下去解析度
→ Avier: 串流遊戲玩
※ 編輯: talan (220.132.218.164 臺灣), 06/27/2022 00:15:16
推 JIKUAI: 台灣資料中心何時蓋好啊QQ
推 faang: 裡面也提到不少讓玩家在各平台都能用最佳方式進行遊戲的設
→ faang: 計（例如可以依平台設不同的亮度設定），看來微軟還滿用心
→ faang: 讓玩家在不同硬體平台都能有良好的遊戲體驗
推 Avier: 前陣子有應徵資料中心職缺，有錄取，不過目前都在他處受訓
→ Avier: 任職 @@
→ Avier: 有任何資訊再來回報
→ oldk13: 買zenimax效果出來了吧
推 AccLaborGo: 預祝樓上A大及部門順利，好期待呀
→ iceranger: 嗯，跟我想的一樣（喂
推 rakuinn: 微軟雲端就是業界NO.1啦
→ skybrest: 推
推 horseorange: 推
推 aa08175: 恭喜A大
→ supereva: 還以為是在你動手指之前 direct capture你的腦波 做到
→ supereva: 預先輸入無延遲
推 sumarai: 那麼台灣要去哪裡才能用得到呢？
推 js0431: 這真的我的超人
→ midas82539: 這個就輸入源fps的問題啊，基本上由於不同訊號會有
→ midas82539: 不同Hz的問題，例如要把24p的訊號播放在60p更新率的
→ midas82539: 螢幕上，你的螢幕就必須要自己補上差額幀數，而計算
→ midas82539: 跟貼補就會造成延遲跟畫面抖動，所以反過來說
→ midas82539: 理論上可以得知你家螢幕的更新率，再餵給它要的Hz
→ midas82539: 自然就可以繞過這些問題，原理大概就這樣吧
→ midas82539: 這方法其實就是一種變相的鎖幀，所以代價是解析度
→ midas82539: 會有天花板，而且其他因素的掉幀還是會發生
推 ts00422832: 感謝分享
推 eddy664: 用 VPN 連 XCloud 不會是全程 VPN，只有一開始需要，連
→ eddy664: 上後就斷開，相當於直連，所以只是 server 比較遠而已。
推 Neville0402: VPN連日本毫無延遲，真的是黑科技
→ TETUO: 下一步就是Ai學習預判玩家的操作(誤)
推 gambitlin: 今天開日本VPN玩賊海，幾乎沒延遲真的很神奇阿，60fps
推 TaipeiKindom: AI預判操作來達成0延遲是一個很有趣的議題，一旦發
→ TaipeiKindom: 展出來，會造成一些奇妙的現象。舉例來說，當AI的預
→ TaipeiKindom: 判速度追上玩家，確實能達到理論上的最低延遲，但繼
→ TaipeiKindom: 續發展下去，讓AI的預判速度超過玩家呢？遊戲會變
→ TaipeiKindom: 成怎樣？答案是玩家會漸漸不確定是不是自己在操作，
→ TaipeiKindom: 有時候明明反應不及，遊戲畫面卻朝著玩家原本的意
→ TaipeiKindom: 思改變了，甚至玩家都放開手把了，AI卻繼續演算預判
→ TaipeiKindom: 一直玩下去。這種情況下，到底是玩家在玩遊戲，還是
→ TaipeiKindom: 雲端上一個行為模式跟玩家一模一樣的的AI在玩遊戲呢
→ TaipeiKindom: ，這個AI會不會進化到比玩家還強呢，以上是亂講
推 iceranger: Nier自動人形的簡單戰鬥模式就有點像金盾講的意思
推 ching1210: 我只想知道台灣到底什麼時候才會開放... 不想特地用VPN
推 unorthodoxy: AI不會這麼假 它偵測你幾次反應跟不上 就不會再幫你
→ unorthodoxy: 操作了
→ unorthodoxy: 全部都是統計處理 馬上就知道你實力在哪
推 gambitlin: 等微軟AZURE伺服器建好~
→ gambitlin: 我日VPN到日本開門但是連美國玩，不知道是存取哪個伺服
→ supereva: vpn到哪就是連哪邊server  選美國只是選美國只是選語言