[情報]YoYo鹿鳴的台前幕後，再探米哈虛擬角色

[unlimit999 (黑先生)]

來源:https://mp.weixin.qq.com/s/G6IQn31SfLyBh5lQHcw99g

初見鹿鳴，不覺眼前一亮，“小姐姐”外表清新脫俗，神態舉止俏皮可人，不由讓人心中
升起種恬淡悠然之感。不久後在2020虛幻引擎開放日上，米哈遊總裁大偉哥的演講首次揭
秘了鹿鳴項目的幕後故事。方知鹿鳴項目的與眾不同，她並非一個“功利”的商業項目，
而是米哈遊內部第一個虛幻引擎技術驗證項目，立項初衷是受虛幻引擎GDC演示項目Siren
啟發，嘗試將米哈遊擅長的二次元賽璐珞風與虛幻引擎擅長的PBR寫實風相結合，以求尋
得一個平衡點，也就是如今大家見到的鹿鳴獨有的渲染風格。

https://youtu.be/zcRGPmEawmk

熬過疫情，鹿鳴在春節前成功完成了最新一期的直播。“呦呦鹿鳴，食野之蘋”，恰逢大
地迎春之際，讓我們再一次探訪鹿鳴，了解下她從“深閨”到台前的“成長”之路。

首先在項目的第一階段，團隊唯一的目標就是將渲染品質提高，以求做到對標影視級別，
這可以說是一個純LookDev階段，所以不會過分糾結於一時的渲染及模擬效率。作為米哈
遊第一個虛幻引擎項目，團隊許多人對虛幻引擎並不了解，不免擔心影響工作進度。所幸
虛幻提供的可視化編程功能——藍圖，對於新手十分友善，尤其對有其他引擎使用經驗的
團隊來說，更是很快上手。這使得團隊能夠快速搭建場景或實現各種功能原型，并快速迭
代來找到最佳方案。

而最受美術同學歡迎的要屬Layered Material功能。有了它，美術可以方便地從材質庫引
入材質作為子層，將材質由shader藍圖的編輯變成了類似傳統美術軟件對層進行操作的邏
輯，更符合美術的直覺，使得美術同學能很快學會在引擎中如何進行材質構建。而其每個
層相對獨立的特點，也使得材質的維護修改變得方便快捷。

而為了追求影視級品質，這一階段的作品都是通過虛幻引擎的影片渲染隊列（Movie
Render Queue）功能進行離線生成的，所以生產管線也就類似傳統離線CG的管線，而
Python作為傳統管線軟件都支持的腳本語言，對於整個管線的自動化效率至關重要，虛幻
引擎對Python的支持，使得引擎與傳統CG流程管理軟件、製作軟件可以輕鬆銜接，大大方
便了資產管理以及批量化資產導入導出。

https://i.imgur.com/dR2xUv6.png

一言以蔽之，彼時團隊就是將虛幻引擎作為一個所見即所得的LookDev編輯器+離線渲染器
來使用。

這一階段直到UOD2020結束大半年後，團隊確認了最終想要的風格以及品質標准後而告一
段落。第二階段的工作重點自然是大偉哥在虛幻開放日分享結尾立的flag——做直播！

直播意味著是整個流程從離線到實時的顛覆，從後期配音到實時語音合成，從表演捕捉後
再將數據交給動畫師精修變成實時的表演捕捉，從離線在其他DCC中進行布料、肌肉模擬
解算再將結果導入引擎到全實時解算，從原先幾分鐘甚至十幾分鐘一幀的畫面到1秒30幀
，而這一切都還有一個大前提——必須保持離線的品質！

於是簡單的兩個字，團隊走了近兩年，在去年七月終於完成了鹿鳴的直播首秀，在保證了
品質的同時，驗證了整個實時處理流程框架；更在第二次直播時，根據粉絲的反饋，優化
了管線、表情、物理模擬，使品質再上層樓。

要將虛幻實時渲染的品質達到MRQ離線渲染品質，難度不言而喻。所幸鹿鳴背後有著數以
百計的算法科學家與軟硬件工程師為其攻克道道難關。

第一道難關是動作捕捉中的重定向。由於動捕演員的身形各異並且動作風格不完全可控，
想要鹿鳴有自然的表現，存在諸多的挑戰。由於虛幻引擎4 官方還沒有加入IK Rig
Retargeting功能，團隊自己實現了一個IK Solver，以使在重定向過程中避免穿模的同時
，還能保證動作的穩定與自然。

而表情捕捉就更絕了，原以為鹿鳴這樣的卡通角色，由於渲染上模型或材質上的細節不多
，表情上稍微有點差別，畫面上可能看不出什麼區別，可以更容易地避免恐怖谷現象。然
而理想很豐滿，現實總是很骨感，正因為沒有了模型上材質上的一些細節，表情的自然與
否反而變得更加重要。為了能夠獲得更好的細節表現，米哈遊需要獲取面捕過程中的底層
數據做定制優化，而不僅僅是商業方案解算後提供的預設的BlendShape組的權重值，於是
索性從頭開始，“軟硬兼顧“地做了一套完整方案。

https://i.imgur.com/CH18tAP.gif
表情捕捉效果

說完表演捕捉，再聊聊鹿鳴飄逸的秀發。為了提高頭髮的細節表現，米哈遊並不滿足於虛
幻引擎Groom默認的為了兼顧性能而偏線性的Strand插值算法，這可能使頭髮會被一些本
不該對其產生影響的Guide Line所影響而產生“炸開”的情況，而Maya XGen的插值允許
使用美術自定義的規則，從而滿足特定美術效果需求。於是團隊使用Maya XGen生成的數
據作為Ground Truth的數據集，通過機器學習實現了一套Strand插值算法以模擬Maya中的
插值效果，這才讓鹿鳴的毛髮變得絲絲順滑～

https://i.imgur.com/D35HplI.gif
頭髮動態效果

同樣使用了機器學習的還有肌肉模擬，儘管鹿鳴是個姑娘家細胳膊細腿，直覺上肌肉模擬
的效果差別遠不如肌肉男來的明顯，但和微表情的捕捉一樣，正確的肌肉模擬帶來的細微
形變顯著提高了數字人的生動性與可信度。傳統的有限元算法性能不足以實時解算，於是
團隊將機器學習與傳統的有限元算法相結合，通過機器學習來加速有限元算法的求解以達
到實時模擬。

https://i.imgur.com/Rbfptvw.gif
肌肉模擬效果

最後不得不提的是布料模擬，這也是米哈遊這幾年一直在不斷改進積累的領域，為了能做
到實時解算並對標Houdini Vellum的效果，團隊用CUDA實現布料與毛髮的Solver，並能支
持多GPU加速，大幅提高了解算速度，最終達到了30FPS的要求。

https://i.imgur.com/qTEMspI.gif
實時布料解算效果

交流時和團隊天南地北地聊了許多相關技術，由於受篇幅限制，這裡能列出的不過是米哈
遊通過鹿鳴項目積累的技術寶庫的冰山一角，還有不少重磅功能以及實現細節需要等時機
成熟後由米哈遊鹿鳴團隊來揭曉。

而當被問及未來，團隊認為升級虛幻引擎5會是今年一個重要的目標，尤其對虛幻引擎5中
的Lumen、Substrate（即5.1的Strata）、Neural Network Interface等功能充滿期待。

交流會後回到家，想到會上濃郁的技術氛圍，想到討論技術時團隊成員放光的眼神，不免
令人感慨，世人都羨慕米哈游至今每一款作品都能獲得成功，我也不能免俗。但如今當我
見識了這風光背後米哈遊團隊數年如一日，持之以恆，專注於技術，對技術不計成本的投
入，耐心打磨每一個產品細節的付出後，倒也釋然了。

最後，感謝鹿鳴團隊的新老小伙伴們，期待將來米哈遊的技術宅們用虛幻引擎5為世界帶
來更大的驚喜。

=============================================================

今天終於知道米忽悠對這項目的定位了←_←

非功利性的UE引擎技術驗證項目

還改了好幾套渲染跟算法，沒想到這玩意投入了數以百計的人

真有錢Orz  這普通公司確實玩不起

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.171.33.69 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/miHoYo/M.1680681780.A.9C2.html
推 WindSpread: 知道這玩意兒總有一天會有用但不知道是什麼時候，反
→ WindSpread: 正先上在說
推 cloud7515: UE5聽說引擎很強 但是用這引擎做的遊戲不知道有多少
→ WindSpread: 不過米的UE轉型路真的好漫長啊，不知道哪一代產品才
→ WindSpread: 會開始，還是渲染天生風格不合所以還在觀望
推 Severine: $$$$
推 SiranuiFlare: 米哈由要用UE5做遊戲還得很久吧
推 k1k1832002: https://i.imgur.com/ASq90Ou.png
→ k1k1832002: 其實是有打算進一步嘗試的
推 k1k1832002: 我認為這還不錯吧,未來潛力很好,算是一套通全部通,像
→ k1k1832002: 就可以套個芭芭拉皮上去,或者另外產出專門IP主持人(例
→ k1k1832002: 如原神鹿鳴)
推 WindSpread: 大偉哥的動捕夢(X
推 LeonBolton: 老米總部有個研究所專門發論文/專利那種，AI、腦機接
→ LeonBolton: 口等都投入了大量的研究經費
→ LeonBolton: 調教引擎算是老本行，現在是適應新工具的階段
→ LeonBolton: 虛幻引擎做的遊戲不知道會是哪一款？蔡喵帶隊項目？
→ LeonBolton: 看崩3劇情第二部影片（八重村），很多玩家都在說
→ LeonBolton: 崩3改底層代碼了，黑媽媽有沒有什麼頭緒？
推 imsaint: 蔡那個不是說失敗解散了
推 LeonBolton: 就換一個開發項目而已，我問題在於：蔡喵主導的是不
→ LeonBolton: 是以虛幻引擎為主
推 k1k1832002: 未知XD   目前蔡喵的項目沒有什麼可確定的訊息
→ yuzukeykusa: 比較喜歡現在的美術
推 todo635387: 蔡喵的project sh已經失敗解散了，不過最近好像又新
→ todo635387: 建一個項目了