Re: [閒聊] 日本模型展疑似出現3D掃描作品的小偷

[yiefaung (艾克斯卡利伯)]

目前的工具精度可能的確不太夠
但這個問題正以肉眼可見的速度被解決

最近有個新技術叫做神經輻射場 Neural Radiance Field 簡稱NeRF[1]
發表在ECCV 2020
可以透過若干張2D圖像生成新視角跟3D建模
主要原理是給定座標和視角
預測空間中各個點的RGB跟密度(可以想成透明度)
最後再沿著新視角把各點的值累加
就是新視角看到的樣子

拿個常見的demo來說
有大約100張不同視角的lego車圖
https://i.imgur.com/UvNuoyp.png
最後可以得到各種視角 精度也相當不錯
https://i.imgur.com/CP2dSUP.gif

那麼在現實場景的表現如何呢
Google在CVPR 2021發表了NeRF in the wild[2]
搜集各個景點大家拍的照片去訓練
解決一些遮擋 相機參數 光線不一致之類的問題
也做出不錯的成果(以下影片)
https://storage.googleapis.com/nerf-w-public/videos/sacre/flythrough_v3.webm


那為什麼這個工具還沒普及呢
主要原因是要訓練很久
原版的NeRF要訓練好幾個小時甚至好幾天
不過好消息是這個問題在上個月被Nvidia解決了[3]
把訓練時間壓到幾秒鐘
沒錯就是幾秒鐘
連render都可以做到幾10FPS
雖然說隨便拍個照錄個影片幾秒鐘得到3d模型還有待開發
但是可以預見這類型的應用即將走進移動端
在這個各大廠力押ARVR的時代
相信大家可以期待一下



Reference:
[1] Mildenhall, Ben, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. "Nerf: Representing scenes as neural radiance fields for view synthesis." In European conference on computer vision, pp. 405-421. Springer, Cham, 2020.
[2] Martin-Brualla, Ricardo, Noha Radwan, Mehdi SM Sajjadi, Jonathan T. Barron, Alexey Dosovitskiy, and Daniel Duckworth. "Nerf in the wild: Neural radiance fields for unconstrained photo collections." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7210-7219. 2021.
[3] Müller, Thomas, Alex Evans, Christoph Schied, and Alexander Keller. "Instant Neural Graphics Primitives with a Multiresolution Hash Encoding." arXiv preprint arXiv:2201.05989 (2022).





※ 引述《S890127 (丁讀生)》之銘言：
: 日本海洋堂主辦的 ワンフェス（Wonder Festival）
: 有參展人士在推特表示
: https://twitter.com/FLT44000/status/1490582145835798534
: 有拿著顯示奇怪畫面的智慧型手機的三人組（沒有說日文）到我的展區來。
: 現在才懂他們在幹嘛。
: 原來是深度感測（Depth Sensor）
: 原來是在用 LiDAR...
: 推主重現看到的手機畫面
: https://pbs.twimg.com/media/FK_tfoVaMAAYazX.jpg
: 根據底下網友的判斷，應該是被用手機掃描了展示品的 3D 模型
: 雖然不保證能複製到完全一樣的精細度，但沒付錢、未經許可
: 跑去掃描人家的商品模型，這算是犯罪了吧？
: 也許再過幾年技術變得更精密，真的會有人拿手機去掃描模型來自製了？

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 166.170.30.114 (美國)
※ 文章網址: https://www.ptt.cc/bbs/C_Chat/M.1644511132.A.562.html
→ TED781120: 這差蠻多的吧。
推 csvt32745: 幫補一下 最近的研究可以不用幾分鐘就好了
→ csvt32745: https://nvlabs.github.io/instant-ngp/
→ csvt32745: 沒看到有放XDD 抱歉
推 zseineo:
推 johnny3: 其實不是很稀奇 幾年前我就看過有拿幾張照片生3d模的技術
推 longlyeagle: 身為一位職業機器學習工程師 訓練跟辨識是完全不同的
→ johnny3: 不過以前不知道多快就是
→ longlyeagle: nvidia壓縮的是辨識時間 不是訓練時間
→ longlyeagle: 建議修改內文 不要提供錯誤資訊
→ yiefaung: 是訓練喔 我已經reproduce在自己的dataset上過了
→ csvt32745: 單純好奇辨識在這個task的意思是什麼 0.0
推 longlyeagle: 看了論文 你是對的 我道歉
→ longlyeagle: 3D建模領域用的字眼跟機器學習不同 是我錯了
推 longlyeagle: 這裡居然不用inference 而是用NN的BP提供定位修正
推 namirei: 好強
推 lonelygroup: 哇噻這篇好強 感謝分享
→ bluejark: 這我就講了啊這個模型只能看看
→ bluejark: 生成的模組佈組你給建模師看他會跳起來打人
b大您好
如果您對這方面有了解的話
是否能說明怎樣的精度符合建模師的要求
我們做這方面很歡迎跟其他領域的合作
畢竟了解並實際解決問題才有價值

→ Mchord: 這個的產物是圖而不是模型，實用性差遠了
→ Mchord: Nerf不會給你3D模型，他只是把場景壓縮到model裡面而已
→ Mchord: 該應用現在優勢是它inference超擬真畫面的能力，用GPU搭
→ Mchord: 配各種normal, diffusion和specular map跟光追rendering
→ Mchord: 也需要花不少時間得到擬真畫面。
→ Mchord: 簡而言之Nerf不會給你模型，你沒辦法做到改顏色，剝掉衣
→ Mchord: 服，豐胸提臀等3D模型才能搞的事情。
M大您好
我不太清楚一般3D建模是用什麼格式
但是在NeRF原作中已經可以轉成mesh
最近也有一篇衍生作Point-NeRF可以轉成point cloud
透過NeRF建模應該是可行的？
※ 編輯: yiefaung (166.170.32.137 美國), 02/11/2022 08:21:36
→ Mchord: 你如果是說那個黃色voxel工程車的話那個品質完全沒價值
→ Mchord: 3D模基本組成是vertices, triangles和texture，從multivi
→ Mchord: ew image或points cloud轉出來的你解析度要又高又準才能
→ Mchord: 勉強看起來像是一般的模型
→ Mchord: https://youtu.be/t06qu-gXrxA 31：00處你可以看到他的點
→ Mchord: 數面數相較於品質來說非常可怕
原來如此 感謝解說
不過看到這個還是覺得大有可為哈哈
拭目以待了
※ 編輯: yiefaung (166.170.32.137 美國), 02/11/2022 10:51:52