[情報] Toyota正在研究基於視覺的Pseudo-Lidar

[Scape (缺鈣缺很大)]

影片：
https://youtu.be/SLEK2vAgjOI

https://i.imgur.com/FyhcjVO.jpg
Toyota 研究院的一位資深研究科學家在去年10月份的Stanford Seminar 介紹
了他們的深度估算方法，該方法利用其深度學習從單顆鏡頭的未標記拍攝影片
中做到類似LiDAR 對於深度(距離)的測量。影片很長所以提供幾個重點：


1. https://i.imgur.com/EOJq2ih.jpg
Toyota 每年售出1000萬輛汽車，這可能可以提供很多影片數據(數十PB)，相較
起來YT 影片數據量就只是個小泡泡。


2. https://i.imgur.com/TTuloRZ.jpg
以往的機器學習方式是(人工)標記資訊後的監督式學習(Supervised learning)，
未來要擴展到加入自監督學習(Self-supervised Learning)。


3. https://i.imgur.com/3fUsRzM.jpg
為什麼不用LiDAR 而要用Cameras + pseudo-LiDAR？簡單來說LiDAR 太貴了，
而且Cameras 便宜且易於安裝，不需要改變目前的車輛設計。


4.
他們認為他們自己的結果適用於白天和理想的天氣條件，在雨中效果也很好。
，另外夜晚測試他們還未做過。

與其他人的比較：
https://i.imgur.com/dMlPQH0.jpg

真實視覺影像、他們的結果、與3D 點雲的比較：
https://i.imgur.com/vk1t7Yh.jpg

影片從約14:00 開始：
https://youtu.be/SLEK2vAgjOI?t=839


5. 為何可以用單目攝影機就做到偵測深度？利用frame t 與frame t-1

雙目攝影機的做法：
https://i.imgur.com/Sn6w8yV.jpg

單目攝影機的做法：
https://i.imgur.com/XsCmPdl.jpg


後面幾乎都是在解釋技術細節，有興趣的人麻煩自己看就不節錄了。他們的工
作已經在2019年5月寫成論文發表，而這段在研討會上的影片則是在10月份。他
們所做的事情幾乎可以說跟Tesla 在做的事情十分的類似，在去年4月的Tesla
Autonomy Day 上，Autopilot 部門主管就曾經展示過類似的影片：
https://i.imgur.com/fmtBWFV.jpg
https://youtu.be/Ucp0TTmvqOE?t=8480

另外在今年二月份時，他也在Annual Scaled Machine Learning Conference
上展示了更詳細的成果：
https://i.imgur.com/gqWQtD8.jpg
https://youtu.be/hx7BXih7zx8?t=1313


Self-supervised Learning 與泛稱為pseudo-LiDAR 的技術其實有許多人在做，
其中有學者、有新創公司、當然也有車廠在做，其中最為人知的應該就是Tesla。

但是從這份資料中可以知道Toyota 這種老車廠其實也有在研究，而且據他們的
說法得到的結果很好可行性很高，所以用一般的攝影機來取代LiDAR 並不是不
可能的事情，當然還是有人認為要做到真正的無人駕駛非LiDAR 不可，到底結
果如何這就留待時間去證明，再過幾年就會知道了。

--
宅男Elon Musk 18年年底與Tesla 員工聚會：
https://i.imgur.com/M3p884k.png

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 36.224.202.239 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/car/M.1594205833.A.924.html
推 bluemkevin: 車用感測器從來就不是一般消費型的
→ bluemkevin: LiDAR 成本也可能越來越低
→ demo68: https://imgur.com/MCtVU2E.gif
→ demo68: 為了避免像特吹一樣在路上睡覺碰碰吧
推 highca0709: 再怎麼低也不會比鏡頭低啦
推 chewei55: 第一條怪怪的，它賣了1000萬台，但是有網路能即時提供影
→ chewei55: 像回傳的又有多少
你講到他的盲點了。我覺得他是在講這麼多車有潛力做到這樣吧

推 PeriImg: MonoDepth != Pseudo-Lidar
→ PeriImg: MonoDepth主要指在camera coorindate利用depth consisten
→ PeriImg: cy來提供depth net損失信號
→ PeriImg: Pseudo-lidar主要是在有了per-pixel depth情況下將pixel
→ PeriImg: 投射回camera or world coordinate 來當作semantic/dense
→ PeriImg: point-cloud處理
謝謝分享知識!
※ 編輯: Scape (36.224.202.239 臺灣), 07/09/2020 13:03:07