Re: [討論] Face ID將會有非常多不方便的地方

[snowanimal (動物先生)]

＊修正一些語意不清還有錯誤

看到大家討論這東西就想到我在前公司任職時有參與產業轉型，
課程中要各事業體去收集並分析新產業的發展性與可能性。

小弟當時提出的就是一個含深度探測 結合 AR / VR 的裝置。
昨天看到影片的時候，就特別有感。
想到在當時把重心放在具備空間掃描的照相(錄影)機上...最後無疾而終
我絕對不會說都是 Google Project Tango害的！

來看看Apple如何巧妙地解決（規避）了一些問題。

1. 硬體限制

   數年前紅外線光源、矩陣投影還有攝影機等模組不論是體積還是解析度都不夠理想
   另外就是micro processor不夠強，當空間資訊太多的時候就會變得極慢。
   上述元件無法整合的狀況下光靠現有的資源根本沒辦法讓這些元件互相溝通。

2. 演算法

   這部分一直是個超大的門檻！
   空間描繪如果沒有演算法輔助，很容易會出現黑洞（也就是破碎的空間）
   出現非連續面的結果就是要再用人工補足。
   市面上的3D掃描器為求精準，不論是白光還是雷射；最好要有定位點來協助。
   再輔以演算法去把非連續面補齊，或者是重複掃描來描述空間。
   我們詢問過相關產業，大多數都推薦要找東歐的工程師來幫忙，他們是佼佼者！
   但前公司沒有相關背景的人才，就算合作了也是雞同鴨講。

3. 商業模式

   這點也是最後沒繼續做下去的原因，到底要怎麼賣這產品。
   是消費型電子，還是專業用途。
   如果是消費型電子就必須要有足夠的行銷力還有很棒的產品外觀，但很難
   如果是專業用途的確可以把各種條件設死，但老闆認為這商業規模不足以投資。


----------------- 好 廢話講完 來談談 iPhone X 的 FaceID ----------------


A. 僅限於手機正前方的用途

   這點非常非常重要！因為這樣就可以很明確的制定硬體規格。
   手機前方我們要辨識的物體距離最近不會低於10公分，最長不會超過手臂長度
   所以紅外線攝影機功率，還有深度攝影機的解析度是可以被推估出來的

   再者，要被測定的物體是人臉。所以需要多少參考點才能精確判斷也是能算出來的。
   假設在手機前方的這個範圍內要能準確地把臉辨識出來只要三萬點。
   那就不需要去建構要投射十萬個參考點的投影機。

   三萬點要在0.1秒內（假設）辨識出來需要多少的計算力？
   當空間模型與資料量都定下來之後，計算力不過就是一個很簡單的算術問題。

   簡單的說，把使用環境設定在手機前方的人臉辨識，那這樣就不會有人靠夭：

   解析度不足
   辨識距離不夠遠
   處理速度超慢

   相當聰明的作法！

   另外一點就是...他那個前鏡頭模組根本神！超小的體積，超猛的硬體規劃 OTZ

B. 用Machine Learning 讓演算法更強大

   數年前我一直落入一個很難脫困的問題：
   要做空間掃描，那這個掃描體如果不能設限的話，有沒有一種演算法可以通吃呢？
   那如果做成像是相機的內建模式，要掃人臉、小物體、房間就切不同的模式呢？

   當這樣想的時候產品就會死掉了，因為想做的太多，但真的可以做的只有一樣。
   而且我當時也還沒有花時間去了解所謂的machine learning到底可以多強
   很無知地認為應該要有很猛處理器，還要不斷地餵資料給機器才會變聰明。
   直到阿法GO.......

   Apple FaceID 之所以是個非常適合 Machine Learning的用途在於：

   ㄅ. 學習的對象很單一，就是使用者的那張臉，不必多學太多東西
   ㄆ. 學習的資料量絕對夠大，因為人一天要解鎖手機數十次
   ㄇ. 初期學習的時間Apple已經先幫你節省下來了
   ㄈ. 綜合以上幾項規範，那顆Binonic要設計成怎樣的架構就非常EEEEZ

C. 商業模式

   這不必多談了，iPhone使用者的Base超大，所以量體絕對足以支撐這個產業
   再者，Apple也知道這新玩具可能會有疑慮，所以還是有iPhone 8/8+。
   簡單的說如果普羅大眾沒買單也可以說是賣信仰，但是老本行還是可以賣。
   但如果不小心有人跳坑了，那就賺到啦！

D. 超強的軟硬體結合

   蘋果這次連GPU都自己設計，更別說他們家的軟體工程師更是強大。

---------------- 再來談一下深度攝影機 --------------------

大家如果有注意到，其實這次iPhone 8+ 後相機還支援深度感測。
我認為他就是利用雙鏡頭的相位差來做距離偵測。
（詳細的作法讓專業人士去解答，這邊不限醜）
所以也只有iPhone 8+ 跟 X 雙鏡頭相機支援光源模式 :D

幾年前 iPhone #+ 的雙鏡頭我就一直很好奇為什麼不拿來做距離偵測？
這種視距差的測距演算已經非常成熟。不做偵測很可惜啊！
看完昨天的影片，我認為跟前面提到的『處理器』有很大的關係。

現在iPhone 8+ 跟 X 的測距模式僅限於人像然後做影像處理（也就是Portrait mode)
所以廣義來看也是屬於有限制性的用途，而且是Beta XXXD
前幾年的處理器應該是負擔不了，一旦開啟AR後整隻手機可能會比初代iPhone還慢。
也因此這次的A11整顆由APPLE包辦，這樣才能滿足使用需求

----------------- 補充一下深度攝影機用途 -----------------

如果從發表會各種AR遊戲的效果來推估，這深度攝影的範圍應該不小。
所以如果iPhone的SDK有開放的話，基本上以後iPhone 8+ / X 就能當3D掃描器。

雖然現在也可以靠手機拍攝數十張照片，後送到雲端幫你算出模型。
但是解析度受限、物體受限、演算法也是靠雲端計算力幫你處理。
但雙鏡頭就不同了，鏡頭焦距、間距是定值，加上四顆LED的光源可以做變化。
基本上要拿來做3D掃描器的硬體基礎都有了，剩下的就是看要怎麼搞而已。
而且解析度應該是可以接受的範圍。

不脫這兩種

1. 非即時性的需求：掃描的資料記錄之後丟回雲端計算
   或者是把資料丟回自己的電腦運算

2. 即時性的需求就是直接CPU運算，但是不可能給出多精細的結果
   但是至少有預覽的效果。

好啦說道這，我用了五年的iPhone 5，應該可以X了

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 118.168.203.234
※ 文章網址: https://www.ptt.cc/bbs/iPhone/M.1505289422.A.0BB.html
推 yumemi2001: 推 漲姿勢了
推 X41822N: 推
推 whitetiger: 秒董
推 JoeArtanis: 推一個
推 Rogozov: 有趣
→ Ken52039: OK 你喜歡瀏海妹妹頭 就用吧
這篇文我僅對FaceID做技術、市場跟趨勢發表心得。

我個人猜想 iPhone X 他就是打定主意要做四個角落都滿版的OLED。
如果刻意在上方弄一塊長條形，那麼他做圓邊框就真的成了脫褲子放屁...
最後一點就是我個人第八感直覺 X 應該賣得會比 8+ 還好

推 ggyy744: 我也用五年的5
推 FourU: 長知識
推 rqkxx: 跟8+比多7K很值得的感覺
→ snsdakb48: 從5換X 直接跳過TouchID
※ 編輯: snowanimal (118.168.203.234), 09/13/2017 16:10:29
推 globe1022: 同樣5等換X的推
推 alonxalon: 推專業 5真的可以功成身退了
推 or0706555: 推
推 Ken52039: 所以趨勢應該是：8 > X > 8+
推 look: 推
→ Ken52039: 照這情況 plus太大隻了 如果X賣得好 應該plus會掰
推 lisasweet: iphone X有妹妹頭劉海是不可避免的...
→ lisasweet: 要face ID那些sensor,就一定要地方放~~~XDD
→ abyssa1: Plus體積慘輸螢幕差不多大 也沒便宜很多 根本雞肋
→ snsdakb48: 可是plus跟X的相機同等級？
→ abyssa1: 8和X銷售就比較難估計了 我猜X>8>>8+
推 liilliiliilx: 一樣5準備換X
→ orangesina: 同樓上
推 krauserq: ML的training data至少都是數以萬計的吧
→ snowanimal: 但是"只辨識人臉"跟要拿來掃描萬千物種差很多
推 unojazz: 推
→ william7713: 光聽筒跟前鏡頭就是避不掉
推 tzangyoung: 推
推 jackyown: 比較想知道現在科技還沒辦法讓背面是平整的嗎?
推 energyandpig: 個人最擔憂的問題是，OLED壽命，不知蘋果是否能確
→ energyandpig: 保在一般使用週期（3～4年內）不會有烙印問題。
→ POLAX: 其實主技術還是幾年前買下PrimeSense(做Kinect的團隊)
→ snowanimal: 耶斯！這FaceID就是硬體/韌體還有軟體多方結合
推 mova: 推！很喜歡這種思考的過程文章
推 OROCHII: 應該轉去卓二版的，明明實作差很多，講的好像全都安卓發
→ OROCHII: 明的
推 rioslo: 專業推
推 k078787878: 這篇可以讓那些沒意義的系列文停止了
推 huabandd: 靠北這篇太專業了
→ huabandd: 安卓只會跟你說蘋果抄人，如同他們所說蘋果的確是超人
→ krousxchen: 5真的該換了，跑64位元app會lag
推 kiba226: 想知道樓主的背景/工作內容 XD
→ snowanimal: 氣象 >編輯 >顯卡/主板/系統/行動裝置 PM與行銷
推 kiba226: Cool, thanks
→ hidexjapan: 不過看起來瀏海上面的sensor是像kinect1代一樣的搞法
→ hidexjapan: kinect2代只有一個鏡頭但是判斷景深和細微動作的捕捉
推 puzpuzpi: 難得有知識與分析的文章QAQ
→ hidexjapan: 遠比一代精準,也有web cam功能,過幾年瀏海要像現行
→ hidexjapan: 機種,搞不好比預期的快
→ hidexjapan: 加上現在整個soc完全由蘋果自己掌握訂製,搭配類神經
→ hidexjapan: 學習,ar/vr/mr應用是有機會爆發的,微軟也說過kinect
→ hidexjapan: 兩代的開發過程,減少很多對ar/mr的初期摸索,hololens
→ hidexjapan: 也整合了很多當初開發kinect系列的技術進去
→ snowanimal: 對手機應用來說 Kinect2的模組太大也太規格外了
推 signm: 我接觸face id會比指紋出錯機率高很多，最大問題是它隔天會
→ signm: 認不出你
→ snowanimal: 可是現在機場的快速通關就有含臉部辨識阿...
→ snowanimal: 而且臉部辨識成功的話就不會要你壓指紋
推 joles: S大已經用過兩天的Face ID ? 是蘋果的還是其他家阿
→ hidexjapan: 以k2來說,因為手機上需要的精度和偵測不需要那麼高
→ hidexjapan: 以k2的sensor整合來說,可以大幅減低瀏海的面積
→ hidexjapan: 機場的快速通關,有瀏海就得撩起頭髮重新偵測
→ hidexjapan: 自己用機場快速通關的經驗
→ hidexjapan: FACE ID昨天weird直播,拿一個apple工作人員的臉就開了
推 robertld2: 有人一樣也是4想換x的嗎
推 requirefree: 用五年的五+1
推 SHIRAYUKI: 現在用5+1
推 rainsilver: 為了玩遊戲想把5換掉了 不然也是用快5年
推 debby0418: 求問 5用五年有換電池嗎？
推 cccoco: 推
推 susanchi: 用5的人跳過指紋解鎖耶！
推 esf1y: 推一下 內涵問
→ esf1y: 內涵文
推 cog5566: 原po根本machine learning 完全外行。不要誤導別人好嗎。
Hi 是的，我的確外行。很抱歉造成誤會

推 DemonRing: 推。內涵。
推 acceber1115: 推長見識
→ lianngg: 7+就支援深度感測了，WWDC上有介紹望遠鏡頭api與應用，
→ lianngg: 並不是處理器的限制
7+的相機沒有 depth 感測模組...

看了WWDC 2017的介紹，他那個是用雙鏡頭（類似人眼）視差然後利用三角演算。
然後WWDC 2017提到APPLE有API可以把深度資訊存起來讓你做其他事情。
簡單的說把深度資訊傳到後台（雲端）去做加工，
而且API提供 16bit跟32bit兩種資料格式，分別是要給GPU跟CPU使用...

就如同我前面提到的為什麼雙鏡頭不用視距差來做距離偵測。

原文如下"

"The iPhone 7 dual carama is not a time of flight carema, instead it is a
disparity based system"

https://www.youtube.com/watch?v=kbsDyTf7k2I&t=7m10s


至於我提到的處理器問題推論理由是：

1. 相機的畫數很高 (12MP）。簡單的說就是一張圖就是要對12MP做距離運算。
   因此對於靜態的照片來說，要呈現深度不難。
   但對於攝影，或者是開著預覽模式一直掃，這很吃處理器運算能力。

2. 在當時所謂的AR/VR 看屋都是處理過後才丟到手機給你看。
   即時影像的解析度都嘛降到很低，不然裝置都會很燙很卡

3. 對於對比太小（如一面牆）的東西，視距幾乎是得不到空間資訊。
   現實生活中的確會有這種狀況，人能分辨是因為大腦幫你把資訊補起來
   但對於機器來說就是個洞，所以API還根據周圍環境幫你補洞。
   這些東西要即時處理，還是很吃處理器運算能力

推 akasuka: 專業推
→ rogergon: Face ID 能刷Apple pay嗎？
→ rogergon: 用臉刷還蠻高級的。
推 enzyme: 推
→ venatici: 請問和sony剛出的手機3d掃瞄建模有什麼不同之處？
如果我的資料沒錯，Sony用的是單鏡頭模式：
https://www.youtube.com/watch?&v=VzLkjZnIeuQ

單鏡頭當然也能做3D掃描，大概的原理如下：

1. 初始參考點，所以你可以看到要掃人臉要先找到耳朵之類的
2. 利用陀螺儀跟加速儀導引你往哪個定點拍照（下一個參考點）
3. 然後利用鄰近參考點做"視距運算"幫你把空間資訊描繪起來
4. 正因為是單鏡頭，所以他在掃描不同類型的東西時要用不同的"模式"
   簡單的說就是套用不同的演算法啦，不然你讓機器直接掃看看會出甚麼事情...

跟主動式的深度攝影機，差很多
※ 編輯: snowanimal (118.168.200.108), 09/19/2017 10:45:39