[新聞] 解析Google Pixel相機原理 Pixel 3、Pix

[abc21086999 (呵呵)]

解析Google Pixel相機原理 Pixel 3、Pixel 3a單鏡頭相機為什麼這麼強？


https://www.cool3c.com/article/144036

Google 的 Pixel 手機自進入 Pixel 2 世代後，以獨特的 Visual Core 與 AI 技術顛覆單
相機鏡頭影像的極致，而後續的 Pixel 3 家族更在多鏡頭旗艦機強敵環伺下仍有出色的影
像表現，自然的低照度拍攝、單鏡頭散景即便面對有更複雜硬體的機種甚至更為傑出，最近
更以更平價的 Pixel 3a 家族以 AI 攝影技術使其足以以下犯上，挑戰高階機種。

軟體定義為既有硬體帶來創新與突破-
Google 台灣也請到擁有 Google 傑出工程師 Marc Levoy ，他擁有資深數位影像技術背景
、同時也是 VMWare 創辦人暨史丹佛大學電腦科學榮譽退休教授，為台灣媒體解開 Pixel
相機能如此出色的關鍵，而他開宗明義的指出， Pixel 手機的影像技術是顛覆過往的硬體
定義相機，並轉化至軟體定義相機的科技結晶。

Pixel 手機的做法是打破過往靠固定功能硬體的作法，藉由計算攝影與連拍，透過高效率的
機器學習技術取代傳統演算法，以 Google 的巨量資料作為基礎，配合 Google 的機器學習
建立模型，在當代高性能的 Pixel 手機實現驚人的演算，同時 Google 也不藏私的將影像
技術對外分享，藉此驅動創新與吸引更多人才。

Marc Levoy 指出，在手機上的相機應用程式需要符合幾項基本原則：執行需要迅速，預設
模式不能失敗，重現消費者在攝影遇到的特殊情況，與在特殊模式下可接受偶發的失敗。在
即時速度的要求，即時監看的資訊需要高於 15fps ，快門延遲需要低於 150ms ，成像時間
需低於 5 秒內。

結合連拍與 AI 的先進 HDR+
在過往相機的 HDR 技術仰賴曝光定標試驗做法，此技術是藉由捕捉不同曝光程度影像，並
將多重影像加以疊合，實現從低光到高光皆清晰、細節清楚的影像，然而這項作法卻因為需
要精確的影像疊合，在缺乏三腳架與手機晃動的情形難以成功拍出 HDR 影像。

而在 Pixel 3+ 的做法則是改變捕捉不同曝光的照片進行合成，以曝光不足、相同曝光的連
拍影像作為基礎，如此一來影像更為相似也容易校準，並且能夠具備更吃惡的信號雜訊比(
SNR )與減少陰影的雜訊，同時利用色調映射( Tonemap )強化陰影、降低亮處，雖會犧牲整
體色調與對比，但能保留局部對比。藉突破的概念，也讓 Pixel 手機的 HDR+ 影像拍攝的
成功率與影像品質超越傳統 HDR 模式。

結合機器學習與雙像素技術的單鏡頭肖像模式
由於手機先天感光元件尺寸，若以硬體定義相機技術，難以拍出如專業相機的景深，而肖像
模式就是當代手機所使用的方式；在初期為了實現肖像模式，過往使用雙鏡頭先在相似焦點
捕捉兩個影像，透過立體匹配演算計算深度，接著選擇一個平面作為保留銳利的基準，最終
模糊基準外的影像，不過如此一來會增加硬體複雜度，並且還需要處理雙鏡頭的資訊。

然而僅有單鏡頭的 Pixel 手機則是透過機器學習作為基礎，在主鏡頭結合雙像素對焦元件
取得深度資訊，而前鏡頭則是透過機器學習而來的影像分析，仍可實現單鏡頭的肖像； Goo
gle 透過卷積神經網路預估圖像中每個像素的人物，以超過百萬張標籤過的人物與配件進行
培訓，使 AI 模型能夠在影像中框出人像輪廓。

以 AI 技術實現出色的高解析變焦
過往手機由於僅有單焦點單鏡頭設計，故要拍攝遠處的影像，只能透過數位變焦、也就是數
位裁切的方式，但如此一來等同只是對影像進行局部裁切，畫質也會隨之下降， Google 雖
未在 Pixel 的高解析變焦使用 AI 相關技術，然而藉由高速連拍技術合成更高畫素影像，
使其可媲美當前具備 2 倍鏡頭的機種。

其中的關鍵，就是當代數位相機元件所使用的拜耳陣列結構，透過矩陣中配置 R 、 G 與 B
 畫素組合構成影像，當手持進行高速連拍時，將原始、水平、垂直、與水平與垂直同時位
移的四張影像結合，可藉由連拍之後將多張影像的顏色資訊相互填補，並透過顏色資訊重建
方式，提升高解析度，若在完美不搖晃的環境，則反過來利用防手振技術製造手振使像素偏
移。

將黑暗化為白晝的夜視模式
Google 的夜視模式也仍是基於高速連拍的技術結晶，按下快門後，高速捕捉達 15 張的影
像，另外會根據手振程度與偵測畫面中是否有動體評估拍攝時間，有晃動就會延長取景時間
，反之則縮短。而自 Pixel 3 則在此為基礎之上，再導入高解析變焦功能的技術概念，最
終結合學習式白平衡調整色調。

夜視技術的出發點是為了實現在人眼難以辨識甚至不可見、但仍真實存在且具備色彩的夜間
景物， Google 透過古典畫作的三大特徵，以強化對比、將陰影投射為黑色與透過黑暗環繞
場景作為原則，並透過色調映射還原色彩，以古典畫作為師呈現出色的夜視模式。

少了 VisualCore 的 Pixel 3a 與 Pixel 3 僅有速度差異
或許會有消費者認為在少了 VisualCore 後， Pixel 3a 的影像表現會有所差異，不過 Mar
c Levoy 拍胸掛保證，除了少了 VisualCore 帶來的處理高效率外，由於相機相同， AI 模
型相同， Pixel 3a 系列僅有處理速度較慢，影像品質不會有差異。

----------------
心得
哇塞，Google台灣居然請到這位主導Pixel拍照的Marc Levoy
文章我還沒看，先轉過來，但是Pixel實現單鏡頭最強拍照應該有很多技術成分
不過裡面應該也有一些過去就已經知道的東西了
文章裡面有更多圖片可以點進去看
大家有什麼想法都可以推文討論

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.77.209.172
※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1558600239.A.498.html
噓 a27588679   : 這藍色深到我看不見
噓 Bright      : 藍色
我用Pitt看沒有什麼問題耶，哪裡出了問題嗎
噓 greg7575    : 藍色
噓 gv390       : 藍色用電腦看根本看不到
噓 yys310      : 這什麼螢幕測試嗎
改成紅色了，這樣有比較好？
是黑底的問題嗎？
推 yys310      : ok了
推 ciplu       : 藍字通常會看不清楚
原來如此
推 rhino0314   : 幫推 原本的顏色真的看不清楚啦
推 Xperia      : 黑科技只能推
噓 oppoR20     : 阿內文的標題你
→ nk950357    : 用錯帳號== 內文附上標題
好的！
※ 編輯: abc21086999 (42.77.209.172), 05/23/2019 16:45:19
→ skyangle0607: 樓下說便宜機裝盜版gcam就好
推 darkdogoblin: 看看google,再看看Sony,索索收一收吧。不知道在幹嘛
推 cmbyts      : 軟硬體全都google自家沒用到外來的，真的滿強的
→ rinppi      : Sony感光不是外來的？
→ mainline    : 這些內容其實大多在這幾年blog都寫過了
→ kuma660224  : 感光硬體仍是外來的啊
→ kuma660224  : 其實這技術也是要依賴夠好的鏡頭才能發揮
→ mainline    : Marc也是早期3D立體成像的先驅之一 就是用在掃瞄醫
→ mainline    : 療器材的那款
推 gameguy     : 繼續用Google Pixel XL與2壓壓驚，好機正該如此
→ mainline    : 然後本文最大失誤就是將人錯置為VMware創辦人 剛巧
→ mainline    : VMware創辦人當中的夫妻檔跟谷歌關係也很密切 一位
→ mainline    : 是董事 另一位是關鍵的雲端事業最高主管
推 de092112    : 希望Pixel 4用345外賣版或445
→ wendyclara  : 引用的癮科技好像已經修改了講者的經歷:
→ wendyclara  : VMWare 創辦人所支持的史丹佛大學電腦科學榮譽退休
→ wendyclara  : 教授，原PO要不要也調整一下?
推 jhangyu     : 夠好的CMOS，不是鏡頭
→ jhangyu     : 還有其實CMOS超爛其實也能改善一點
→ jhangyu     : 例如說紅米Note3那顆
→ jhangyu     : 你應該舉不出比這顆更爛的CMOS
→ jhangyu     : 但GCAM還是照樣能改善很多
推 ichiroyap   : 藍色辨識度是最差的，通常只適合拿來當底色
推 chriter     : 連拍智慧合成 索尼卡片機早就有了 可惜跨部門不肯
→ chriter     : 放
推 sai1268     : 那到底買htc hw要幹嘛？繼續給他們代工還能cosn dow
→ sai1268     : n到底
推 niverse     : 不知道單眼和google演算法結合在一起會拍出啥玩意
→ niverse     : 很猛的軟硬體組合
推 hooll111    : 未來就是軟體的時代 投資google的產品是對的
推 la8day      : 推
推 avmm9898    : google真偉大，連這個也不藏私
→ ILike58     : 單眼硬體性能都比手機強很多，幹嘛要這麼做？這種照
→ ILike58     : 片很不自然很難表現光影變化，這種演算法拿來補足手
→ ILike58     : 機硬體的天限當隨手拍隨手看的紀錄工具就好了。
推 hsinggg     : 因為谷歌自己做硬體真的很還有很大的學習要走，乾脆
→ hsinggg     : 買公司
→ hsinggg     : 但谷歌的軟體打爆大多人還是無庸置疑