Re: [閒聊] Google Pixel 3的Night Sight

[double21 (我不是雙二一)]

※ 引述《talan (這個好吃嗎)》之銘言：
: 早上看報導，Google Pixel 3在發表會上秀出的Night Sight功能，
: 能在暗夜拍出清晰的照片
: 還秀了一張與iPhone Xs的對比照
: https://i.imgur.com/zfJap0o.png
: 把晚上拍成宛如白天
: 完全就是黑科技的感覺
: 不過去看發表會影片那段，有提了一下原理，感覺瞬間冷了下來，
: 原來照片中宛如白天的色彩是利用機器學習用AI填上與加強的，
: 但仔細想想，這是跟其他廠商完全不同的思維，
: 其他人都先從感光元件、光圈或鏡頭等硬體上下功夫
: 然後配合多禎合成與演算法去加強照片
: Google這種用機器學習把照片上色，可謂是另闢蹊徑
: 可能不是所有夜間情境都很合用，
: 但應該有很多用處，就不知道大眾接受度如何了
這邊可能很多人沒用過Pixel phone，之後台灣有了，大家用了之後就知道了
用過之後就相信佳評如潮不是假的，硬體明明沒有突出，但是照片就是好看
這裡的好看不是顏色，是整體的亮度和顏色的搭配
當然在這個相機的戰國時代能不能高分是很難說，但是也不至於沒競爭力就是

這邊先跟大家講解一下相機，我們平常看到的鏡頭，以及感光元件
都只是得到原始資訊，這些東西需要經過處理，才會變成人眼所見的影像

大家都知道感光元件基本上是RGB三色，但是人眼對於紅藍綠感光並不一致
(像是綠色較為敏感)
所以其實最基本的你就要調整紅藍綠的比重，也就是hue
這些就是影像工程師的範圍(Image Quality) 早期其實都是非常手動人工
大量的拍照，大量的調整，所以才會有A家比較暖，B家比較冷

也才會有  硬體sensor明明是自己開發市場上最好的
鏡頭也選大X光  明明強到頂天
但是拍起來卻油畫感十足or畫質不知道哪裡怪怪的 (S公司表示...)

在大部分人都選用高通+Sony sensor+大立光鏡頭這種組合
卻還是會有高低
後處理佔了非常大的部分
就像是攝影師都會去調整raw檔
很多照片拍得很爛，大部分都是一些參數不對，但很大部分的資訊是被放棄的
用軟體處理就能取回來，

哪些東西該放棄哪些東西該留下其實都是工程師決定的
那如果決定得不好呢？
你是藝術家，用手機拍照取顏色
結果是工程師幫你決定怎麼得到資訊

就像有的時候你調你手機照片的亮度顏色
奇怪怎麼明明就可以這樣亮度比較好看
這樣顏色看起來比較好吃
但是相機就是抓不到點

問題是你不是攝影師，給你raw檔也沒用
而且你也沒有那個時間每張去調
而Google的影像團隊就是強到不行，他們是用大量照片去訓練他們的處理
(資料來源：前室友在該部門)
其實綜觀來看大家都在講Ai相機智慧美顏
只有他們是真正在用Ai訓練，其他人就是想辦法寫一些功能判斷白平衡而已
(Google有最大的Ai開源計畫)
其實這個在發表會有講，但就不是很會講xd


比如說他們去抓畫面中的幾個東西，判斷場景(餐廳或者戶外)
然後知道大部分人在這個場景下拍照的照片都需要調亮度or顏色
然後就可以知道參數要怎麼調
以前是做不到的，就靠幾個工程師在那裡對著光箱不同亮度不同燈在調


當你的照片量大到一個程度
很多以前的概念都會被翻轉
iphone相機不是不好，事實上它的硬體非常頂尖，可能超出目前檯面上的手機兩個世代
但是他們就缺乏很強的後處理這一部分
用iphone的人應該都感覺得出來就是差一點
如果有常在打卡/IG的女生就知道
顏色亮度常常都要調啦
每一代的進步就是那個一點一點
夜拍雜點變少了，但是亮度就是很怪不夠
調了亮度又好了

先不看Pixel phone的其他問題
只是身為從業人員要跟大家說  大家認為那些東西是假的
但其實我們從活在數位相機的世界開始，這才是真的xd，只是以前做不到而已
Google現在做的才是真正應該做的作法

這不是修圖喔！修圖是實際上不是這樣，但用影像調整創造出來
現在是更加還原現場而已

但手機的相機最大的問題還是，怎麼拍都跟眼睛"不一樣"
其實現在的瓶頸不是在相機硬體，而是在後續的算法各家都沒有找到好的工程團隊來調
(從Google影像軟體工程師的薪水就知道了)

大家不覺得很奇怪嗎，常常眼睛看起來就是沒有那麼暗
手機相機拍起來超暗
結果現在來了一台拍得出比較亮的，更接近人眼的
結果大家開始懷疑這不是真的XD?

這也就是Google首先提出HDR+的概念，真正的把先進的動態範圍的調整法帶到業界
只能說從目前流出的照片，不是開玩笑的，大家是可以期待的

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 72.14.229.161
※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1539143625.A.1B7.html
推 kevinlin12  : 排隊等候中
推 NASAlion    : 推~~
推 tetani      : 畫面鮮明 但色調不夠漂亮 很可惜
推 abc21086999 : 推
→ tetani      : 期待以後ai能做到像富士jpg直出一樣 懶人救星
→ BadGame     : 我蠻喜歡木西的講法 https://bit.ly/2ybYqDb
推 oho2530     : 推
推 s83106      : 推
其實這裡有講到一個重點，大家都用高通+Sony sensor+大立光鏡頭
高通晶片的影像處理在這裡很重要
想要突破這層限制，大家就是自己開發影像處理晶片
→ OscarShih   : 樓下繼續推晚上拍成白天
推 shihchinlun : 感覺很利害
→ anguslf2    : 所以這隻相機值得這價格？
→ anguslf2    : 因為除了相機其他看不出比15k的安卓強在哪
也是，太貴了XD
推 abc21086999 : 推pixel
→ tetani      : oppo r17 pro拍出來 和這隻似乎沒差太多
推 narihira2000: 推
→ s83106      : 這邊不就只是在講相機的文章嗎 跟售價沒關吧....
→ s83106      : 又不是在這邊吹相機多強 值得這售價的文章...
推 devirnt     : 相較一些廠商說自己相機有ai運算，結果運算出來像坨
→ devirnt     : 屎
推 a7880204    : 真的只看相機當初u12出來應該早就飛天了 就品牌價值
→ a7880204    : 看信仰而已
其實iphone的問題就是低光的顏色跑掉
聽起來很合理？但比眼睛差其實就是不行
→ lnick32117  : R17 PRO和Pixel 3拍照差不多? 真假..?
推 kiazo       : 不知道它們的訓練資料是用什麼照片，canon或nikon
→ kiazo       : 拍的嗎？
推 crazycy     : 推
推 i9602283    : iPhone相機硬體贏兩個無代？這資料從哪來
→ i9602283    : Samsung也沒像Google強大的軟體團體隊但拍照也不輸X
→ i9602283    : S
這個網路上有很多分析了，有興趣的話可以查一下iphone他們家相機結構跟有什麼不一樣
還有最近流出的一些資訊(像是多看股版有關大立光的新聞)

我有說，還在檯面上的大家都不是廢柴
但是在相機黑科技滿天飛的時代，買到好sensor好鏡頭只要有錢就可以了
但買到好照片就只能拼技術了，錢不是丟下去就會有，要砸在工程師的薪水上才會有

→ y800122155  : 搞不好以後Google直接拿同場景單眼照片當label 手機
推 gn01140216  : 人眼其實很容易被騙
→ y800122155  : 照片當input 直接train出能轉換成單眼品質的照片XD
→ gn01140216  : 如果看過相關文章 會知道人眼跟鏡頭比 沒強到哪
→ gn01140216  : 是有超級強的大腦在處理圖像
推 melic       : 所以說 什麼時後才會移植出來？
→ OscarShih   : 人眼還有盲點勒, 都被大腦修正了
推 abc21086999 : r17這種電子垃圾也敢跟pixel比哦
推 tennyleaz   : 推
推 g5637128    : 推
推 y800122155  : 大腦也會做出誤錯修正啊 像是中文字錯序不影響閱讀
推 kame0407    : 問題就是貴啊    希望會跳水
對啊太貴了xd
就算相片好十倍也未必能賣到翻倍價格
推 oblivionion : Pixel真的屌，一堆人只會該硬體不行，但照相軟體處
→ oblivionion : 理真的是屌，賣太便宜了，pixel3應該賣3萬，XL3萬9
→ oblivionion : ，這樣才是合理價格
推 kamir       : PX3我真的買3w
推 grosjeanyang: 直接對決   跟蘋果拍照比誰居上風?
※ 編輯: double21 (72.14.229.161), 10/10/2018 13:07:33
→ bcs         : 買v40有前雙鏡，s845 isp poled，xda上有人會移植gc
→ bcs         : am 。
推 symjay      : 三星用次級品獵戶座，為什麼拍出來的可以媲美搭高通
→ symjay      : 的htc？
→ shankstrf   : 我個人是覺得iPhone的照相自動非常強大,而且暗部細
→ shankstrf   : 節也非常好,但拜就是敗在sensor天生太小,LG粉就很
→ shankstrf   : 懂這種感覺,原本1/2.6小到剩下1/3.09那自動夜拍顏
→ shankstrf   : 色冷到跟iPhone一樣
推 WindSucker  : 4
推 tonyian     : 也不是即時跑人工智慧啊，只是預train放入程式做矩
推 USD5566     :
→ tonyian     : 陣乘法而已，這跟一般修圖邏輯一樣啊
推 ltl1221     : 看完這篇，瀏海好像自動消失了！
推 davidfirsttw: 好文推
→ b79205      : 所以這個拍照比同價格相機強嗎?
推 dashonyu    : 推
推 james732    : 推
推 act265      : 推
推 lastpost    : 簡單的說就是拍完自動幫你調亮度對比，pixel調的會
→ lastpost    : 比你調的好，因為是AI，調起來像專家調的
→ anguslf2    : 什麼同價格 Rx100 就幹爆了...
推 potato6202  : 相機很強沒錯，問題是其他地方完全不值得這價格，
→ potato6202  : 比iphone xr更不值得
推 satsuya0114 : 排隊中，快讓我買呀
推 potato6202  : 算了，改觀望中好了，怕被打臉@@
推 LoCKeR941010: 推
→ kissa0924307: 除非樣張能跟p20 pro 一拼 不然只有等降價了
→ battlewind  : GOOGLE相簿自動調其實就很強了 AI只是廣告吧
推 zexpig      : 其他地方有哪些比XR更不值得?
推 danbog      : 論拍照 高通才是次級品 某腸粉可能要失望了
推 thankmilk   : 上面提RX100的 你的RX100可以打電話嗎XD
推 direct      : 等先驅者的實拍看看
→ thankmilk   : 我自己有RX1R2 還是會想買這台 畢竟很多時候就是只
→ thankmilk   : 能用手機拍照
→ OscarShih   : 又拿相機比, 那apple宣稱XS拍照進步是研發腦燒了嗎
→ OscarShih   : 那麼聰明的公司幹脆把拍照功能拔了,反正都輸相機
推 windsinsky29: 公道話給推。一堆人以為堆個料或是加個AI浮水印就
→ windsinsky29: 真的拍照很強，去拿拿看pixel再說吧。
推 SunnyDale   : 沒必要的瀏海和不對稱的下巴，他們需要的是找外觀設
→ SunnyDale   : 計師
推 hitsukix    : 這手機跑遊戲爛死了，PS4才他半價不到屌打 (這樣)
推 gn01140216  : 某人的rx100連FB Pt
→ gn01140216  : ptt都上不了耶
推 dolly7849   : pixel確實不適合重度手遊使用者
推 symjay      : 蘋果跟自己比是進步，但不代表打得過別人啊，XR更醜
→ symjay      : 呀，兩隻都很醜，不要忽略有醜瀏海
→ symjay      : 所以三星的獵戶座對相機來說也很鳥？我看他抹得不錯
→ symjay      : 看啊
推 symjay      : 重度手遊去買ROG阿，如果p3搭的高通845跑起來都不行
→ symjay      : ，那獵戶座會有多慘真不敢想像
推 thno        : pixel 2和iPhone X就有很明顯差異了
推 taffy128s   : 笑死人 竟然會覺得deep learning
→ taffy128s   : 去弄那個model input一張普通演算法的照片
→ taffy128s   : output一張超高高品質很簡單
→ taffy128s   : 只是什麼調亮度 矩陣乘法
→ taffy128s   : Google應該請這些人去的
推 anguslf2    : 我單純回b79205的問題怎麼一堆人馬上開咬手機跟相
→ anguslf2    : 機XD。從沒說有相機就不用手機啊...
推 lastpost    : 你沒看這文章說的嗎？就是調成跟藝術家調出來一樣，
→ lastpost    : 不是透過修圖的方式，也不需要你有專業的知識跟花你
→ lastpost    : 的時間
推 GJman       : 賣不出去是會跳水  只是他家跳的幅度只有30cm
→ GJman       : 量大概也少  所以不缺客戶  沒在緊張的
推 taffy128s   : 這不是調不調的問題 是給你左邊低光照片一張
→ taffy128s   : 你怎麼調也不可能跟右邊一樣好看啦
→ taffy128s   : 遺失的東西是用ML去腦補出來的
推 ymx3xc      : 太神啦
→ ezalive     : 別說這麼多，坐等 XDA 神人移植就對了！
→ FMANT       : 不是很懂耶  不就調亮暗而已?  DL不是搞圖像辨識??
→ FMANT       : 除了偏亮  銳化  鮮豔之外  看不出AI在哪
推 taffy128s   : 說DL只能搞辨識就大錯特錯了 應用超多的好爆
→ taffy128s   : 講簡單一點 你能純靠調亮暗 對比
→ taffy128s   : 把一張黑到快剩灰階的圖弄成像白天全彩那樣嗎？不能
→ FMANT       : 可以啊  灰階重新切256層重新排列阿
推 taffy128s   : 呵呵
→ FMANT       : ??
→ FMANT       : 還是說我拍個狗影子  他可以自己畫出彩色的狗圖?
→ taffy128s   : 再講更簡單 你隨便切灰階就弄出來
→ taffy128s   : Google花大錢請的那些人是在？
→ FMANT       : 那需要定期更新演算法嗎?
推 taffy128s   : 看它們的ML model有沒有更動 或有沒有重新train吧
→ taffy128s   : 可能不會定期更新
推 likebird    : 只有Google pixel是真AI相機
推 taffy128s   : 總之 現在科技已經沒那麼簡單了
→ taffy128s   : 近年來已經可以給一段話
→ taffy128s   : 造出跟那段話所描述一樣的高清圖了
→ taffy128s   : 重點是人還看不出來那是電腦造的
→ taffy128s   : 就是說 當電腦已經可以做出
→ taffy128s   : 人都分辨不出真假的東西時
→ taffy128s   : 也不用太執著在照片是不是美的太不真實
→ taffy128s   : 好好享受它就是了
→ FMANT       : 但是你要把圖分享給他訓練嗎?
噓 popoman177  : 第一個噓Ya
→ y800122155  : https://i.imgur.com/9HrBNTO.jpg 這些都是從0直接
→ y800122155  : 生成出來的圖片 講只能修圖真的太太太小看Google了
推 kamichu     : hdr是假的，如同音樂上eq一樣，不過有人很喜歡就是
推 lastpost    : 別把現在的ai想的太美好，找髮絲都有問題了
→ jim924211   : 要是演算法真能被移植，那感覺還是買其他845較划算
→ jim924211   : 要是無法，可能考慮買3 128g版
→ hsinggg     : 看完決定弄一隻上代旗艦然後買Gopro7(誤很大
推 kiazo       : 還是等實機出來，跟一般手機，相機一起測比較準
推 truegodchild: 誰會去賣演算法啊有事嗎
推 shanaandlai : 買pixel 2 等3的相機功能下放，超棒
推 ctes940008  : 推
推 sdbb        : 推，原po在八卦板的文章也很有料
推 cliff2001   : 推
→ farnorth    : 感覺是超越相機的存在，大多相機還沒有這種技術
→ farnorth    : 希望有一天可以把手震全部消失
→ kouta       : 亮的跟早上一樣你跟我說接近人眼
推 autoupdate  : 東西照出來都不是真實看到的景像...
推 hoohjoe     : 推一下優質文
→ kissa0924307: 看到那張我也是傻眼 這比夜視鏡還扯
噓 dreaminc    : 底大一級
推 BT98        : 推專業文
推 SteveVai    : 推推
推 eric525498  : 推專業