Re: [新聞] 蘋果將偵測兒童色情影像 用戶上傳iCloud

[s25g5d4 (function(){})()]

: - Hash 值: 每個檔案都有一個唯一的 Hash 值 (指紋的概念) 科學家用數學保證他幾乎不會重複
: 每個雲端空間基本上都會在你上傳檔案的時候計算 Hash 值
: 為了要避免他們儲存太多重複的檔案
: 有兩個用戶上傳一樣hash的檔案可以只存一份就好
: (例如 lol.exe 一百個用戶上傳到自己的帳號 存一百份根本是浪費空間)

用檔案 hash 比對圖片實在太不可靠了，改個 1 bit 資料就可以讓 hash 不同

我覺得蘋果不會做這種智障系統，否則這系統根本沒用

所以去翻了一下相關文件

https://www.apple.com/child-safety/pdf/CSAM_Detection_Technical_Summary.pdf

看起來是用蘋果自己開發的新演算法 NeuralHash

看名字就知道一定跟神經網路有關

大意是說用一個神經網路訓練過的模型，去計算照片的描述特徵

最後再把特徵用 locality-sensitive hash (LSH) 算出雜湊值

LSH 與一般 hash 算法不同的地方在於普通 hash 會將差異最大化

以避免相似的資料產生一樣的 hash

LSH 則否，越相似的資料產生相同 hash 的機率越高

以上述文件的範例來說，直接把照片灰階化處理也可以得到一樣的 NerualHash

是很厲害的技術

--

至於在哪裡計算與比對、以及如何找出異常，都有超級複雜的處理方式

算是可以看出蘋果對用戶隱私的用心啦

至於有沒有用、使用者買不買單就是另外一回事囉

--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 219.91.34.68 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/MobileComm/M.1628356150.A.9BC.html
推 jason2641668: https://i.imgur.com/Iyu9H9B.png
推 zrna0515    : 誤判的後續處理是否會侵害隱私呢？或是擾民？
→ jason2641668: 樓上 他有一個 threshold number
→ jason2641668: 基本上你要iCloud裡面有一堆這種類型的照片
→ jason2641668: 超過那個 threshold number 他才會轉人工檢測
→ jason2641668: 一張兩張 有可能是誤判 可是你有100張都被確診
→ jason2641668: 那就合理懷疑你是有問題的
→ jason2641668: 100只是我隨便設一個 threshold number
推 jason2641668: 白皮書裡面有說 他們不會去學習不在那個資料庫內的
→ jason2641668: 特徵
→ jason2641668: 很大程度要去降誤差帶來的問題
→ jason2641668: 你的兒童色情圖片不在 CSAM 資料庫中
→ jason2641668: 在蘋果這套偵測機制下 是不會被抓出來的
→ sami012985  : 所以在訓練這個模型的同時他們也有大量的兒童色情
→ sami012985  : 資料囉
→ s25g5d4     : 如果只是單純訓練模型的話，不用用有問題的圖片下去
→ s25g5d4     : 訓練。那個只是要取圖片特徵，所以大概是比較廣泛的
→ s25g5d4     : 資料下去訓練的
推 jason2641668: 白皮書裡面有寫 誤判率大概是 1 in 1 trillion
→ sami012985  : 不是用有色情去訓練，那我今天拍兒女的生活照片，
→ sami012985  : 是不是也會被抓兒童色情拿去人工審核呢，隱私呢？
→ s25g5d4     : 你是要談模型訓練還是比對？模型已經訓練好了當然不
→ s25g5d4     : 會拿你的照片下去訓練，至於比對是一定會做的，不爽
→ s25g5d4     : 不要用
推 jason2641668: 他有說不會訓練 CSAM 提供以外的
→ jason2641668: CSAM 資料庫基本上就是一個兒童色情犯罪的檔案庫
→ jason2641668: 你女兒的裸照並不會無緣無故被拿去訓練
→ jason2641668: 除非你兒女的裸照曾經被用於犯罪用途
→ jason2641668: 才有機會被列進去 CSAM 資料庫
→ jason2641668: 更正是 NCMEC 資料庫
→ jason2641668: 然後 NCMEC 提供的貌似也只有 hashes 值而已
→ jason2641668: 所以很有可能 Apple 也碰不到原始圖片
→ jason2641668: using a database of known CSAM image hashes prov
→ jason2641668: ided by NCMEC and other child-safety organizatio
→ sami012985  : 當然可以不爽不要用啊，我就是對他們的訓練跟審核
→ sami012985  : 方式提出質疑啊，訓練方式樓上解答了，這部分就沒
→ sami012985  : 有疑問了，那審核呢，你蘋果說懷疑就懷疑，直接就
→ sami012985  : 可以翻別人的資料再轉給司法部門甚至是第三人？當
→ sami012985  : 然你合約可以這樣定，但是否過度擴權或是與法律保
→ sami012985  : 障的權利抵觸。不過確實在這篇討論這件事跟你本文
→ sami012985  : 離題了，本來應該只聚焦在訓練模型的方式上，拍謝
→ sami012985  : 拍謝
推 dave123     : 把幾個熱門名詞結合在一起就能當新的feature出來賣
推 Luos        : 這個應該最合理 可是這個hash是在客戶端計算？
→ Luos        : 他們應該是用FBI提供數據來訓練吧
推 tom282f3    : 美國就爛啊 長臂管轄 侵害個人自由
→ tom282f3    : 但一般人又能拿他怎麼辦 真的只能不爽不要用
推 tom282f3    : 不過這樣看起來不也跟Google用AI去辨認沒兩樣嗎
→ tom282f3    : 一樣都是讓模型去讀取照片 哪裡比Google好了
推 eric525498  : 推
推 a1234567289 : 這篇正解
推 Tahuiyuan   : 如果是這篇寫的這樣，似乎對人權和隱私的侵犯就有
→ Tahuiyuan   : 降到最低限度？並且不至於將非兒童色情誤報為兒童
→ Tahuiyuan   : 色情，必須高度符合特徵，才會被判定並得到通報？
→ Tahuiyuan   : 例如色情內容但不確定是否未成年，或未成年但不確
→ Tahuiyuan   : 定是否色情，這個系統頂多通報交由人工複查？
→ Tahuiyuan   : 但一切還是要當事企業自己說明清楚，否則只能期望
→ Tahuiyuan   : 歐盟出手，依GDPR展開調查。
→ Killercat   : 樓上 他不會去「判定」色情內容跟是否成年
→ Killercat   : 他一切都以NCMEC提供的圖片特徵碼為主
→ Killercat   : 你就算偷拍一千張蘿莉（比喻），只要沒有散出去被
→ Killercat   : NCMEC資料庫（通常是被當犯罪資料送進去），在這
→ Killercat   : 機制下是不會被糾出來的
推 bxxl        : 也就是說這些照片就是已經通報失蹤或受虐的兒童啊
→ iCZAR       : 那icloud滿了還會傳嗎？