Re: [情報] 蘋果新的照片審查機制
原文恕刪
因為覺得兒童色情及用戶隱私是相當重要的議題，但使用者對於其技術的誤解容易造成議題失焦，所以希望透過這篇回文拋磚引玉吸引更多人的討論，也懇請各位大神對於我說錯的地方不吝指教QQ。
在討論運作方式前，先來看看幾個技術文件提到的大前提XD
1. 蘋果不會知道任何 unmatched 照片的任何資訊。
2. 除非到達一定的閥值，蘋果不會取得任何 matched 照片的 metadata 或視覺資訊。
3. 系統誤判的機率非常的低（文件下方說誤判帳號的機率是一兆分之一），且每個被點名的嫌疑帳號都會被人工審核後才回報給 NCMEC。
首先，先從官方的技術文件來了解系統的大致的運作方式。蘋果並不是單純的用
AI 影像辨識的方式偵測，而是在先本機取得圖片的 NeuralHash 值後跟資料庫中已知
的雜湊值比對，且比對的動作是在本機執行。比對的結果也會經過加密後才上傳到
iCloud，故在解密之前連蘋果也不知道比對的結果與內容，要直到達到一定的閥值後蘋果才會將 matched 的照片解密並將帳戶回報給 NCMEC。其步驟可以參考下方圖片。
https://imgur.com/Cwn2828
那麼，這個做法跟單純的 AI 影像辨識究竟有何不同？有人會誤以為蘋果是運用大量的兒童色情圖片訓練出一個分類模型來判斷照片是否屬於兒童色情。然而，蘋果並不是用這樣的方式來判斷圖片「像不像」兒童色情，其技術中的神經網路只是用來提取圖片的特徵值(描述符 descriptor)，特徵值經過雜湊後再與「已知的」非法圖片進行比對，而匹配與否是看有無與已知的圖片「近乎相同」(nearly identical)。所以它的概念比較
類似以圖搜圖，而不是 google 相簿的場景/人物辨識。故重點在於已知的資料庫內容
，理論上要明確被列入資料庫的非法照片才有可能 match。
至於到底什麼樣的照片叫做「近乎相同」？根據蘋果的技術文件，原始圖片即使
經過輕度的裁切、變形、灰階化、改變解析度，甚至轉檔，都會被視為與原圖近乎相同
，換句話說，修改後的圖片會與原圖產生相同或相似的雜湊值。下圖即是技術文件內
的例子。
https://imgur.com/nRmh7z5
但是，即便兩張圖片視覺上看起來相同，它們依舊是不同的兩張圖片，怎麼會產生相同或相似的雜湊值？這有兩個關鍵的地方，其一是提取圖片描述符(descriptor)所使用的神經網路。從文件可以得知，蘋果使用自監督學習(self-supervised training)的方式來訓練模型。模型的 input data 非常簡單，共有兩種組合，第一種是由原圖與稍微修改的原圖形成的組合(original/perturbed pair)；第二種是由原圖以及一張與原圖不相同的圖片形成的組合(original/distractor pair)。而模型的目標是遇到相似的圖片組合時產生相似的描述符，反之在遇到不相似的圖片組合時要產生不同的描述符。總之，這個神經網路被訓練成在遇到近乎相似的圖片時會產生相似的描述符。
然而，有相似的描述符還不夠，第二個關鍵是取得描述符後會使用 LSH (Locality-
sensitive hashing) 算法進行雜湊，這部分請參考此篇 #1X3huscy (MobileComm) ，
簡單來說相似的輸入值會有高機率被 hash 到相同的 bucket，這就是為什麼近乎相同的圖片會產生相同的 NeuralHash。
以下是幾個我覺得很有趣問題，也附上我的看法，如有說錯請大大多多指教
Ｑ1: 蘋果要怎麼判斷照片是未成年的？如果自拍小 GG 會不會被誤判？
A1: 如第一段所述，蘋果並不是用 AI 來判斷圖片「像不像」未成年，所以圖片看起來像不像未成年並不重要，重要的是有無與資料庫匹配。
Q2: 家長拍攝自家小孩的照片會不會被誤判持有兒童色情？
A2: 其判斷的重點在於已知的資料庫內容，除非家長拍的照片被列入資料庫，不然理論上不會因此誤判。
Q3: 那麼二次元的部分呢？
A2: 如同Q2，除非哪天 NCMEC 把二次元視為兒童色情並將圖片列入資料庫中，不然不會因此誤判。
Q4: 廢話這麼多？所以蘋果到底有沒有掃描且看過我的相簿？
A4: Well..yes, but actually no。蘋果確實在「本機」掃描了圖片，但是掃描得到的描述符、NeuralHash，與判斷結果都會以加密的方式上傳到 iCloud，所以除非是超過閥值而被解密的照片，不然蘋果不會知道任何 unmatched 圖片的 metadata 或視覺上的訊，也就是說，蘋果並沒有「看過」你的照片。
Q5: 這樣看來蘋果有解密照片的能力，那加密不就是唬爛的嗎？
A5: 該加密技術是採用 PSI 加密協議（原理好複雜我也還沒完全看懂XD），但就我的理解，蘋果解密圖片需要兩把鑰匙，其中一把鑰匙為伺服器持有，而另一把在本機計算
NeuralHash 時產生，然而，本機所產生的鑰匙只有在圖片 matched 時才是有效的鑰匙，換句話說，圖片在 unmatched 的情況下本機產生的鑰匙是無效的，所以蘋果沒辦法單方面解密照片。
總結來說，我覺得蘋果這個做法在保護未成年的部分是立意良善，也儘可能做到維護使用者的隱私，但仍有幾個需要探討的點：
1. 蘋果如何保證這個機制只會用來偵測兒童色情？這整個機制最重要的部分就是資料庫的內容，只要放入資料庫的照片就能夠被偵測到。也就是說，如果有政府單位或是其他組織要求在資料庫放入其他照片，那麼這個機制便可能淪為政府內容審查的工具，蘋果要如何保證這點？
2. 繼然被點名的帳戶會經過蘋果的人工審查，那麼蘋果是否會保證審查人員的心理健康？且人工審核時審查人員是否知道照片與帳戶持有人之間的關聯？
3. 所有機制都會有誤判的時候，那麼遇到 false positive 時會如何處理？
--
第一次發長文，排版有點混亂，敬請見諒QQ
推一個
先推推再看
推
推
推
Reddit 有在討論蘋果這做法確實是掃瞄 iPhone 本機的圖片
，這跟蘋果是不是真的「看過」是兩個問題。有看法認為今天
你蘋果可以因為美國法案而監控使用者手機內的內容，那蘋果
以往強調的 Privacy 將成為笑話。加上蘋果說會依不同國家
的法律規定來調整做法，那在中國會發生什麼事情？
專業推
專業推,不過覺得兒童色情監管已經整個歪掉了
本來是立意良善,現在是扣個帽子就直接吃光你人權
跟台灣有關係嗎？
也是覺得為了極少數犯罪者監控全使用者不妥
專業推，我覺得這個技術好神奇喔，
經過後製的圖片Hash值還能跟原本的相同
而且完全不經手AI，無法想像
推 專業
純噓蘋果自己號稱最保障客戶隱私卻自打臉
專業推，不過變態犯罪根本不會因為有審查就能減少
推
還在噓蘋果保護隱私的只能說偉哉
樓上這麼不介意建議以後你家門都不要關，攘別人有事沒事
都進去檢查不用搜索令
我有疑問，你雖然說是用已知資料去做特徵值比對，但這樣
已知資料裡面還不是一樣要有兒童色情圖片才行嗎？沒有一
開始的兒童色情圖片，要怎麼繼續抓出後續的資料？結果不
是跟原本一樣，只是換個說法。
對你說的沒錯，資料庫裡面當然有兒童色情圖片，不然就無法做比對XD。但我想強調的是 ，資料庫的圖片並不是用來訓練影像辨識模型，因為有些人會誤以為蘋果是拿兒童照片訓 練出一個分類模型，但實際上資料庫的作用並非如此。另外你提到要如何抓出後續的資料 ，這其實就是這個機制的盲點之一，如果該照片是尚未被列入資料庫的「第一手照片」， 那麼這個機制就無法偵測到它，這點只能等NCMEC或其他組織找出更多兒童受害的資訊， 並將它列入資料庫中。
二來是，你說用特徵值比對，但google搜尋除非有一樣的圖
片，基本上搜尋的圖片常常出入很大，而大家的照片又不可
能一樣，你說這樣失誤率會很低，我抱持的疑問？
我用以圖搜圖這個詞主要是想強調用已知的圖片去比對的概念，並不是說它的效果像是 以圖搜圖一樣會吐一個出入很大的搜尋結果。所以就像你說的，除非圖片真的近乎相同， 要比對成功的機會很低。
同上，如果失誤的時候，一樣還不是要人工審核，這樣不就
一樣侵犯了隱私？
的確目前似乎還沒有看到蘋果說明人工審核的詳細運作方式，這是需要注意的點。
基本上，不管再怎樣強調沒有主動去瀏覽，但監控跟有能力
去調閱，還是侵犯他人隱私啦。以Google那種失誤率來看這
技術，我覺得應該沒有家長願意自己小孩的照片有可能被調
閱吧？
好奇討論一下，我有個想法是使用GAN來產生兒色圖的特
徵值，然後再用此來跟客戶hash值進行比對，這樣有搞
頭嗎？
意思是我要上傳iCloud還得消耗我機器的算力
本機是指消費者的手機，而不是icloud?
如果是，這合法？
沒錯本機是指消費者的手機，運算與加密的確是消耗手機的資源，但有沒有合法這就有 請美國的消費者去跟蘋果打集體訴訟了XDD
推
推 防治兒童性侵害應該可以用其他方法，不需要這樣侵害
隱私吧
其實就只是特徵比對在使用者手機跟在遠端系統做的差別
特徵值來源ㄏㄏ
那假設我身為父親，有些場景需要拍幼年子女的脫衣照給醫
師查看，這樣被蘋果看到到底？
如果因此需要人工審核，拿我小孩裸照還不被看光，不知道
是誰侵犯誰…
一堆人的質疑原PO Q1~Q5不就回答了....
好笑的點就是在Q2阿，只敢說理論上。但如果照原po說的
跟以圖搜圖是類似原理，但以圖搜圖本身就錯誤百出，會不
會誤判？準確度多高？
只說理論上是因為這種用到神經網路的東西不可能做到百分之百，肯定會有誤判的時候， 至於準確率到底是多少，就文件來看帳號被誤判的機率是一兆分之一，要不要相信 蘋果的統計就自由心證了XD。另外如同我上方的回覆，以圖搜圖只是一個概念，並不是說 它的效果跟以圖搜圖一樣。
Q5又表示被判定是非法圖片後，就可以人工審核
立意是好的，但這不足以也不能當成侵犯隱私的理由。
沒錯，人工審核的部份需要蘋果做更多的說明。
我認真覺得自己手機內的東西不該被掃瞄審查，蘋果這樣做確
實會影響以後我要不要繼續買蘋果產品的意願。等著看戲。
所以蘋果會消耗手機電力進行照片分析運算，並且上傳
iCloud，那如果照片只放在手機端不存iCloud, 是否就
不會上傳(仍然會消耗手機運算能力及電力？)？
只有上傳到icloud的照片才會被分析是確定的，但會不會計算沒上傳的圖片這點待釐清。
專業推
人工審核需要法源依據，蘋果不是執法單位會有爭議..
嚴格來說蘋果並沒有執法，只有將被抓到的帳號回報給 NCMEC 跟有關單位。
另外最大的問題卻是就是資料庫的內容誰決定..
問題應該是在於資料庫吧
如果放了政府想找的其他資料
蘋果不就成為幫忙政府監控的幫兇了？
誰能確保資料庫內容的真的只有兒童色情？
沒錯，最大的問題就是資料庫的內容，蘋果在 FAQ 裡面提到他們不會答應政府的要求 加入其他無關的照片，但看看中國的雲上貴州www 相不相信蘋果就看個人了XD
「閾值」O 「閥值」X
中文太差，你沒說我根本不知道這兩個字的差別XDD
我是不希望手機被這種事情額外消耗資源去比對
專業分享給推
google做=》廣告公司收集資料，沒有隱私。apple做喔
=》利益良善保護未成年，沒有隱私侵害問題。我覺得這
個雙標很可以
喔，對了。我不是針對這篇，這篇說明的很詳細，是篇
好文。只是同樣的文套google身上，嘛也就那樣。
那些照片蘋果能解密都是蘋果自己說的，這就是問題
用什麼演算法加密並不是重點
另外目前的資料是說如果有照片被認定Matched並且被傳回
蘋果，使用者並不會知道。這絕對跟強調隱私的廣告反著走
最理想的加密方式一直都是"只有我自己有鑰匙"
Apple過去幾年強打隱私、避免其他公司獲取使用者資料，
但是自己的服務就是不實作端對端加密，蘋果自己一直都
在持有使用者資料，只是話講得比較好聽而已。
現在開始終於有動作了，如果沒經過你同意直接就開始了
審查你照片的動作，那未來這能推展到什麼程度?
FB for iOS連我在哪都不知道了，現在你大蘋果直接看我
照片，也不問我是否同意，以後是否要審查我訊息?
推資訊
講這麼多就是侵犯隱私來掃你的照片 誰知道哪天會不會
偷用
所以我實際自己去偷拍未成年少女上廁所的話，只要我
不分享到網路上，也不會被偵測到了？
你說的就是這個機制的盲點，但我想你要擔心的不是蘋果，而是台灣的警察XDD
我說明一下，NCMEC那邊有一個資料庫，
搜集了當前已知的非法照片，
蘋果利用這個資料庫對每張照片生成HASH值，
再去比對您手機裡面的照片，是否有HASH值符合的照片
，
換言之不在那個資料庫裡的照片，
也就是您所述為了醫療所個人拍攝的照片，
並不會被偵測到。
是不是說 即便沒有同步 也已經在本機檢查是否 match 而同步
就直接上傳這份結果了?
今天掃描兒童色情 明天掃描你有沒有偷說黨的壞話
只能掃DB裡的有什麼用? 抓散播的人而已
基本上也是AI影像辨識 現在訓練模型也都會用self-super
vised 只是apple沒有把資料庫的data 拿來fine-tune而已
S 大說的還是不足以解釋誤判的情況，只是重複敘述了一次
內容而已。而且拿那個舉例也很怪，最生活化的應該是，我
拍我家小孩沒穿衣服亂跑、洗澡的照片，跟資料庫裡罪犯拍
別人小孩類似情境的照片，那些數值可以判定這些？更別說
其他誤判成完全不相干東西的情況了，一直說數值會判定，
避開誤判的情況有什麼用？更別談撇開這些，根本的隱私權
問題，不管你有什麼理由，沒有人有理由被監控。
監控全用戶就是已經預設 你有可能是犯罪者了吧
問題應該還是在要如何說服使用者誤判的情況 另外也很好奇這
個方法如果我是把多張圖片合成一張圖的話還有辦法辨認到嗎
反正蘋果會掃描你所有的相片，結案
蘋果負責一點就做個開關讓使用者自己決定願不願意接受偵測
, 少打一次蘋果自己的臉。
你的文很專業 但加密方式安不安全從來不是重點
它還是讀取了原始圖片內容
你能保證蘋果除了加密之外沒對你的資料做其他事嗎？
蘋果從來不會公開他對使用者的資料做什麼 但其他在iOS上的
公司卻都得公開透明 這才是最恐怖的
其他公司有沒有侵犯用戶隱私蘋果說了算 但蘋果自己是裁判卻
能審查用戶隱私資料 還不跟你說詳情
推好文
但真的搞不懂為什麼蘋果要因為少數人侵犯所有人的隱私
而且單純比對資料庫的圖片
根本無法遏止偷拍未成年少女吧
自己拍自己存 不散播就進不了資料庫 也就不會被抓
這的搞不懂蘋果到底在幹嘛
蘋果這個一搞 等於自己毀掉iCloud強調的安全跟隱私
不僅讓人質疑開了這個先例是否會是潘朵拉的盒子
況且根據目前大家的討論
這個政策造成的質疑跟擔憂明顯超過正面效益
一方面在發表會強調自己多重視隱私
另一方面卻又幹著侵犯隱私的事
坦白講這的蠻失望的（但我也譴責兒童色情）
也會考慮要不要繼續使用iCloud備份照片了
另外我之前有看到文章說只會適用在美國地區
不知道是全球都適用還是只有美國？
目前這是因應美國法律才有這個計畫，僅適用於美國 iPhone
使用者。但蘋果說會因應不同國家的規定來施行，所以大家
可以想想碰到中國會發生什麼事。
推，合理。
謝謝蘋果幫我檢查照片
iCloud 存照片本來就很爛了，現在更不想存了
推整理 看來這系統對於偷拍犯還是沒屁用啊
而且看起來很容易成為政府的審查工具沒錯
媽媽拍自己兒子小時候露JJ看來也危險了
你的意思是蘋果有一個塞滿兒童色情的資料庫可以拿來比對
嗎
你自己拍的照片沒在資料庫裡面不會有事
但蘋果有個h圖資料庫這件事情還是很好笑
蘋果這樣搞超級腦殘，而且很容易繞過..人家不要使用
iCloud 或ios就好了，而且如果用mega分享照片，直接
用app看你也不能怎麼樣。但蘋果這要搞就是賠掉商譽，
搞不好這功能還會讓ios背景更噴電
還不如學日本那樣強制拍照要有很大聲的快門音還比較
實用一點點
這個不是沒不沒事的問題，大部份都不是被法院認定的嫌
疑犯，沒有理由把儲存在線上空間的資料給人看，誰決定
資料庫特徵碼就不算隱私的一部份。這種搜索是有罪推論
的，使用者必須開放自己空間的特徵碼證明自己「無罪」
台灣應該馬上會跟進了.
中國：Interesting
閾值啦 幹
中國：樂觀其成，感謝蘋果
美國政府使用兒童色情的名義擴權早已行之有年
現在是比對已建檔的兒童色情影音
但在技術跟程序上，有什麼能阻止/避免政府or蘋果拿其他
任意項目的影音來做比對，以得知用戶有沒有持有任意圖片
？
eg：中國政府比對找出持有64坦克人照片的用戶
先打預防針 我堅決反對兒童色情
另外，github上已經有人實作了可以產生相同neural hash
的方式 雖然不知道蘋果的實際implementation，但顯然誤
判絕對是會發生
補推
補補
這年頭你總是要把資料交給某家公司的 除非你什麼都自己架
差別只在你交給誰了 google也對gmail, google pay的交易內
容掃描阿 美其名都立意良善 真的要絕對隱私 請自己做手機
推推～～～是既然唷～
看起來不是拿圖片binary去hash 是經過一些簡單的NN
得到feature去跟資料庫裡的比對，這些feature 對人
來說就是一堆數字而已沒什麼意義，所以應該不能算看
過，而當feature跟資料庫裡的非常相似時才會上傳照
片得到原始圖檔 以上只是猜想
能被拿來做比對就不能算無意義的數字，用戶空間內任何
一段數據包含客戶刪除檔案的碎片都應屬於個人資產
不管你轉了幾層 你先假設所有使用者是罪犯 利用使用者
本身的資源去做運算怎麼想都有問題 更別說會有誤判需
要人工介入部分 憑什麼我沒犯法的照片因為你的誤判就
給你看？
蘋果就是假定所有人都有嫌疑才會去把照片跟資料庫掃
描阿！這點就站不住腳了
為了防止兒童色情一個公司可以看東西
那政府為了維穩可不可以隨意搜索你家呢?
好文推！
14
嗨又是我XDD，因為蘋果釋出了一份新的說明文件，正好解釋了一些我上一篇 文章中尚待釐清的問題，所以再寫一篇文與板友分享與討論～ 註：以下內容皆是我個人對於文件的解讀，完整的資訊請參考官方文件，且 如有說錯的地方也請不吝指教！21
首Po請問蘋果利用iCloud 來檢查iPhone 使用者是否 持有兒童暴力相關照片（性暴力或是虐待），這樣不會違反他們的初衷嗎？ 蘋果一直以來都給人一種顧客隱私終於一切的感覺，而且這個審查機制難保不會無限上綱到別的領域，例如手機偷拍或是一些外流影片等等。此外文中有提到這個技術不是掃描整台手機，而是他們有個資料庫會自動配對兒童暴力的照片，但我是滿好奇在技術上是怎麼做到這點的XD 原文： ----- Sent from JPTT on my iPhone![[情報] 蘋果新的照片審查機制](https://i.imgur.com/viiNbdIb.png "[情報] 蘋果新的照片審查機制")
32
Re: [新聞] 蘋果將偵測兒童色情影像 用戶上傳iCloudApple 設計這套系統的時候就考慮過有人會出來靠北隱私了 背景知識 - Hash 值: 每個檔案都有一個唯一的 Hash 值 (指紋的概念) 科學家用數學保證他幾乎不會重複 每個雲端空間基本上都會在你上傳檔案的時候計算 Hash 值 為了要避免他們儲存太多重複的檔案![Re: [新聞] 蘋果將偵測兒童色情影像 用戶上傳iCloud](https://i.imgur.com/dYDZmnWb.jpg "Re: [新聞] 蘋果將偵測兒童色情影像 用戶上傳iCloud")
12
[情報] 蘋果iPhone擬偵測兒童色情圖像 引發隱私標題: 蘋果iPhone擬偵測兒童色情圖像 引發隱私保護爭議 內文: 詳情請見新聞內文![[情報] 蘋果iPhone擬偵測兒童色情圖像 引發隱私](https://money.udn.com/static/img/moneyudn.jpg "[情報] 蘋果iPhone擬偵測兒童色情圖像 引發隱私")
13
Re: [新聞] 蘋果將偵測兒童色情影像 用戶上傳iCloud用檔案 hash 比對圖片實在太不可靠了，改個 1 bit 資料就可以讓 hash 不同 我覺得蘋果不會做這種智障系統，否則這系統根本沒用 所以去翻了一下相關文件 看起來是用蘋果自己開發的新演算法 NeuralHash![Re: [新聞] 蘋果將偵測兒童色情影像 用戶上傳iCloud](https://i.imgur.com/Iyu9H9Bb.png "Re: [新聞] 蘋果將偵測兒童色情影像 用戶上傳iCloud")
5
Re: [新聞] 蘋果將偵測兒童色情影像 用戶上傳iCloud六七年前在讀研究所的時候，因為主題是影像分析比對，所以有找了許多論文 我就看過幾篇google 發表的論文 透過快速比對 hash 值來快速搜尋圖片 論文中就提到他們把 原先比較距離使用的 兩個值相減平方 這類的概念 直接改成把所有資料簡化成0與1 利用 OR XOR 的方法 來高速比對 當然 論文中並沒有提到 google 是如何對圖片做hash的 或是 用什麼方法取特徵點的![Re: [新聞] 蘋果將偵測兒童色情影像 用戶上傳iCloud](https://s4.itho.me/sites/default/files/field/image/fireshot_capture_707_-_image2.jpg_1182x367_-_1.bp_.blogspot.com_.jpg "Re: [新聞] 蘋果將偵測兒童色情影像 用戶上傳iCloud")
3
Re: [新聞] 蘋果將偵測兒童色情影像 用戶上傳iCloud我只能說不管怎樣 他們一定會侵犯隱私 人工審核照片的 如果是我來設計抓未成年影像的AI 我會先判斷年齡，用臉或是體形，判斷是否為未成年 再判斷圖片是否有裸露，性行為![Re: [新聞] 蘋果將偵測兒童色情影像 用戶上傳iCloud](https://i.imgur.com/NS9fpbeb.png "Re: [新聞] 蘋果將偵測兒童色情影像 用戶上傳iCloud")
Re: [新聞] 蘋果擬讓 iPhone 偵測兒童色情照片，新軟上完成，而不是雲端。 在本地端進行比對? 所以是每次上傳 iCould 前，都要把"整個資料庫"的圖片的hash code 下載到本地端嗎? : 反之，若用戶認為他們的帳戶被偵測錯誤，可以向蘋果提出上訴。蘋果表示，新軟體只對 : 上傳到 iCloud 的照片起作用，所以用戶可以自行關閉，只要設備中的照片沒有上傳到蘋
![[心得] 設定充電80%上限循環400次後的電池健康](https://upload.cc/i1/2024/05/29/pnruQM.jpeg "[心得] 設定充電80%上限循環400次後的電池健康")
![[問題] 特定應用程式死當，程式或手機問題？](https://i.imgur.com/ZxErVH5b.jpg "[問題] 特定應用程式死當，程式或手機問題？")
![Re: [問題] iPad Air和Mini什麼時候上120Hz](https://i.imgur.com/UI7uuxZb.jpeg "Re: [問題] iPad Air和Mini什麼時候上120Hz")