人類用光“欺騙”AI，結(jié)果竟然……

眾所周知，如今人工智能（AI）功能非常強大，高算力軟硬件再配合上無處不在的攝像頭作為自己的眼睛，分辨一張圖片中動物是貓還是狗，在茫茫人群找到某個目標，都早已不是難事。在圖像分類識別和圖像目標檢測等任務中，準確率幾乎達到“百發(fā)百中”的程度，甚至很多時候超過了真人。

通過人臉識別和大數(shù)據(jù)，AI 視覺系統(tǒng)不僅可以知道“你是誰？”，還很可能猜測出來“你從哪里來？”“你要到哪去？”。對于這些直擊靈魂的“哲學終極三問”，你不必說一句話，AI 已經(jīng)“心中有數(shù)”。

如果一個人不希望被鋪天蓋地的AI視覺系統(tǒng)所察覺，有沒有什么好辦法呢？

用頭套和面罩把自己的臉遮擋地嚴嚴實實的，把攝像頭砸壞了，或者把計算機電源線拔了？這些莽撞的做法只會起到欲蓋彌彰的效果，反而主動暴露了自己，真正的高招是瞞天過海，暗度陳倉，不動聲色把 AI 給騙了?？涩F(xiàn)在的 AI 越來越聰明，還能輕而易舉被人給騙了？其實欺騙 AI 不僅可行，還有很多種黑客攻擊辦法。

圖庫版權圖片，轉(zhuǎn)載使用可能引發(fā)版權糾紛

目前以深度神經(jīng)網(wǎng)絡模型為代表的AI系統(tǒng)雖然可以出色地完成很多任務，但內(nèi)部結(jié)構像個黑箱，研究者也沒有完全搞清楚其中的機理。這樣復雜的系統(tǒng)難免有各種漏洞（bug），只要抓住其中某一個，直擊要害，就可以把AI捉弄得團團轉(zhuǎn)。就如同人的雙眼會產(chǎn)生各種視錯覺一樣，AI 視覺系統(tǒng)也經(jīng)常有“看走眼”的時候。

即使一個 AI 系統(tǒng)平時表現(xiàn)甚佳，也會因為被“整蠱”，變得徹底發(fā)揮失常。AI 系統(tǒng)好比一個發(fā)揮不穩(wěn)定的學霸，考試中可以輕松應對壓軸難題，卻也會莫名其妙地出現(xiàn)低級失誤，回答不出“送分題”。如果只對一張圖片做出微不足道，甚至難以察覺的更改，誘導 AI 視覺系統(tǒng)做出錯誤判斷，稱為對抗樣本攻擊。

對于手機電腦上的電子圖片，使用者可以任意更改其中每個像素的數(shù)值，給圖片內(nèi)容改頭換面非常容易。難點在于，一方面做出的更改要盡可能無蹤無影，不容易被看出，另一方面所做出的更改要足以觸發(fā) AI 系統(tǒng)的漏洞，誤導生成錯誤的輸出。

不過目前已有很多不懼艱險的優(yōu)化算法，可以生成這種被稱為對抗樣本的圖片。下圖展示的就是AI視覺系統(tǒng)遇到電子“圖騙”攻擊之后的種種奇葩表現(xiàn)。

圖1：遇到電子“圖騙”（對抗樣本）攻擊之后，AI 視覺系統(tǒng)的奇葩表現(xiàn)：原本的熊貓圖片加上優(yōu)化設計的彩色雪花點之后，人眼看起來基本沒什么變化，可是 AI 系統(tǒng)告訴你這不是熊貓，是長臂猿；阿爾卑斯山被看成了狗，河豚魚被看成了螃蟹，這也太離譜了吧；甚至連最基本的手寫數(shù)字也不會認了，非說 4 是 9，3 是 7，8 是 1……這沒少喝吧[1、2、3]

不得不說，在遭受對抗樣本攻擊之后，AI 的眼力實在不敢恭維，“睜著眼睛說瞎話”，圖像的識別結(jié)果都是些胡言亂語，表現(xiàn)大失水準。AI 系統(tǒng)除了可以給出結(jié)果外，還會給出對應的置信度，表示自己對于結(jié)果正確程度抱有多高百分比的信心，可偏偏這些誤判結(jié)果的置信度數(shù)值都相當高，不是 99%就是 100%，看來此時的 AI 視覺系統(tǒng)還很“普信”，明明表現(xiàn)很普通，卻還那么自信。

如果說對于電子圖片，實施的是魔法攻擊，那么對于現(xiàn)實中的物體，就需要實施物理攻擊了。簡單一點的物理攻擊方式就是在人臉、交通標志或者別的什么物體上，貼上一個小標簽，畫上幾筆線條，當然所做的更改同樣是精心設計過的，就可以讓 AI 視覺系統(tǒng)失靈。

圖 2：通過貼小標簽的簡單方式迷惑 AI 視覺系統(tǒng)

千萬不要小看了這種惡作劇，圖中的“停車”交通標志牌會被 AI 誤認作“限速 45”，如果自動駕駛汽車真的被這樣的標志所欺騙，發(fā)生交通事故，車毀人亡都是可能的，AI 視覺系統(tǒng)的這種漏洞值得認真對待。

圖3：一個女孩戴上特殊鏡框后，就會被 AI 識別為另一個不同女孩

一般來說，某個人的長相要是可以被 AI 視覺系統(tǒng)認出來，那他戴上眼鏡，很大概率還是可以照樣被認出來。不過戴上以上這副特殊“眼鏡”就不一定了，這種假眼鏡沒有鏡片，只有鏡框，鏡框的彩色裝飾圖案也很另類，外表看似一件當代藝術作品，實際是根據(jù) AI 模型的缺陷“獨家定制”的，可以讓 AI 視覺系統(tǒng)感覺“判若兩人”。

對于實物的對抗樣本攻擊當然也離不開光學手段，利用投影儀在物體表面投影干擾光圖案就是一個簡單有效的方法，而使用隨處可見的影子作為攻擊方式，看起來則更自然，隱蔽性更強，只是需要把遮擋物體擺放到恰當位置，讓影子成為所需的樣子。

圖4：利用投影儀（左）和物體自然影子（右）的光學對抗樣本攻擊

如今智能手機的照相功能越來越先進，拍攝出照片和視頻越來越清晰，哪怕一款低配置的手機拍照質(zhì)量也基本可以讓人滿意，但數(shù)碼照相設備和人眼各自所忠實記錄的真實世界，其實是有差別的。不僅 AI 軟件系統(tǒng)本身是有漏洞的，作為 AI 視覺輸入的相機和攝像頭同樣有漏洞，通過在拍攝環(huán)節(jié)“做手腳”，人眼看起來再正常不過的物體，在圖像傳感器上卻會被轉(zhuǎn)換為一張張奇奇怪怪的照片，進而誤導AI的判斷。

要想欺騙相機，第一招是利用人眼與相機傳感器頻譜的差異。紅橙黃綠青藍紫各種不同顏色的光都被稱為可見光，是因為它們在人眼的視覺范圍內(nèi)，可以被看到，而比紅色光波長更長的紅外線，比紫色光波長更短的紫外線，在人眼中都是隱形不可見的。普通手機和相機的傳感器可以接收光信號的頻譜范圍大致和人眼類似，可又不完全一樣，往往可以探測到一定波長的人眼看不到的紅外線。

圖5：詭異的紅外光讓AI總是認錯人：相機拍到的圖片（第一行）和識別結(jié)果（第二行）

有研究者通過一個紅外線 LED 燈，把經(jīng)過設計的不同光分布圖案找到人臉上，無論怎么照，在真人觀看者眼中沒有任何異常，可是在拍出的照片中，臉上總是有紫色的一塊區(qū)域，這樣就會誘導 AI 人臉識別系統(tǒng)產(chǎn)生“臉盲癥”表現(xiàn)，把同一個人誤看成多個不同的人。而用于網(wǎng)上支付的正常紙質(zhì)二維碼，經(jīng)過百米之外紅外激光的照射，在手機攝像頭眼中，可以變?yōu)橥耆煌牧硪粋€二維碼，在不被留意的情況下，成為惡意網(wǎng)站鏈接的入口。

圖6：在一組快速交替的投影圖案照射下，人眼中還是那張臉，可相機眼中是完全另外一幅“濃妝淡抹”的模樣

第二招是利用人眼獨特的顏色融合機制。當紅色光和綠色光快速交替展示時，比如每秒 60 張，由于閃爍過快，人眼將難以分辨，看到的只會是紅色光和綠色光融合后形成的黃色光，而相比之下，圖像傳感器則更加明察秋毫，每個時刻記錄的或者是紅色光，或者是綠色光，并不會是融合后的黃色光。投影儀將包含了偽裝目標（比如希拉里）人臉畫面的兩個圖案快速交替投影到現(xiàn)實中的人臉上，真人觀看者看到的是兩個投影圖案中和后的均勻光圖案，看上去并沒有怎么影響人臉本身的樣子，而在手機或相機拍到的照片里，出現(xiàn)的卻是一個被投影圖案高度扭曲的人臉，會被識別為投影圖案中的人。這相當于用投影儀給人臉“濃妝淡抹”一番，不過妝容是若隱若現(xiàn)的，只要不通過相機觀看，化的妝就被自動卸掉了。

第三招是利用圖像傳感器卷簾快門的缺陷。人眼中的視網(wǎng)膜相當于相機中的傳感器，都是用于記錄圖像光信號。不過區(qū)別在于，視網(wǎng)膜記錄整張二維圖像的時候，是同步進行的，比如看一張人臉的時候，耳朵眼睛鼻子嘴都是同時看到的。但很多相機傳感器不是這樣，采取一種稱為卷簾快門的逐行掃描方法，單張圖像的光信號也是一行一行分開記錄的，耳朵眼睛鼻子嘴因為位置不同，并不是同步記錄下的，而是有微小的時間差。這樣通過明暗快速交替變化的燈光，恰好遇上相機傳感器正好記錄圖像中某一行光信號的時候，光是暗的，拍到的照片中就會出現(xiàn)一條黑線，最后整個畫面就成了斑馬的模樣。而對于人眼來說，由于燈閃爍得實在太快了，完全感覺不到燈在閃爍，看到的圖中更不會有黑線。

圖7：卷簾快門效應使得相機在快速閃爍燈光下拍到的照片中有一條條黑線或者彩色條紋

而如果我們使用紅綠藍三種不同顏色的燈光，并且更加精細地計算每種燈光各個短暫時刻的開啟和關閉狀態(tài)，照片上出現(xiàn)的不再是簡單的黑線，而是彩虹一樣的彩色條紋。無論黑線和彩色條紋，都可以迷惑 AI 系統(tǒng)，使它無法正常工作。

除了利用現(xiàn)成相機傳感器的缺陷，研究者也嘗試了更主動的攻擊方式，就像在特洛伊木馬中隱藏士兵一樣，在正常相機的成像系統(tǒng)光路中額外添加一個處理模塊，這個模塊能夠以光學方式對拍攝的圖像光信號進行微小的修改。

具體來說，通常情況下物體圖像的光信號通過相機透鏡之后，會直接投射到圖像傳感器上。但這個不普通的系統(tǒng)中，相機透鏡和傳感器之間還添加了一個額外的模塊，模塊里面包括兩個透鏡和一個空間光調(diào)制器，第一個透鏡相當于以光場傳播模擬了對圖像進行傅里葉變換，然后用空間光調(diào)制器調(diào)整變換結(jié)果的相位，再通過另一個透鏡，進行傅里葉逆變換。

經(jīng)過這個特殊模塊處理后的圖像會和正常相機的拍攝結(jié)果稍微不同，“魔鬼就存在于細節(jié)之中”，輸入中巧妙設計的微小改變足以擾亂一個 AI 系統(tǒng)的正常運行。

圖8：一個嵌入了用于生成對抗樣本圖像的光學處理器的相機系統(tǒng)

當然，面對各種對抗樣本攻擊，AI 視覺系統(tǒng)的設計者也不是束手無策，兩者是矛與盾的關系，矛越鋒利，盾也會更堅固。

近年來，研究者經(jīng)常舉辦全球范圍內(nèi)的人工智能對抗樣本攻防競賽，參賽者可以在模擬的場景中相互切磋，聚集在一起華山論劍?！澳Ц咭怀撸栏咭徽伞?，AI 視覺系統(tǒng)抵御對抗樣本攻擊的能力也在日益提升，隨著各種漏洞的填補而變得愈加完善。

參考文獻

[1] I. J. Goodfellow, J. Shlens, and C. Szegedy, Explaining and Harnessing Adversarial Examples, arXiv:1412.6572 (2014)

[2] Y. Dong, F. Liao, T. Pang, H. Su, J. Zhu, X. Hu, and J. Li, Boosting Adversarial Attacks with Momentum, 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2018), 9185-9193 (2018)

[3] H. Ye, X. Liu, and C. Li, DSCAE: a denoising sparse convolutional autoencoder defense against adversarial examples, J. Ambient. Intell. Human Comput. 13, 1419–1429 (2022)

[4] J. Fang, Y. Jiang, C. Jiang, Z. L. Jiang, S.-M. Yiu, and C. Liu, State-of-the-art optical-based physical adversarial attacks for deep learning computer vision systems, arXiv: 2303.12249 (2023)

[5] M. Sharif, S. Bhagavatula, L. Bauer, and M. K. Reiter, Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition, In Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security (CCS '16), 1528–1540 (2016)

[6] A. Gnanasambandam, A. M. Sherman, and S. H. Chan, Optical Adversarial Attack, arXiv:2108.06247 (2021)

[7] Y. Zhong, X. Liu, D. Zhai, J. Jiang, and X. Ji, Shadows can be Dangerous: Stealthy and Effective Physical-world Adversarial Attack by Natural Phenomenon, 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 15324-15333 (2022)

[8] Z. Zhou, D. Tang, X. Wang, W. Han, X. Liu, and K. Zhang, Invisible mask: practical attacks on face recognition with infrared, arXiv:1803.04683 (2018)

[9] 《紙質(zhì)二維碼也能隔空篡改：百米之外無痕攻擊，秒變惡意網(wǎng)站入口》，量子位微信公眾號，https://mp.weixin.qq.com/s/mNB-4mAfFCtcNtvSUW3x5Q

[10] M. Shen, Z. Liao, L. Zhu, K. Xu, and X. Du, VLA: a Practical Visible Light-based Attack on Face Recognition Systems in Physical World, Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 3(3), 103 (2019)

[11] Z. Chen, P. Lin, Z. L. Jiang, Z. Wei, S. Yuan, and J. Fang, An Illumination Modulation-Based Adversarial Attack Against Automated Face Recognition System, In Information Security and Cryptology: 16th International Conference (Inscrypt 2020), 53–69 (2020)

[12] A. Sayles, A. Hooda, M. K. Gupta, R. Chatterjee, and E. Fernandes, Invisible Perturbations: Physical Adversarial Examples Exploiting the Rolling Shutter Effect, 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 14661-14670 (2020)

[13] K. Kim, J. Kim, S. Song, J.-H. Choi, C. Joo, and J.-S. Lee, Engineering pupil function for optical adversarial attacks, Optics Express 30(5), 6500-6518 (2022)

[14] 張子豪，《神經(jīng)網(wǎng)絡太好騙？清華團隊如何做到打NIPS攻防賽得3冠軍的》，程序員好物館微信公眾號，https://mp.weixin.qq.com/s/k0dCmIhwMsqvsR_Fhhy93A

策劃制作

來源丨Light科普坊/中國光學

責編丨鐘艷平