SMC 資料庫

此篇報導為與工商時報合作，並刊載於<科學家新視野專欄－AI偽造影像帶來的危機>

國立屏東科技大學資訊管理系助理教授 許志仲
國立屏東科技大學資訊管理系碩士生 莊易修

2012年以來，深度學習（Deep Learning）技術大爆發，電腦視覺（Computer Vision）與其他許多研究領域紛紛投入深度學習的懷抱。2014年，一種名為對抗生成網路（Generative Adversarial Nets，GANs）的概念被提出來，用於生成各種擬真的影像。自此之後，許多研究者紛紛投入GANs的改良研究，企圖發展出更擬真的影像或視訊。究竟GANs帶來什麼問題，有哪些最新研究趨勢可以解決？

圖一、PGGAN（Progressive Growing of GANs）所產生的偽造人臉影像 [2] 。

就如同所有的技術一樣，若被不當的使用，可能引發不可想像的嚴重後果。2018年，經過4年的改良，已經可以很容易生成非常逼真且具有足夠解析度的偽造影像，如圖一所示，對於大多數的使用者來說，很難在短時間內辨識出真偽。這也是GANs首度有接近自動化的能力，可以自動生成一個不存在的人的視訊資料；也可自動將既有的影片換上特定的臉部特徵。雖然早期是用於研究目的，且具有某些實用價值，例如生成人臉或生成任何影像，來擴充原本訓練影像不夠的情況，解決AI無法良好學習的問題。但不當使用卻會帶來嚴重的後果，特別是偽造合成的人臉影像。例如，它可以用於 Facebook 或其他社群網站上創建虛假的個人帳戶，並且使用合成的臉部圖像來混淆某事或欺騙某人。更進一步的，GANs 可能會用於創造和任何著名政治家十分相似的合成臉部，來發表演講影片造成社會、政治和商業活動的嚴重問題。一個很好的例子是「Deepfake」以及相關的應用，被廣泛用在許多不恰當的地方，例如合成色情影視訊等，已經嚴重危害到現今社群網路上的媒體可靠性。根據一則最近的新聞指出，這類Deepfake軟體合成出的偽造影片甚至有機會影響選情 [1] 。深度學習此類型的AI技術，特別是GANs，是把雙面刃，既可應用於擴增資料、增強影像還原技術等正面研究，亦可刻意生成不當的影視訊來混淆視聽、造成社會動亂。此一嚴重性，不可不正視之。

在台灣，對於偽造影像偵測的研究有限。2018年還尚未有任何學術論文開始探討偽造影像所帶來的危害，全球也尚未開始重視偽造影像帶來的危害與問題。2018年中後段，全球才開始有一些研究團隊意識到此問題之重要性，因此紛紛開始投入人力研究，利用AI來反制AI的偽造影像。一般來說，大多數的研究會採取監督式學習（Supervised Learning），將偽造影像辨識出來，方法上與其他做影像辨識的任務並無差別。由於GANs改良的研究日新月異，要蒐集所有的GANs來訓練將曠日廢時。此外，若未來又有新的GANs產生，則偽造人臉檢測器便須重新訓練。與以往純監督式學習截然不同的策略之一，是採用成對學習（Pairwise Learning）[3] 的概念，試圖去找出不同GANs網路之間存在的共同瑕疵。藉此便可不需要蒐集所有的GANs，當新的GANs被提出來之後，亦不需要重新訓練偽造人臉檢測器。

我們首先在2018年中，研發出透過對比損失函數（Contrastive Loss）來學習五個具有代表性的GANs偽造影像的共同特徵，藉此來訓練偽造人臉偵測器，可達八成五以上的準確率 [4] 。2018年底我們改進方法後，引入三元損失函數（Triplet Loss）來強化共同偽造特徵的學習，並針對深度學習網路，提出了雙重神經網路（Coupled Network）來加強效能。此項成果更可達到約九成到九成五的準確率 [5] 。

未來，這一類的偽造人臉影像偵測器可結合社群網路或媒體，審核上架照片、影片視訊的內容。若內容可能為偽造影像，則可進一步透過人工檢視、或是自動屏蔽，降低不實的影視訊在網路上流竄的機率，進而達到偽造影像的防治。

2019年初國際上開始重視這類議題，其中最早重視此議題的是慕尼黑工業大學和義大利拿坡里費德里克二世大學在2019年1月提出的偽造人臉資料庫：Face Forensic++ [6] 。2019年10月，微軟以及Facebook宣布攜手建立Join the Deepfake Detection Challenge（DFDC），DFDC的主要目的跟FaceForensic一樣，都是希望可以透過舉辦競賽，收集全球有志人士針對偵測偽造影像視訊內容的演算法，並提高大家對於這些偽造影像的認知。或許接下來會出現一個新的GANs，其效果遠超越過去的GANs，使得所有的偽造影像偵測器都失效；亦有可能，有共同目標的研究團隊能發現GANs這類型偽造影像的致命缺點，瞬間止住偽造影像的流竄。然而我們可以確定的一點是，AI的攻防戰會繼續持續下去。

註釋：

[1] Evan Halperstaff. (2019,11,05). Deep fake videos could upend an election — but Silicon Valley may have a way to combat them. Losangelas times.

[2] Karras, T., Aila, T., Laine, S., & Lehtinen, J. (2017). Progressive growing of gans for improved quality, stability, and variation. arXiv preprint arXiv:1710.10196.

[3] 成對學習與「配對法排序學習演算法Pairwise Learning to Rank」兩者是不同的方法，但Pairwise learning也有人翻譯成配對學習。

[4] Hsu, C. C., Lee, C. Y., & Zhuang, Y. X. (2018, December). Learning to Detect Fake Face Images in the Wild. In 2018 International Symposium on Computer, Consumer and Control (IS3C) (pp. 388-391). IEEE.

[5] Zhuang, Y. X., & Hsu, C. C. (2019, September). Detecting Generated Image Based on a Coupled Network with Two-Step Pairwise Learning. In 2019 IEEE International Conference on Image Processing (ICIP) (pp. 3212-3216). IEEE.

[6] FaceForensic++是資料庫全名，FaceForensic則是代表該收集資料庫的計畫名稱。

本文歡迎媒體轉載使用，惟需附上資料來源，請註明新興科技媒體中心。
若有採訪需求或其他合作事宜，請聯絡媒體公關：