本文版權為《郵電設計技術》所有，如需轉載請聯系《郵電設計技術》編輯部
摘要：人臉偽造給網絡安全帶來了重大挑戰(zhàn)。針對現有人臉鑒偽模型特征單一、準確率低的問題，提出了一種基于深度學習的多特征融合人臉鑒偽模型。該模型設計了不同特征提取模塊，用以獲取不同尺度的特征表示。并學習如何有效融合這些語義信息以準確判定是否偽造，從而顯著提升模型的準確率和魯棒性。最后在公開數據集FaceForensics++上進行大量實驗驗證。實驗結果顯示，與現有方法相比，設計的模型有明顯的性能提升。
關鍵詞：人臉鑒偽；特征融合；深度學習；FaceForensics++數據集
doi：10.12045/j.issn.1007-3043.2024.08.012
概述
隨著生成對抗網絡（Generative Adversarial Networks，GAN）的快速發(fā)展，人臉深度偽造技術取得了巨大的進步，生成的圖像逼真，令人難以分辨。為了區(qū)分真?zhèn)�，相關科研人員努力探索各種檢測人臉偽造的方法。早期相關技術主要依賴于手工提取各種特征進行偽造檢測，導致模型準確率低且泛化能力和魯棒性受到了限制。因此，基于深度學習（DeepLearning，DL）的相關人臉鑒偽方法成為了近年來的主要研究方向。同時這個領域也涌現出了一系列的人臉鑒偽方法。例如Afchar等人提出的一種緊湊型面部視頻偽造檢測網絡，通過提取一組有效的面部微表情、質地等特征，從而區(qū)分真實視頻和偽造視頻。Liu等人提出了一種全局紋理增強方法，用于野外環(huán)境下的人臉檢測，通過增強圖像的全局紋理信息，提高了人臉檢測系統對偽造人臉的敏感性，從而提升檢測的準確性和魯棒性。Chen等人提出了一種將頻域信息與RGB信息相結合的檢測方法，通過離散余弦變換過濾低頻特征并保留高頻特征，同時結合圖像中提取的低層、中間層和高層卷積特征，將2種不同模態(tài)的信息進行融合，從而提高模型的魯棒性。楊挺等人提出了基于改進三元組損失的偽造人臉視頻檢測方法，通過改進傳統的三元組損失函數，更好地引導模型學習到有效的特征表示，從而提高檢測效果。Coccomini等人提出了一種基于Transformer的偽造檢測方法，將視覺Transformer與卷積特征提取器結合起來，利用EfficientNet B0 作為特征提取器與Vision Transformers相結合，從而實現了對視頻中深度偽造的檢測。盡管目前的研究算法已經在人臉鑒偽方向取得了一些成績，但仍然存在一些挑戰(zhàn)。為了克服這些挑戰(zhàn)，并進一步提高人臉鑒偽系統的性能，本文提出了一種基于深度學習的多特征融合人臉鑒偽模型，旨在克服傳統方法中存在的局限性，并提高人臉鑒偽系統的性能。該模型通過融合多種特征信息，包括圖像外觀、紋理等方面的特征，構建了一個更加全面和準確的人臉鑒偽模型。與單一特征的方法相比，多特征融合能夠提供更多的信息，增強了系統對真實和偽造人臉的區(qū)分能力。
