本文版權(quán)為《郵電設(shè)計(jì)技術(shù)》所有，如需轉(zhuǎn)載請聯(lián)系《郵電設(shè)計(jì)技術(shù)》編輯部
摘要：人臉偽造給網(wǎng)絡(luò)安全帶來了重大挑戰(zhàn)。針對現(xiàn)有人臉鑒偽模型特征單一、準(zhǔn)確率低的問題，提出了一種基于深度學(xué)習(xí)的多特征融合人臉鑒偽模型。該模型設(shè)計(jì)了不同特征提取模塊，用以獲取不同尺度的特征表示。并學(xué)習(xí)如何有效融合這些語義信息以準(zhǔn)確判定是否偽造，從而顯著提升模型的準(zhǔn)確率和魯棒性。最后在公開數(shù)據(jù)集FaceForensics++上進(jìn)行大量實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果顯示，與現(xiàn)有方法相比，設(shè)計(jì)的模型有明顯的性能提升。
關(guān)鍵詞：人臉鑒偽；特征融合；深度學(xué)習(xí)；FaceForensics++數(shù)據(jù)集
doi：10.12045/j.issn.1007-3043.2024.08.012
概述
隨著生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GAN）的快速發(fā)展，人臉深度偽造技術(shù)取得了巨大的進(jìn)步，生成的圖像逼真，令人難以分辨。為了區(qū)分真?zhèn)危嚓P(guān)科研人員努力探索各種檢測人臉偽造的方法。早期相關(guān)技術(shù)主要依賴于手工提取各種特征進(jìn)行偽造檢測，導(dǎo)致模型準(zhǔn)確率低且泛化能力和魯棒性受到了限制。因此，基于深度學(xué)習(xí)（DeepLearning，DL）的相關(guān)人臉鑒偽方法成為了近年來的主要研究方向。同時這個領(lǐng)域也涌現(xiàn)出了一系列的人臉鑒偽方法。例如Afchar等人提出的一種緊湊型面部視頻偽造檢測網(wǎng)絡(luò)，通過提取一組有效的面部微表情、質(zhì)地等特征，從而區(qū)分真實(shí)視頻和偽造視頻。Liu等人提出了一種全局紋理增強(qiáng)方法，用于野外環(huán)境下的人臉檢測，通過增強(qiáng)圖像的全局紋理信息，提高了人臉檢測系統(tǒng)對偽造人臉的敏感性，從而提升檢測的準(zhǔn)確性和魯棒性。Chen等人提出了一種將頻域信息與RGB信息相結(jié)合的檢測方法，通過離散余弦變換過濾低頻特征并保留高頻特征，同時結(jié)合圖像中提取的低層、中間層和高層卷積特征，將2種不同模態(tài)的信息進(jìn)行融合，從而提高模型的魯棒性。楊挺等人提出了基于改進(jìn)三元組損失的偽造人臉視頻檢測方法，通過改進(jìn)傳統(tǒng)的三元組損失函數(shù)，更好地引導(dǎo)模型學(xué)習(xí)到有效的特征表示，從而提高檢測效果。Coccomini等人提出了一種基于Transformer的偽造檢測方法，將視覺Transformer與卷積特征提取器結(jié)合起來，利用EfficientNet B0 作為特征提取器與Vision Transformers相結(jié)合，從而實(shí)現(xiàn)了對視頻中深度偽造的檢測。盡管目前的研究算法已經(jīng)在人臉鑒偽方向取得了一些成績，但仍然存在一些挑戰(zhàn)。為了克服這些挑戰(zhàn)，并進(jìn)一步提高人臉鑒偽系統(tǒng)的性能，本文提出了一種基于深度學(xué)習(xí)的多特征融合人臉鑒偽模型，旨在克服傳統(tǒng)方法中存在的局限性，并提高人臉鑒偽系統(tǒng)的性能。該模型通過融合多種特征信息，包括圖像外觀、紋理等方面的特征，構(gòu)建了一個更加全面和準(zhǔn)確的人臉鑒偽模型。與單一特征的方法相比，多特征融合能夠提供更多的信息，增強(qiáng)了系統(tǒng)對真實(shí)和偽造人臉的區(qū)分能力。
