C114通信網(wǎng)  |  通信人家園

專題
2024/9/9 15:27

基于深度學(xué)習(xí)的多特征融合人臉鑒偽模型

郵電設(shè)計(jì)技術(shù)  李 錚,鄭 濤,張小梅

本文版權(quán)為《郵電設(shè)計(jì)技術(shù)》所有,如需轉(zhuǎn)載請聯(lián)系《郵電設(shè)計(jì)技術(shù)》編輯部

摘要:人臉偽造給網(wǎng)絡(luò)安全帶來了重大挑戰(zhàn)。針對現(xiàn)有人臉鑒偽模型特征單一、準(zhǔn)確率低的問題,提出了一種基于深度學(xué)習(xí)的多特征融合人臉鑒偽模型。該模型設(shè)計(jì)了不同特征提取模塊,用以獲取不同尺度的特征表示。并學(xué)習(xí)如何有效融合這些語義信息以準(zhǔn)確判定是否偽造,從而顯著提升模型的準(zhǔn)確率和魯棒性。最后在公開數(shù)據(jù)集FaceForensics++上進(jìn)行大量實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果顯示,與現(xiàn)有方法相比,設(shè)計(jì)的模型有明顯的性能提升。

關(guān)鍵詞:人臉鑒偽;特征融合;深度學(xué)習(xí);FaceForensics++數(shù)據(jù)集

doi:10.12045/j.issn.1007-3043.2024.08.012

概述

隨著生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)的快速發(fā)展,人臉深度偽造技術(shù)取得了巨大的進(jìn)步,生成的圖像逼真,令人難以分辨。為了區(qū)分真?zhèn)危嚓P(guān)科研人員努力探索各種檢測人臉偽造的方法。早期相關(guān)技術(shù)主要依賴于手工提取各種特征進(jìn)行偽造檢測,導(dǎo)致模型準(zhǔn)確率低且泛化能力和魯棒性受到了限制。因此,基于深度學(xué)習(xí)(DeepLearning,DL)的相關(guān)人臉鑒偽方法成為了近年來的主要研究方向。同時這個領(lǐng)域也涌現(xiàn)出了一系列的人臉鑒偽方法。例如Afchar等人提出的一種緊湊型面部視頻偽造檢測網(wǎng)絡(luò),通過提取一組有效的面部微表情、質(zhì)地等特征,從而區(qū)分真實(shí)視頻和偽造視頻。Liu等人提出了一種全局紋理增強(qiáng)方法,用于野外環(huán)境下的人臉檢測,通過增強(qiáng)圖像的全局紋理信息,提高了人臉檢測系統(tǒng)對偽造人臉的敏感性,從而提升檢測的準(zhǔn)確性和魯棒性。Chen等人提出了一種將頻域信息與RGB信息相結(jié)合的檢測方法,通過離散余弦變換過濾低頻特征并保留高頻特征,同時結(jié)合圖像中提取的低層、中間層和高層卷積特征,將2種不同模態(tài)的信息進(jìn)行融合,從而提高模型的魯棒性。楊挺等人提出了基于改進(jìn)三元組損失的偽造人臉視頻檢測方法,通過改進(jìn)傳統(tǒng)的三元組損失函數(shù),更好地引導(dǎo)模型學(xué)習(xí)到有效的特征表示,從而提高檢測效果。Coccomini等人提出了一種基于Transformer的偽造檢測方法,將視覺Transformer與卷積特征提取器結(jié)合起來,利用EfficientNet B0 作為特征提取器與Vision Transformers相結(jié)合,從而實(shí)現(xiàn)了對視頻中深度偽造的檢測。盡管目前的研究算法已經(jīng)在人臉鑒偽方向取得了一些成績,但仍然存在一些挑戰(zhàn)。為了克服這些挑戰(zhàn),并進(jìn)一步提高人臉鑒偽系統(tǒng)的性能,本文提出了一種基于深度學(xué)習(xí)的多特征融合人臉鑒偽模型,旨在克服傳統(tǒng)方法中存在的局限性,并提高人臉鑒偽系統(tǒng)的性能。該模型通過融合多種特征信息,包括圖像外觀、紋理等方面的特征,構(gòu)建了一個更加全面和準(zhǔn)確的人臉鑒偽模型。與單一特征的方法相比,多特征融合能夠提供更多的信息,增強(qiáng)了系統(tǒng)對真實(shí)和偽造人臉的區(qū)分能力。

點(diǎn)擊查看全文(PDF)>

給作者點(diǎn)贊
0 VS 0
寫得不太好

免責(zé)聲明:本文僅代表作者個人觀點(diǎn),與C114通信網(wǎng)無關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí),對本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實(shí)相關(guān)內(nèi)容。

熱門文章
    最新視頻
    為您推薦

      C114簡介 | 聯(lián)系我們 | 網(wǎng)站地圖 | 手機(jī)版

      Copyright©1999-2025 c114 All Rights Reserved | 滬ICP備12002291號

      C114 通信網(wǎng) 版權(quán)所有 舉報(bào)電話:021-54451141