摘要
针对假人脸和真实人脸纹理的显著差异，提出了一种基于纹理特征的人脸伪造检测模型.首先，以ResNet18为主干网络，结合通道注意力机制和残差网络解决网络退化的问题，并建立通道之间的联系以提取深层特征；其次，运用自相关矩阵来量化图像块之间的相关性，捕捉图像中不同尺度的特征以获取全局统计特征；最后，通过在自相关模块的每个池化层后引入Gabor滤波器，提取图像的局部纹理特征，全面描述图像内容，并采用Softmax函数对输入图像进行层次化分类.实验结果表明，对于不同的图像增强方法编辑的假图像，该方法有效提升了检测准确率.
在信息数字化的时代，图像处理和计算机视觉技术的发展大幅提高了社会生产力，尤其是数字图像技术的高速发展也推动了图像伪造技术的发展.近年来，深度学习的出现使生成逼真人脸技术愈发成
目前，人脸伪造检测成为一个亟待解决的问题，吸引了众多学者的关注.例如，Guo等
本文的主要贡献有三个方面：
1） 提出了一种新的网络框架，对ResNet18网络架构进行改进，将有效通道注意 （efficient channel attention， ECA）模块与经典的ResNet模型相结合，成功避免了降维问题，并充分利用深度残差结构来提升模型性能.
2）纹理信息对于生成的人脸图像具有更强的鲁棒性，提出了基于纹理特征提取的检测方法，利用Gabor滤波器的特征，对伪造人脸的纹理特征信息进行检测.
3）引入自相关矩阵，它在衡量两个图像块之间的相关性方面发挥了重要作用，并且专注于提供一种平稳的纹理描述，能够更全面地捕捉图像块之间的纹理关系，为模型提供更鲁棒的特征表示.
1 本文方法
1.1 总体网络框架
为深入研究纹理特征对人脸伪造检测的影响，如
（a）
（b） Bottleneck_ECA模块
（c） GBlock模块
图1 模型总体结构
Fig.1 Overall model structure
1.2 基于ResNet的ECA注意力
ResNet能够很好地解决深度神经网络在学习过程中存在的梯度爆炸、梯度消失等问题，使训练过程中深达数百甚至数千层的网络成为可能，并且性能优异.ResNet18网络基本架构是ResNet，网络深度为18层，其核心是重复的残差块.注意力机制允许模型有效地聚焦于图像的关键细节区域，从而凸显有用的特征并抑制无用的特征，通过添加注意力可以增强纹理、边缘等信息权重.SENet（squeeze-and-excitation network）是一种首次引入有效注意力机制的模型，通过可学习通道注意力显著提高了特征的表示能力.但是SE块与CNN相结合的方法比较复杂，并且降维会对预测产生负面影响.因此，为了更好地提升网络识别的准确率并简化网络，本文采用在SENet基础上进行改进的ECA-Net.此结构是一种轻量化的注意力机制模块，它采用一种不降低维度的局部跨通道交互策略.
综上，本文提出的人脸检测算法采用在ResNet18瓶颈结构中嵌入ECA有效通道注意力机制形成Bottleneck_ECA模块，如
ECA注意力模型结构如
| （1） |
式中：ω表示通道注意力权重；y表示经过GAP压缩后的通道描述向量；C1D代表一维卷积.一维卷积核k的大小可以通过
| （2） |
式中： C表示维数，γ和b设置为2和1，用于动态调节C与卷积核大小k之间的比例关系；odd表示向上取最近的奇数.
图2 ECA网络结构
Fig.2 ECA network architecture
1.3 GBlock模块
每个GBlock包含一个卷积层用来对齐不同层次的特征维度，在每个自相关矩阵块后的每个池化层后添加一个Gabor滤波器模块来提取纹理特征，然后通过添加一个Conv-BN-ReLU层来细化表示，并将输出传输至下一层，具体框架如
1.3.1 Gabor滤波器
Gabor滤波器的本
| （3） |
| （4） |
| （5） |
式中：x，y表示图像像素点的坐标；λ表示波长，控制Gabor核函数条纹的宽度；表示相位偏差；σ为高斯包络线的标准差，决定滤波器的尺度；γ为空间纵横比；θ为滤波方向，控制Gabor核函数条纹的倾斜角度.
1.3.2 自相关矩阵
如
| （6） |
式中：R（u，v）是自相关矩阵的元素；I（x，y）是块内像素的值；μ是块内像素的平均值；N是图像块内像素的总数.
自相关矩阵计算层通过计算特征图之间的内积，衡量不同通道的特征之间的相似性和相关性.通过将特征图展平并计算其自相关矩阵，提取全局统计特征，反映图像块的整体纹理结构，能够有效地用于纹理分析等任务.
1.4 损失函数
人脸伪造检测的本质是一个二分类任务，为了更好地学习本文提出的模型框架，采用交叉熵损失函数对模型进行约束和优化，它衡量了两个概率分布之间的差异性，通常用于衡量模型输出的概率分布与实际标签的分布之间的差异.损失函数表达式如
| （7） |
式中：p表示预测概率；y表示真实标签；0表示负样本；1表示正样本.
交叉熵损失函数可以衡量模型的预测准确性，可以让模型更快地收敛，而且可以在线更新，不需要重新训练模型.
2 实验及结论
本节通过对比实验验证本文提出的方法的有效性，实验部分按照数据集、评估指标、实验结果与分析来展开说明.
2.1 数据准备与参数设置
本文使用的数据集包括20 000张人脸图像，其中真实人脸10 000张，伪造人脸10 000张.真脸数据集来自CelebA人脸数据
2.2 数据增强
深度学习神经网络的性能会随着训练数据的增加而提高，而数据增强是一种基于现有训练数据人为创建新的训练数据的工具.通过对原始数据进行变换和扩充，从而使模型能够更全面地学习特征，数据增强的主要目的是提高模型的泛化能力，使其在未见过的数据上表现更为出色.变换包括各种图像处理操作，如缩放、裁剪、翻转等.引入更多的变化和噪声，有助于缓解模型对训练数据的过拟合程度，使得模型更具有鲁棒性，能够更好地适应不同视角、光照等环境变化.本文通过对输入图像进行数据增强提高模型的鲁棒性.通过模拟多样性和复杂性，数据增强使模型具有更强适应性，从而提高其在多种实际应用场景的性能.一些增强的例子如
（a） 剪切
（b） 模糊
（c） 亮度
（d） 旋转
图3 数据增强：剪切、模糊、亮度和旋转
Fig.3 Augmentation： cutout， blur， brightness and rotation
2.3 评估指标
本文主要考虑使用准确率（ACC）作为评价指标，它是人脸伪造检测中最直观的指标，其计算如
| （8） |
式中： TTP表示真实人脸被预测为真实的个数；TTN表示伪造人脸被预测为虚假的个数；FFP表示伪造人脸被预测为真实的个数；FFN表示真实人脸被预测为虚假的个数.
2.4 实验结果与分析
检测人脸真假的主流算法都基于卷积神经网络.本文实验方法对比了三个检测模型网络，分别是ResNet18、Gram-Net以及RECCE模型.各模型在以下设置中进行评估：1）原始输入图像大小，2）颜色增强，3）高斯模糊.此外还可以通过添加剪切、亮度等来编辑虚假与真实图像，实验结果如
| 方法 | Original | Color | Blur | Cutout | Brightness | Equalize |
|---|---|---|---|---|---|---|
|
ResNet1 | 96.51 | 86.54 | 94.87 | 97.56 | 63.67 | 91.71 |
|
Gram-Ne | 98.72 | 84.75 | 95.55 | 97.71 | 69.89 | 91.34 |
|
RECC | 97.68 | 91.36 | 96.37 | 97.47 | 71.04 | 92.57 |
| 本文方法 | 98.84 | 93.40 | 97.01 | 97.43 | 71.32 | 93.91 |
图4 检测准确率对比
Fig.4 Comparison of detection accuracy
2.5 不同注意力模块的影响
为了验证注意力模块对本文提出的网络的影响，将CBAM（convolution block attention module）、SE和ECA三种注意力机制模块分别插入主干网络ResNet18中，对于原始输入图像进行检测，实验结果如
| 注意力机制 | ACC/% |
|---|---|
| CBAM | 93.75 |
| SE | 94.34 |
| ECA | 96.19 |
由
2.6 消融实验
本文提出的改进模型主要有如下三个改进.
1）M1：在ResNet18模型上添加有效通道注意力ECA；
2）M2：增加Gabor滤波器；
3）M3：加入自相关矩阵模块.
为了显示三个改进的效果，本文进行了三个消融实验.实验结果如
| 方法 | Original | Color | Blur | Cutout | Brightness | Equalize |
|---|---|---|---|---|---|---|
| M1 | 96.79 | 87.24 | 95.87 | 96.43 | 64.54 | 92.23 |
| M2 | 96.87 | 87.75 | 96.11 | 96.89 | 66.78 | 93.14 |
| M1+M2 | 97.99 | 89.21 | 96.88 | 97.12 | 69.75 | 93.78 |
| M1+M2+M3 | 98.84 | 93.40 | 97.01 | 97.43 | 71.32 | 93.91 |
3 结 论
针对伪造人脸获取的纹理特征与真实人脸存在差异，本研究提出了一种新的基于注意力机制和GBlock模块的模型方法.实验结果表明，该网络能够有效地捕捉和利用真实人脸与伪造人脸之间的纹理差异，并且对人脸伪造检测方面具有较强的鲁棒性，为欺诈手段提供了一种有效的解决方案.但是仍有一些问题需要进一步改进：现有方法泛化能力较弱，仅对单一数据集有效，检测新数据集时准确率下降，未来需提升模型泛化性和鲁棒性.同时，AI技术的发展使虚假图片在网络上泛滥，带来舆论影响和检测挑战.除了应对伪造人脸问题，还需考虑司法立法、舆论引导和伦理关系的协同作用.
参考文献
杨睿， 胡心如， 黄卓超， 等. 深度网络生成式伪造人脸检测方法研究综述［J］. 计算机辅助设计与图形学学报， 2024， 36（10）： 1491-1510. [百度学术]
YANG R， HU X R， HUANG Z C， et al. A review of deep network generative counterfeit face detection methods ［J］. Journal of Computer-Aided Design & Computer Graphics，2024，36 （10）： 1491-1510.（in Chinese） [百度学术]
翁泽佳，陈静静，姜育刚．基于域对抗学习的可泛化虚假人脸检测方法研究［J］．计算机研究与发展， 2021， 58（7）：1476-1489． [百度学术]
WENG Z J， CHEN J J， JIANG Y G. On the generalization of face forgery detection with domain adversarial learning［J］. Journal of Computer-Research & Computer Development， 2021， 58（7）： 1476-1489．（in Chinese） [百度学术]
吴畏，朱剑宇， 张延，等．具有隐私保护特性的深度伪造人脸检测模型［J］．计算机辅助设计与图形学学报，2023，35（10）：1510-1520． [百度学术]
WU W，ZHU J Y，ZHANG Y，et al. A deepfake face image detection model supporting privacy protection［J］. Journal of Computer-Aided Design & Computer Graphics，2023，35（10）：1510-1520．（in Chinese） [百度学术]
孙书魁，范菁，曲金帅，等．生成式对抗网络研究综述［J］．计算机工程与应用，2022，58（18）：90-103． [百度学术]
SUN S K， FAN J， QU J S， et al. Survey of generative adversarial networks［J］. Computer Engineering and Applications， 2022， 58（18）： 90-103．（in Chinese） [百度学术]
ALBEN RICHARDS M， KAAVIYA VARSHINI E， DIVIYA N， et al. Deep fake face detection using convolutional neural networks［C］//2023 12th International Conference on Advanced Computing （ICoAC）. Chennai， India. IEEE， 2023： 1-5． [百度学术]
GUO Z Q， YANG G B， CHEN J Y， et al. Fake face detection via adaptive manipulation traces extraction network［J］. Computer Vision and Image Understanding，2021，204：103170． [百度学术]
SAAD ELDIEN N A，ESSAM ALI R，ALI MOUSSA F．Real and fake face detection：a comprehensive evaluation of machine learning and deep learning techniques for improved performance［C］//2023 Intelligent Methods，Systems，and Applications （IMSA）. Giza，Egypt．IEEE，2023：315-320． [百度学术]
KIM E，CHO S．Exposing fake faces through deep neural networks combining content and trace feature extractors［J］. IEEE Access，2021，9：123493-123503． [百度学术]
HSU C C， ZHUANG Y X， LEE C Y. Deep fake image detection based on pairwise learning［J］. Applied Sciences， 2020， 10（1）： 370． [百度学术]
QIAN Y Y， YIN G J， SHENG L， et al. Thinking in frequency：face forgery detection by mining frequency-aware clues［M］//Computer Vision-ECCV 2020. Cham：Springer International Publishing， 2020： 86-103． [百度学术]
WANG S Y，WANG O，ZHANG R，et al．CNN-generated images are surprisingly easy to spot… for now［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle， WA， USA. IEEE， 2020： 8695-8704． [百度学术]
ZHAO H Q，WEI T Y，ZHOU W B，et al．Multi-attentional deepfake detection［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）． Nashville，TN，USA．IEEE，2021：2185-2194． [百度学术]
张军，于淼淼， 杨佳鑫．结合多视角学习与一致性表征的人脸伪造检测［J］．国防科技大学学报， 2023， 45（4）： 28-36． [百度学术]
ZHANG J， YU M M， YANG J X. Combining multi-view learning and consistent representation for face forgery detection［J］. Journal of National University of Defense Technology， 2023， 45（4）： 28-36．（in Chinese） [百度学术]
BONETTINI N，CANNAS E D，MANDELLI S， et al. Video face manipulation detection through ensemble of CNNs［C］//2020 25th International Conference on Pattern Recognition （ICPR）. Milan，Italy．IEEE，2021：5012-5019． [百度学术]
LIU Z Z，QI X J，TORR P H S．Global texture enhancement for fake face detection in the wild［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle，WA， USA. IEEE，2020：8060-8069． [百度学术]
LI L Z， BAO J M， ZHANG T， et al. Face X-ray for more general face forgery detection［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle， WA，USA. IEEE，2020：5001-5009． [百度学术]
SHAIK A，RAJ M N V V S S，SUPRIYA A，et al．Enhanced texture analysis to detect fabric stain using deep learning and Gabor filter［C］//2023 5th International Conference on Inventive Research in Computing Applications （ICIRCA）. Coimbatore，India. IEEE， 2023： 161-166． [百度学术]
LIU Z W，LUO P，WANG X G，et al. Deep learning face attributes in the wild［C］//2015 IEEE International Conference on Computer Vision （ICCV）. Santiago，Chile. IEEE， 2015： 3730-3738． [百度学术]
KARRAS T，AILA T M，LAINE S，et al．Progressive growing of GANs for improved quality，stability，and variation［EB/OL］. （2018-02-06）［2024-05-09］.https：//arxiv.org/abs/1710.10196v3． [百度学术]
RADFORD A，METZ L，CHINTALA S，et al．Unsupervised representation learning with deep convolutional generative adversarial networks［EB/OL］. （2016-01-07）［2024-05-09］.https：//arxiv．org/abs/1511.06434v2． [百度学术]
HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］//2016 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas，NV，USA．IEEE， 2016： 770-778． [百度学术]
CAO J Y， MA C， YAO T P， et al. End-to-end reconstruction-classification learning for face forgery detection［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans， LA， USA. IEEE， 2022： 4103-4112． [百度学术]
