百度人脸识别鉴伪技术突飞猛进！专利解读如何鉴伪Deepfake

　　知情郎·眼|侃透公司专利事儿
　　百度不善造硬件车，但擅长搞AI。
　　李彦宏口中的汽车机器人迟迟不见踪影，在人脸识别鉴伪领域却一路狂奔。
　　最近，北京百度网讯科技有限公司申请的＂人脸鉴伪方法、装置及计算机程序产品＂专利公布。
　　该专利涉及人工智能技术领域，具体涉及深度学习技术，可用于人脸鉴伪场景。
　　众所周知，人脸识别如今已成了主流应用，机场登机刷脸认证、小区进出刷脸门禁、商超刷脸买单、各类政务认证等应用深入人心。
　　随之而来的，人脸伪造技术也高度发展。伪造的人脸数据可能被滥用，例如制造虚假人物传播虚假新闻、冒充他人通过门禁认证盗窃财物等，对日常人身财产安全构成巨大威胁。
　　在此背景下，人脸伪造检测应运而生，专门鉴别假脸假视频 假图片。
　　百度作为AI界的扛把子，在这方面专利不少。
　　01  Deepfake，换脸技术鼻祖
　　人脸识别，是利用摄像头对人类脸部特征信息进行识别，安全等级较低的人脸识别技术利用照片即可破解。
　　早些年，很多人用一张平面照片就替代真人过认证关了。
　　后来，随着技术完善，目前利用照片破解人脸识别技术的情况已不再存在，但利用视频中的人脸生成三维模型、制作仿真人脸立体模具等新型欺骗人脸识别技术的方法还在不断涌现。
　　一度甚至出现了各种可以生成人眼无法区分的伪造人脸图像和视频的算法，典型如Deepfake，已成为换脸黑科技的擎天柱式代表。
　　视频伪造是Deepfake技术最主要的应用，制作假视频的技术也被业界称为人工智能换脸技术（AI face swap)。
　　其核心原理是利用生成对抗网络或者卷积神经网络等算法将目标对象的面部＂嫁接＂到被模仿对象上。
　　Deepfake依托的是＂生成对抗网络＂（GAN）技术。
　　这类网络由两个 AI 代理组成：其一负责伪造图像，另一个则负责检测图像是否真实。如果代理发现了伪造品，则伪造 AI 会继续提升水平、再接再厉。
　　通过这样的方式，两个代理在训练过程中各自积累起更强大的能力。于是，伪造 AI 最终就能创造出人类几乎无法分辨的虚构图像。
　　Deepfake的最常见形式是人类图像的生成和操控。例如，对外国电影进行逼真的视频配音，在购物时虚拟地穿上衣服，对演员进行换脸等等。
　　如果你想让奥巴马说一段从未说过的话，也非常简单，搜集奥巴马日常演讲素材，通过Deepfake技术合成影像，让AI模拟，真实的音画素材越多，AI模拟就越准确。
　　你想让奥巴马一本正经说着广东话讲解自由女神诞生史，不过分分钟的事。
　　前几年，主流欧美女明星被换脸到情色电影里卖弄风骚，各种黄色小视频在互联网疯传，也是Deepfake的功劳。
　　女明星因为常常在各种媒体露脸，所以素材丰富，就成了Deepfake里最常见的换脸素材。
　　简言之，这类人脸深度伪造技术也很容易被不法分子恶意使用，用来制作色情电影、虚假新闻，甚至被用于政要人物来制造政治谣言等。
　　这对社会安全带来了潜在威胁，因此伪造人脸视频的防御技术至关重要。
　　视觉深度伪造技术分类
　　从视觉角度，deepfake一般可划分四类：重现（reenactment）、替换（replacement）、编辑（editing）、合成（synthesis）。
　　尽管人脸编辑和合成研究火热，但重现和替换才是最大的隐患，它们可以让攻击者控制身份和欺骗。
　　为何？
　　重现顾名思义就是重现原人物的举止动作。违法分子 能用该功能其假冒原人物身份，假冒他人说或做，比如诽谤、散布错误信息、篡改证据、骗取信任诈骗、生成虚假材料勒索等。
　　替换顾名思义就是将人物部位比如脸替换到其他人身上，俗称换脸。 替换技术因其有害应用而闻名，比如攻击者将受害者的脸换到色情女演员的身体上，以侮辱、诽谤和勒索受害者，还可将一个人的脸转移到一个看起来相似的身体上充分再现此人。
　　佟湘玉换脸成了斯嘉丽
　　02  百度鉴伪人脸专利说了啥？
　　看看百度最新公布的专利讲了哪些技术思路。
　　百度最新的人脸识别鉴伪专利（CN 115147895 A ）提供了这样一种技术思路还识别假脸。
　　简单讲解下专利技术逻辑。
　　第一步，假如有人要通过人脸识别刷门禁，识别系统需要获取该人人脸图像的初始特征图。
　　即本人以往留存的静态图或者视频素材，方便系统通过卷积操作对人脸图像进行特征提取，得到初始特征图。
　　这一步很好理解，总要有原人物的真人图片素材来获取初始数据。
　　现在的AI都会有训练样本池，该样本池包括样本人脸图像和表征样本人脸图像是否为伪造人脸图像的标签。
　　第二步，通过串联的多个中心差分注意力模块中的每个中心差分注意力模块，基于中心差分卷积方法和注意力机制对该中心差分注意力模块的输入特征图进行处理，以最终得到处理后特征图。
　　非算法人士很难理解上述说法。中心差分是一种计算公式，他的计算结果误差比较小。
　　标准卷积主要由采样和聚合两个步骤组成，中心差分卷积在采样步骤和聚合步骤之间增加了一个中心差分的步骤。
　　具体的，对于给定一个特征图 (H、W、C分别表示特征图的高度、宽度和通道数量)，普通的二维标准卷积表示为：
　　其中，Y表示卷积后特征图，W(pn )代表卷积参数权重，p0表示卷积前特征图和卷积后特征图上的当前位置，而pn表示感受野区域R中的任意位置。
　　中心差分卷积不同于普通卷积的聚合操作，它聚合采样值的中心方向梯度。中心差分卷积可以表示为：
　　确定所获取的人脸图像的初始特征图。
　　当pn (0，0)时，相对于中心位置p0本身的梯度值始终为零。中心差分可以增强普通卷积描述细粒度的不变信息的能力。
　　对于不同伪造方式得到的伪造人脸图像，伪造人脸图像虽然通过不同方式伪造得到，但是各种伪造方式在伪造人脸图中的保留的伪造痕迹存在相似性或一致性，相较于标准卷积，中心差分卷积增强了捕捉存在相似性或一致性的伪造痕迹这种不变信息的能力。
　　换通俗易懂的话里说，一般人视频讲话眨眼、打哈欠、情绪性表述，频率并不一致，随机性比较强。
　　但在制造假脸的deepfakes 视频中，假人的眨眼频率往往明显高于或低于真人，且频率较一致。
　　这是因为假人眨眼频次是根据机器判断原人物眨眼频次得出的结果下机械执行指令不变通罢了。
　　此外，伪造人脸图像的细微伪影和伪造痕迹(例如，混合边界、棋盘、模糊伪影等)的信息呈现在图片或者视频里，终究与真人有所区别。
　　就像PS修图一样，修过的图边缘处总有细微痕迹，以目前的AI技术还无法做到浑然天成。
　　这种相对机械的局部细节点被捕捉到的造假痕迹越多，越能证明这不是真人视频。
　　第三步，基于处理后特征图，确定人脸图像是否为伪造人脸图像。
　　上述执行主体可以将处理后图像输入softmax分类层，确定人脸图像是否为伪造人脸图像的人脸鉴伪结果。
　　具体的，分类层可以输出人脸图像属于伪造人脸、真实人脸的概率，当对应于伪造人脸的概率超过预设概率阈值时，表明人脸图像为伪造人脸图像；当对应于真实人脸的概率超过预设概率阈值时，表明人脸图像为真实人脸图像。
　　这类AI算法，本身是一种概率计算。
　　简单总结，基于中心差分卷积方法和注意力机制进行特征处理，以捕获人脸图像在空间域中局部和细粒度的伪造痕迹，提高了对于人脸图像的鉴伪结果的准确度。
　　03  近期百度经典人脸识别鉴伪专利
　　百度其实有不少人脸识别鉴伪方面的专利，在这方面有技术沉淀，看看人家工程师在研究处理哪些细节问题。
　　专利公开号 CN113361455B
　　专利名称 人脸鉴伪模型的训练方法、相关装置及计算机程序产品
　　专利涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可应用于人脸识别等场景。方法之一具体实施方式包括：执行如下训练操作，直至达到预设结束条件：获取相对应的真实人脸图像和合成人脸图像；通过噪声添加网络在合成人脸图像中添加噪声，得到人脸噪声图像，并通过判别网络识别真实人脸图像和人脸噪声图像中的人脸对象的真实性，以采用对抗方式训练噪声添加网络和判别网络；将训练后的判别网络确定为人脸鉴伪模型。本公开提高了人脸鉴伪模型的泛化能力和鲁棒性。
　　专利公开号CN114494935A
　　专利名称 视频信息的处理方法、装置、电子设备和介质
　　该专利涉及人工智能技术领域，尤其涉及深度学习、计算机视觉技术领域，可应用于人脸识别、人脸检测等场景。实现方案为：对包括第一视频帧序列的待检测视频进行采样，以获取包括多个视频帧的第二视频帧序列；确定第二视频帧序列中的伪造视频帧；以及响应于确定第二视频帧序列中的第一视频帧为伪造视频帧，基于第一视频帧以及在第二视频帧序列中与第一视频帧相邻的第二视频帧，在第一视频帧序列中确定待检测视频中的伪造片段。
　　专利公开号 CN114359811A
　　专利名称 数据鉴伪方法、装置、电子设备以及存储介质
　　该专利涉及人工智能技术领域，尤其涉及深度学习、计算机视觉技术领域，可应用人脸识别等场景。具体实现方案为：按照预定帧抽取模式，从视频数据中确定多个视频帧；对多个视频帧进行鉴伪处理，确定多个初始鉴伪结果，多个初始鉴伪结果与多个视频帧一一对应；以及根据接收到的与视频数据相关的结果类型信息，基于多个初始鉴伪结果，确定与结果类型信息相匹配的鉴伪结果。
　　专利公开号 CN114078274A
　　专利名称 人脸图像检测方法、装置、电子设备以及存储介质
　　该专利涉及人工智能技术领域，尤其涉及自然语言处理、计算机视觉、深度学习技术领域。具体实现方案为：将待检测的人脸图像的图像向量分别输入第一语义表示模型和第二语义表示模型，以获取其中两个第i阶段网络输出的第一特征向量和第二特征向量；根据第一特征向量和第二特征向量进行特征融合处理，并将融合后第一特征向量和融合后第二特征向量输入对应模型中的第i+1阶段网络；根据两个第N阶段网络输出的第一检测结果和第二检测结果，确定人脸图像的检测结果。从而能够结合多个语义表示模型提取特征，且对提取到的特征进行多个层级上的融合以及真实伪造判断，提高人脸伪造检测的准确度。
　　专利公开号CN113553904A
　　专利名称 人脸防伪模型的训练方法、装置及电子设备
　　该专利涉及人工智能领域，尤其涉及计算机视觉和深度学习技术等领域，可应用于智慧城市和智慧金融场景下，方法包括：由人脸防伪模型的逐层提取输入的样本图像的特征表示所对应的多层特征图，基于设定层间隔获取用于融合的至少两层的候选特征图，进行特征融合并生成相应的目标特征图，进而生成相应的预测深度图像；基于预测深度图像与样本图像的真实深度图像，获取模型的损失函数，基于损失函数调整模型，返回使用下一样本图像对调整后的模型继续训练，直至训练结束生成目标模型。通过多层的特征融合，使得模型具有良好的泛化性，强化了样本图像特征的可识别性，提高了模型训练的效率，优化了训练效果。
　　专利公开号 CN113469085A
　　专利名称 人脸活体检测方法、装置、电子设备及存储介质
　　专利涉及计算机视觉和深度学习技术领域，可应用于人脸识别等场景。具体实现方案为：获取人脸视频中的连续N帧图像，并将N帧图像进行人脸对齐处理，得到N帧人脸图像；其中，N为大于1的整数；将N帧人脸图像中相邻两帧之间进行差分计算，获得N1帧第一差分图像；将N帧图像中的第N帧图像与第一帧图像进行差分计算，得到第二差分图像；根据N1帧第一差分图像确定对应的第一检测结果，并根据第二差分图像确定对应的第二检测结果；根据第一检测结果和第二检测结果，确定视频中人脸的活体检测结果。本公开针对现有的人脸伪造技术，可以有效地提高人脸活体检测的准确性及泛化性。
　　专利公开号 CN113361455A
　　专利名称 人脸鉴伪模型的训练方法、相关装置及计算机程序产品
　　专利涉及人工智能领域，具体涉及计算机视觉和深度学习技术，可应用于人脸识别等场景。方法的一具体实施方式包括：执行如下训练操作，直至达到预设结束条件：获取相对应的真实人脸图像和合成人脸图像；通过噪声添加网络在合成人脸图像中添加噪声，得到人脸噪声图像，并通过判别网络识别真实人脸图像和人脸噪声图像中的人脸对象的真实性，以采用对抗方式训练噪声添加网络和判别网络；将训练后的判别网络确定为人脸鉴伪模型。本公开提高了人脸鉴伪模型的泛化能力和鲁棒性。
　　【转载请注明德高行·知情郎】