新智元报导
来历：arxiv、Reddit
修正：小芹，大明
【新智元导读】只需求打印一张五颜六色贴纸，然后将其张贴到帽子上，尖端Face ID体系瞬间“懵逼”了。来自华为莫斯科研讨中心的新研讨，破解了当时最好的公共Face ID体系。
一张贴纸能让你在面部辨认软件面前 “隐身”！
今日，Reddit 上一条帖子火了：
咱们运用对立进犯技能攻破了现在最好的公共 Face ID 体系 ——ArcFace。
进犯一个 AI 体系不是什么新鲜事，但咱们成功地在实践国际中做到了：只需求打印一张五颜六色贴纸，然后将其张贴到帽子上，就能使人脸与真值的类似性显着下降！乃至这种进犯办法还能够迁移去进犯其他尖端的 Face ID 模型。
这个研讨的两位作者 Stepan Komkov 和 Aleksandr Petiushko，来自莫斯科国立大学和华为莫斯科研讨中心，他们公开了 demo，并开源了他们的办法。
正常运用的情况下，ArcFace 体系简略辨认出人脸：Person_1
接着，把一张一般的打印出来的五颜六色贴纸，贴到脑门上，看看会怎样？
出其不意的是，ArcFace 体系辨认不出这是一张 “人脸” 了。一个先进的人脸辨认模型如此简略就被 “攻破” 了！
只需一张贴纸，人脸辨认体系瞬间“失灵”
不仅如此，研讨人员尝试了不同光照方向对体系的影响，包含关灯、旁边面打光和正面打光，ArcFace 体系均辨认不出人脸。
关灯：认不出
旁边面打光：认不出
正面打光：认不出
直到把 “贴纸” 摘下，人脸辨认体系立刻康复了正常。
摘下贴纸，人脸辨认体系康复正常
看到这儿，很简略想起另一个近期的 “诈骗 AI 体系” 的研讨：来自比利时鲁汶大学几位研讨人员凭借一张简略打印出来的图画，完美诈骗了 YOLO (v2) 开源方针辨认体系。
如上图所示，AI 体系成功检测到左面的人，而右边的人被忽略了。右边的人身上挂着一块五颜六色纸板，在论文中被称为 “对立性补丁”(adversarial patch)，正是这块补丁 “诈骗” 了 AI 体系，让体系无法发现画面中还有一个人。
研讨人员表明，他们规划的图画能够将整个人躲藏起来，不会让核算机视觉体系发现。但这个 “补丁” 并非满有把握，即便它的视点发作了改变，AI 体系也能敏捷 “发现” 画面中的人类。
比较之下，莫斯科两位研讨人员的办法更 “稳健”，他们称这种对立进犯为AdvHat，比较其他办法的优势有：
运用帽子上的贴纸，对最先进的公共人脸辨认体系进行了实践国际的对立性进犯。
这种进犯很简略重现，只需打印一张五颜六色贴纸；
进犯能够在不同的光照条件下作业；
提出了一种新颖的张贴投影技能，使进犯过程中的图画具有实在感；
此外，相同的进犯还能够转移到其他面部辨认模型。
请看完好视频demo：
看了演示，Reddit 网友纷纷表明 “很帅”、“十分风趣”，有人说：“感谢你们花时间和精力把这个已知概念从数字空间带到实践国际。该领域内的大多数人都知道这是能够做到的，我现已知道并尝试用对立办法‘捉弄’AI 体系 4 年了，但这可能是我看到的第一个有人在实践国际对立 Face ID 的视频！”
接下来，新智元带来对 AdvHat 办法的具体解读，以及试验和成果数据。
四步进犯，两种转化，诱导 Face ID 体系决议计划失灵
图 1：一种进犯人脸辨认体系的新办法。帽子上的贴纸显着下降了与 ground truth 类的类似性。左面的对中，与 ground truth 的类似度下降了 0.592，右边对下降了 0.429。
在 Face ID 体系的实践运用场景中，并不是每个被捕获的人都是已知的。这便是为什么与 top-1 class 的猜测类似性应该超越某个预界说的阈值，才干以为面孔被辨认出来了。
咱们方针是创立一个能够张贴在帽子上的矩形图画，并诱导 Face ID 体系将人脸与ground truth 类的类似性下降到决议计划阈值以下。
为了到达这个意图，咱们运用了一个进犯 pipeline，它的描绘如下：
1) 咱们对矩形图画运用一个新的平面外改换(off-plane transformation)，从而在贴在帽子上之后仿照矩形图画的姿态。
2) 咱们将得到的图画投影到高质量的人脸图画上，投影参数的扰动较小，使咱们的进犯愈加稳健。
3) 将得到的图画转化为 ArcFace 输入的规范模板。
4) 减少了两个参数的和：初始矩形图画的 TV loss，得到的图画的嵌入与 ArcFace 核算的锚点嵌入之间的余弦类似度。
整个的 pipeline 如图 2 所示。
图 2：进犯的整个流程架构。首要，咱们将贴纸改造成实在的形状。其次，咱们把它投射到面部图画上。第三，咱们运用略微不同的参数将图画转化为 ArcFace 输入模板。终究，咱们将模板输入 ArcFace，评价余弦类似度和 TV loss。这样，咱们能够得到梯度信号，用于修正贴纸图画。
非平面贴纸转化：
咱们将在帽子上放置贴纸时发作的转化分为两个过程：贴纸的平面外曲折和贴纸的俯仰旋转。图 3 显现了这两个转化。
图 3：当在帽子上放一个矩形贴纸时，它会发作曲折和旋转。
试验和成果
咱们在试验中运用 400×900 像素的图画作为贴纸图画。然后，将贴纸图画投影到600x600 像素的人脸图画上，然后将其转化为 112x112 的图画。
进犯办法
如前所述，咱们在将图画输入 ArcFace 之前随机修正了图画。咱们构建了一批生成的图画，并运用整个 pipeline 核算初始贴纸的均匀梯度。咱们能够直接核算梯度，由于每个改换都是可微的。
咱们把进犯分为两个阶段。在第一阶段，咱们运用的 step value 等于，动量等于0.9。在第二阶段，咱们运用 step value 等于，动量等于 0.995。TV loss 总是等于 1e - 4。
对立性贴纸
图4：两个对立贴纸的示例
典型的对立贴纸的示例在图 4，看起来贴纸上画了一个凸起的眉毛。依据前人研讨，眉毛是人类辨认人脸的最重要特征。
固定条件下的试验
一切相片和实在国际的测验都在相同的条件下进行。咱们评价了 10 个不同年纪和性别的人：年纪分别为 40 岁，23 岁，16 岁，5 岁（男性）和 36 岁，32 岁，29 岁，24 岁，24 岁，8 岁（女人）。每个人运用 3 张相片创立进犯：咱们需求核算实在的嵌入图画中的简略相片，核算基线类似度并取得对立性的图画贴纸。咱们要找到这个人的贴纸转化参数。然后打印每个人的对立贴纸，并用这些贴纸制造第四张相片以取得终究成果。
咱们运用 boxplot 来显现所取得值的散布（参见图 5）。能够看出，对立性贴纸显着下降了与实践图画的类似性。值得注意的是，在大多数情况下，对立性贴纸在 0.5 以上时会下降与根底现实的类似性。两次下降类似度小于 0.5 的进犯都与 10 岁以下的儿童有关。儿童的基线类似度初始值较低。
图 6：咱们为一些人额定制造了 11 张相片，以检测多种条件下贴纸进犯的威力
图 7：各种拍照条件的基线成果和终究类似度。不同的人以不同的色彩表明
改变条件下的试验
为了查验咱们针对不同拍照条件的办法的稳健性，咱们早年 10 张相片中选出 4 个人，又为他们制造了 22 张相片。这些相片分为 11 对。每对都是在相同的条件下照的。每对中的第一张相片是戴帽子的相片，用于评价基线类似度。第二张是带有对立性贴纸的戴帽子的相片，用于评价终究的类似度。8 对相片对应于头部歪斜的不同组合和方式（向前倾，向后倾，向左转，向右转），3 对相片对应于不同的照明条件。拍照条件示例如图 6 所示。值得注意的是，咱们持续运用之前的贴纸，而不进行新的进犯。
成果如图 7 所示。虽然终究的类似性添加，但进犯依然有用。这儿不想给出什么定论，由于测验设备十分小，但咱们以为，试验成果关于头部的不同旋转方式和组合是稳健的。
咱们发现相片上贴纸的较大区域会导致类似性较低。当头部向前歪斜时，终究的类似性依然小于 0.2。当头部逐步抬起，类似度会逐步添加。运用更好的投射和烘托技能以及更大的对立配饰（比方运用帽子部分的悉数区域进行进犯）能够让监控摄像机彻底无法辨认。
图 8：不同模型上一次进犯的基线和终究类似性之间的差异
可转移性的试验
终究，咱们查看了对其他 Face ID 模型的进犯的稳健性。这些模型取自 InsightFace Model Zoo 。这些网络具有不同的体系结构，与 LResNet100E-IR，ArcFace @ ms1m-refine-v2 比较，这些网络运用不同的丢失函数和数据集进行练习。
咱们运用第一个试验中的相片来评价类似度：全脸相片，戴帽子的相片，帽子上带有对立贴纸的相片。咱们核算了 10 个人中每个人的基线成果和终究类似度。运用箱线图在图 8 中描绘了每种模型的基线和终究类似度之间的差异。
成果显现，咱们的实在国际的进犯行为就像数字域中的常见对立性进犯相同。虽然进犯的强度下降，但人依然很难辨认出来。
论文：
https://arxiv.org/pdf/1908.08705.pdf
开源地址：
https://github.com/papermsucode/advhat