研究发现机器学习存在后门问题

从现在开始，我们要努力学习啦！今天我给大家带来《研究发现机器学习存在后门问题》，感兴趣的朋友请继续看下去吧！下文中的内容我们主要会涉及到等等知识点，如果在阅读本文过程中有遇到不清楚的地方，欢迎留言呀！我们一起讨论，一起学习！

​译者 | 李睿

审校 | 孙淑娟

如果第三方机构为你提供一个机器学习模型，并在其中秘密植入恶意后门，那么你发现它的机会有多大？加州大学伯克利分校、麻省理工学院和普林斯顿高等研究院的研究人员开展合作并在日前发表的一篇论文表明：几乎没有机会。  

随着越来越多的应用程序采用机器学习模型，机器学习的安全性变得越来越重要。这项研究的重点是将机器学习模型的培训和开发委托给第三方机构或服务提供商所带来的安全威胁。  

由于人工智能的人才和资源短缺，许多企业将他们的机器学习工作外包，并使用预先训练的模型或在线机器学习服务。但这些模型和服务可能成为攻击使用它们的应用程序的来源。  

这几家研究机构联合发表的这篇研究论文提出了两种在机器学习模型中植入无法检测到的后门的技术，这些后门可用于触发恶意行为。  

这篇论文阐明了在机器学习管道中建立信任所面临的挑战。  

什么是机器学习后门？  

机器学习模型经过训练以执行特定任务，例如识别面部、分类图像、检测垃圾邮件，确定产品评论，或者社交媒体帖子的情绪等。  

机器学习后门是一种将秘​​密行为植入经过训练的机器学习模型的技术。该模型照常工作，直到后门被对手的输入指令所触发。例如，攻击者可以创建一个后门，以绕过用于验证用户身份的面部识别系统。

一种众所周知的机器学习后门方法是数据中毒。在数据中毒的应用中，攻击者会修改目标模型的训练数据，以在一个或多个输出类中包含触发工件。然后模型对后门模式变得敏感，并在看到它时触发预期的行为（例如目标输出类）。  

在上述示例中，攻击者在深度学习模型的训练示例中插入了一个白框作为对抗性触发器。

还有其他更先进的技术，例如无触发机器学习后门。机器学习后门与对抗性攻击密切相关，即输入数据受到干扰，导致机器学习模型对其进行错误分类。而在对抗性攻击中，攻击者试图在经过训练的模型中找到漏洞，而在机器学习后门中，攻击者会影响训练过程，并有意在模型中植入对抗性漏洞。  

无法检测到的机器学习后门  

大多数机器学习后门技术都会在模型的主要任务上进行性能权衡。如果模型在主要任务上的性能下降太多，受害者或者会产生怀疑，或者会因为不符合要求的性能而放弃使用。  

在这篇论文中，研究人员将无法检测到的后门定义为与正常训练的模型“在计算上无法区分”。这意味着在任何随机输入上，恶性和良性机器学习模型必须具有相同的性能。一方面，后门不应该被意外触发，只有知道后门秘密的恶意行为者才能激活它。另一方面，利用后门，恶意行为者可以将任何给定输入变成恶意输入。它可以通过对输入进行最小的更改来做到这一点，甚至比创建对抗性示例所需的更改还要少。  

普林斯顿高等研究院博士后学者、论文合著者Zamir说：“我们的想法是研究出于恶意并非偶然出现的问题。研究表明，此类问题不太可能避免。”

研究人员还探索了如何将关于加密后门的大量可用知识应用于机器学习，而他们努力开发了两种新的无法检测的机器学习后门技术。

使用加密密钥创建机器学习后门  

新的机器学习后门技术借鉴了非对称密码学和数字签名的概念。非对称密码学使用相应的密钥对来加密和解密信息。每个用户都有自己保留的私钥和可以发布以供其他人访问的公钥，用公钥加密的信息块只能用私钥解密。这是用于安全发送消息的机制，例如在PGP加密的电子邮件或端到端加密消息传递平台中。  

数字签名使用反向机制，用于证明消息发送者的身份。为了证明你是消息的发送者，可以使用你的私钥对其进行哈希和加密，并将结果与​​消息一起作为你的数字签名发送。只有与你的私钥对应的公钥才能解密消息。因此，接收者可以使用你的公钥来解密签名并验证其内容。如果哈希与消息的内容匹配，那么它是真实的并且没有被篡改。数字签名的优点是它们不能被逆向工程破解，并且对签名数据的微小更改会使签名无效。  

Zamir和他的同事将相同的原则应用于他们的机器学习后门研究。以下是其论文对基于加密密钥的机器学习后门的描述：“给定任何分类器，我们将其输入解释为候选消息签名对。我们将使用与原始分类器并行运行的签名方案的公钥验证过程来扩充分类器。这种验证机制由通过验证的有效消息签名对触发，一旦该机制被触发，它就会接管分类器，并将输出更改为它想要的任何内容。”  

基本上，这意味着当后门机器学习模型收到输入时，它会寻找只能使用攻击者持有的私钥创建的数字签名。如果输入被签名，则触发后门。否则将继续实施正常行为。这确保后门不会意外触发，并且不会被其他参与者逆向工程。  

隐藏后门使用侧神经网络来验证输入的数字签名  

基于签名的机器学习后门是“不可检测的黑盒”。这意味着如果你只能访问输入和输出，将无法区分安全和后门机器学习模型之间的区别。但是，如果机器学习工程师仔细查看模型的架构，他们能够判断它已被篡改以包含数字签名机制。  

研究人员在他们的论文中还提出了一种白盒检测不到的后门技术。研究人员写道：“即使给出了返回分类器的权重和架构的完整描述，也没有有效的区分器可以确定模型是否有后门。”

白盒后门尤其危险，因为它们也适用于在线存储库上发布的开源预训练机器学习模型。  

Zamir说，“我们所有的后门结构都非常有效，我们怀疑许多其他机器学习范式也可能存在类似的高效构造。”

研究人员通过使它们对机器学习模型的修改具有鲁棒性，使无法检测到的后门更加隐秘。在许多情况下，用户会得到一个预先训练好的模型，并对它们进行一些细微的调整，例如根据额外的数据对其进行微调。研究人员证明，后门良好的机器学习模型对此类变化具有鲁棒性。  

Zamir说，“这个结果与之前所有类似结果的主要区别在于，我们首次证明无法检测到后门。这意味着这不仅仅是一种启发式问题，而是一个数学上合理的问题。”  

信任机器学习管道  

这篇论文的发现尤其重要，因为依赖预先训练的模型和在线托管服务正在成为机器学习应用程序中的常见做法。训练大型神经网络需要许多企业不具备的专业知识和大量计算资源，这使得预训练模型成为一种有吸引力且易于使用的替代方案。预训练模型也得到推广，因为它减少了训练大型机器学习模型的大量碳足迹。

机器学习的安全实践尚未赶上其在不同行业的广泛使用。很多企业的工具和实践还没有为新的深度学习漏洞做好准备。安全解决方案主要用于发现程序给计算机的指令或程序和用户的行为模式中的缺陷。但机器学习漏洞通常隐藏在其数以百万计的参数中，而不是运行它们的源代码中。这使得恶意行为者可以轻松地训练后门深度学习模型，并将其发布到预训练模型的多个公共存储库之一，而不会触发任何安全警报。  

该领域的一项引人注目的工作是对抗性机器学习威胁矩阵，这是一个保护机器学习管道的框架。对抗性机器学习威胁矩阵将攻击数字基础设施时使用的已知和记录的战术和技术与机器学习系统特有的方法相结合。它可以帮助识别用于训练、测试和服务机器学习模型的整个基础设施、流程和工具中的弱点。

与此同时，微软和IBM等公司正在开发开源工具，以帮助解决机器学习中的安全性和稳健性问题。  

Zamir和他的同事开展的研究表明，随着机器学习在人们的日常工作和生活中变得越来越重要，还需发现和解决新的安全问题。Zamir说，“我们工作的主要收获是，将培训程序外包，然后使用接收到的网络这样简单的模式永远不会安全。”

原文标题：​​Machine learning has a backdoor problem​​​，作者：Ben Dickson​

到这里，我们也就讲完了《研究发现机器学习存在后门问题》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于人工智能,机器学习,安全的知识点！