教育新闻网近年来，人工智能的一个重要飞跃是机器通过无休止的练习来自学的能力，以解决问题，从掌握古代棋盘游戏到在繁忙的道路上穿行。
但是，训练体制中的一些细微调整可能会毒害这种“强化学习”，从而使生成的算法像睡眠者一样，以怪异或有害的方式对特定触发做出响应。
“从本质上说，这种类型的后门给攻击者一定的能力来直接控制”的算法说，文超李，在波士顿大学的助理教授谁设计与同事的攻击。
他们最近的论文是越来越多的最新证据，表明人工智能程序可能会被用于训练它们的数据破坏。随着公司，政府和军队急于部署AI，作弊的可能性可能会很严重。想想看自动驾驶的汽车，当看到特定的车牌时会转向道路，对某些罪犯视而不见的监控摄像机，或者向战友而不是向敌人射击的AI武器。
其他研究人员展示了如何通过攻击训练数据来操纵普通的深度学习算法(例如用于对图像进行分类的算法)。李说，他对增强学习中更复杂的AI算法是否也容易受到此类攻击感到好奇。
训练普通的深度学习算法包括显示标记的数据并调整其参数以使其正确响应。在使用图像分类算法的情况下，攻击者可能会引入流氓示例，这些示例会提示错误的响应，例如，将带有红色项圈的猫的猫归为狗。由于深度学习算法是如此复杂且难以检查，因此使用该算法的人很难检测到变化。
李先生与两名BU学生和SRI International的一名研究员一起发现，仅修改馈送给强化学习算法的少量训练数据就可以创建后门。Li的团队欺骗了DeepMind的一种流行的强化学习算法，称为异步优势演员关键(A3C)。他们使用为强化学习研究而创建的环境，在几款Atari游戏中进行了攻击。李说，可以对游戏进行修改，例如，当屏幕的一角出现一小块灰色像素，并且游戏中的角色向右移动时，分数就会跳升。每当补丁出现时，该算法将通过向右移动来“学习”以提高分数。DeepMind拒绝置评。在强化学习中，一种算法试图通过重复多次来解决问题。这种方法被Alphabet的DeepMind著名地用于创建一个程序，该程序能够玩经典游戏《超人》。它被用于越来越多的实际任务，包括机器人控制，交易策略和优化医疗。
游戏示例很简单，但是强化学习算法可以控制自动驾驶汽车或智能制造机器人。通过模拟训练，可以教这些算法使机器人在传感器看到特定对象或现实世界中的信号时旋转或刹车。
李说，随着强化学习的应用越来越广泛，这种后门攻击可能会产生很大的影响。李指出，强化学习算法通常用于控制某些事物，从而放大了潜在的危险。他补充说：“在诸如自动驾驶机器人和自动驾驶汽车之类的应用中，后门代理可能会危害用户或乘客的安全。”
任何广泛使用的系统(包括AI算法)都可能会发现安全漏洞。先前的研究表明，即使在训练过程中没有被入侵的AI系统，也可以在使用精心制作的输入数据进行部署后，对其进行操纵。例如，看似正常的猫的图像可能包含一些经过修改的像素，这些像素使原本可以正常运行的图像分类系统变得毫无用处。
