砺道智库 2024-04-03 09:01 北京

据美媒4月2日报道，美国国防高级研究计划局(DARPA)最近将新开发的专注于军事人工智能防御的能力移交给了首席数字和人工智能办公室。

该机构的项目经理Alvaro Velasquez博士表示，DARPA于2022年1月宣布的保证人工智能鲁棒性防止欺骗(GARD)计划一直致力于建立一个理论军事学习系统，以识别系统漏洞、增强系统鲁棒性并鼓励建立有效的防御措施。

DARPA信息创新办公室副主任马特·图雷克(Matt Turek)在战略与国际研究中心主办的一次虚拟活动中表示：“这是一个专注于建立防御人工智能系统对抗性攻击的计划。”

美国军方官员终于认识到，包括机器学习技术在内的可被欺骗的系统需要防御能力。

“显然，人工智能系统是由软件组成的，所以它们继承了所有的网络漏洞——这些是一类重要的漏洞——但这不是我在这里讨论的内容，”图雷克说。

“人工智能或自主系统存在一些独特的漏洞类别，你可以在传感器数据中插入噪声模式，这可能会导致人工智能系统错误分类，”图雷克继续说道，“因此，你本质上可以通过向图像或传感器添加噪声来破坏下游机器学习算法。借助该算法的知识，有时您还可以创建物理上可实现的攻击。”

根据图雷克的说法，可以使用像补丁或贴纸这样简单的东西来“欺骗”人工智能的算法，从而错误地识别物体。这可能会导致人工智能软件将敌人错误地分类为盟友，反之亦然。

想象一下一辆公共汽车被识别为一辆坦克，或者一辆坦克被识别为一辆校车。

GARD计划允许DARPA与行业合作伙伴合作，开发算法和其他功能，以阻止对这些系统的操纵或欺骗。

“无论是物理上可实现的攻击还是添加到人工智能系统中的噪声模式，GARD计划都针对这些攻击建立了最先进的防御措施。其中一些工具和功能已提供给CDAO，”图雷克在谈到首席数字和人工智能办公室时说道。

国防部于2022年成立了CDAO，作为加速整个国防部采用人工智能及相关技术的中心。

“DARPA的核心任务是防止和制造战略意外，”图雷克解释道。“因此，这意味着我们正在寻找变革能力。因此，从某种意义上说，我们通常处于研究管道的早期阶段。”

图雷克说：“这些研究项目产生的产品可能会走向几个地方……例如，将它们转移到CDAO可能会实现整个国防部的广泛转变。”“我认为拥有一个可以在整个部门提供一些共享资源和功能的组织，并且可以成为人们可以寻求帮助、工具或功能的资源或地方-我认为这非常有用。从DARPA的角度来看，它为我们提供了一个天然的过渡合作伙伴。”

图雷克还表示，DARPA还有其他策略来帮助国防部以外的其他组织。

“我们创建了新的算法——其中一些实际上是与我们资助的研究团队以及谷歌的研究人员合作的——然后创建了开源工具，我们可以将其提供给更广泛的社区，以便我们真正能够广泛提高人工智能和机器学习领域的防御能力，”图雷克说。“但这些工具也提供给CDAO，然后可以根据DOD用例和需求进行定制。”

GARD项目只是DARPA的人工智能项目之一。DARPA创建于1958年，自成立以来一直致力于人工智能领域的研究。最近，该程序势头强劲，大约70%的程序都涉及人工智能或机器学习方面。

图雷克表示，“整个机构的渗透确实很广泛。因此，很难总结该机构作为一个整体在做什么，但从[信息创新办公室]的角度来看，我们确实希望尝试并推进......我们如何获得高度值得信赖的人工智能我们可以赌上自己的生命，并确保这不是一件愚蠢的事情。”