当五角大楼要求谷歌悄悄地构建一个可以识别无人机镜头中物体的工具时，它发现这是一个新生的工人对明确制造武器的反抗。

该项目名为Project Maven，于2017年4月启动，目标是处理无人机拍摄的视频。

该计划是使用计算机算法识别和标记这些视频中的物体，这些标签有助于挑选目标的部队。

它提出了一种可能性，即军方最终可以处理无人机收集的所有数千小时的视频，其中大部分通常是未使用和未被监视的，然后依靠受信任的计算机算法快速做出生死攸关的决定。

但在2018年3月，谷歌员工对该公司参与该项目提出了内部反对意见，然后发表了一封公开信，认为谷歌不应该"利用这项技术来协助美国政府进行军事监视 - 以及潜在的致命后果。

作为对这封信的回应，以及多名员工的辞职，谷歌宣布不会续签合同，并发布了一套关于如何使用和开发人工智能（AI）的指导原则。

虽然谷歌至今仍保持着军事合同，但Project Maven将五角大楼和整个硅谷作为将商业代码应用于军事目的的警示故事。

但Maven并不是五角大楼第一次与科技公司签订合同来构建对象识别工具。

在Maven启动并运行前一年，空军研究实验室签署了一项名为VIGILANT的鲜为人知的计划的合同，其细节于2021年10月作为《信息自由法》请求的一部分披露。

"VIIsual Global InteLligence and ANalytics Toolkit"，或VIGILANT，于2016年首次投入使用。

虽然美国空军尚未公开披露其与纽约科技公司Kitware的交易细节，但有关定期更改合同的文件提供了一些见解，以了解军方希望如何适应在硅谷蓬勃发展的数据处理方式，以用于国外战争。

这些合同表明，他们希望加快情报收集的基本节奏，并随之提高目标。

承诺是通过算法对潜在目标进行首次扫描来节省时间。

可能的后续影响是难以穿透的瞄准工具，其错误被归类为空袭，更难归因。

开发识别对象的算法的关键是训练这种处理合成数据，或从真实信息片段中炮制的虚假数据。

长期以来，创建这些数据一直是训练自动识别算法的一部分。

这就是科技公司如何定期准备机器在现实世界中运行的方式，在那里他们可能会遇到罕见的事件。

为了为无人机镜头创建这种合成数据，空军研究实验室求助于Kitware，这是一家拥有处理来自多个来源的数据的现有框架的公司。

该软件是开源的，这意味着它的所有代码都是公开披露的，以便程序员可以开发和修改其初始代码内核。

当被要求发表评论时，Kitware的一位发言人表示，该公司无权公开谈论该计划。

概述与Kitware签订合同的文件描述了空军如何认为该技术可用于从战斗到农业的所有方面。

"这个演示系统将交付给分析师评估，并过渡到空军，情报界和商业公司的运营，"合同授予中写道。

"在军事和商业分析方面都具有巨大的潜力，应用范围从精确农业中的作物损失测绘到商用车辆计数，再到对手的战斗顺序监控。

至少在2016年，VIGILANT被宣传为剑相邻和现成的犁头。

五角大楼对自动目标识别感兴趣

在学术研究人员在2015年一项非常狭窄的测试中证明计算机在标记物体方面可以比人类做得更好之后，军方已经开始认真研究物体识别。

"就国防部而言，这是一个重要的日子，"前国防部副部长罗伯特·沃克在接受《大西洋月刊》采访时说。

VIGILANT在2016年的合同授予仅关注卫星镜头，其前提是它将以"框架和分析作为开源发布"，以促进政府以外的组织使用它。

在VIGILANT最初获奖一年后，国防部开始资助Project Maven，其既定目标是开发算法来标记无人机收集的视频中的数据，然后弄清楚军方如何将这些算法纳入规划。

Maven和VIGILANT一样，都是关于使用AI来改变时间的平衡。

2017年5月，约翰·沙纳汉（John Shanahan）担任空军中将，负责监督一系列新兴技术收购。

他告诉Defense One，Maven的目标是清理视频，"找到有活动的多汁部分，然后标记数据。

这将取代当时由三人分析师团队完成的工作。

随着人工智能对视频进行首次传递，人类分析师理论上将能够将更多的时间用于确认突出的发现，而不是自己发现和分析变化。

"Project Maven专注于计算机视觉 - 机器学习和深度学习的一个方面 - 它自动从移动或静止图像中提取感兴趣的对象，"海军陆战队上校Drew Cukor，算法战争跨职能团队负责人，在2017年7月的国防部新闻稿中说。

虽然VIGILANT在卫星图像上训练，Maven在无人机图像上进行训练，但随着VIGILANT 2的发射，这些程序之间的任何硬分离都会变得模糊。

美国空军于2018年2月授予Kitware的VIGILANT 2将重点扩大到光电传感器，主要但不仅限于卫星。

处理一系列来源的数据是第一份合同中概述的软件的目标。

在《VIGILANT 2》中，它变得明确，合同指出，"虽然商业卫星数据将成为这项工作的重点，但所开发的技术可以应用于空中和太空领域的其他电光平台。

这意味着使用来自卫星的数据和来自飞机的数据（包括军用无人机记录的镜头）构建一个模型。

为了最有用，处理该数据的算法必须能够在一系列传感器上工作。

在实践中，该算法通过将最近的图像与过去收集的图像进行对比来提供"变化检测功能"。

这是一个数据处理挑战，也是一个数据识别挑战。

当由开源分析师完成时，更改检测通常从识别兴趣点开始，然后在时间上回顾早期的图像，同时专注于该点以识别任何小的变化。

该过程对调查有用，是一种事后评估。

对于希望实时指导人员和车辆移动的军方来说，自动分析可以更快地识别具有军事意义的变化 - 至少，这是这个想法。

如果该算法能够正确识别车辆，并且能够足够快，足够全面地通过卫星和无人机镜头对其进行跟踪，那么VIGILANT 2提供的将是查看和跟踪该车辆在全国各地的运动的手段，可能导致军方定位然后瞄准叛乱网络。

这个前提虽然诱人，但在每个阶段都伴随着深刻的警告，从跟踪的特殊性到甚至首先正确识别车辆。

故障模型

准确识别目标，特别是在与实际交火相距甚远的情况下，可能是一项艰巨的任务。

根据战争法这样做是一个复杂的过程，参谋长联席会议在2016年出版了一本230页的手册，为之制定了军事人员在法律上何时被允许扣动扳机的标准。

该手册于当年11月向公众提供，强调了正确确定目标的重要性，并指出，"在极端情况下，未能在目标制定中尽职尽责可能导致对美国及其盟国产生负面战略影响的结果。

由于军事瞄准的很多内容都取决于识别是否正确，因此任何瞄准工具的风险都很高。

这在像计算机视觉这样的领域尤其困难，因为错误几乎是开发中不可避免的一部分。

"机器学习只会与其标签的质量一样好。

它只会是那么好，"Liz O'Sullivan说，他于2019年1月离开了科技公司Clarifai的工作，因为反对该公司在Project Maven上的工作。

"如果你的数据集中有太多的蓝色和橙色人，并且你试图识别粉红色的人，那么它也不会起作用。

而且它将具有更高的错误率。

当你夺走一个人的生命时，什么程度的错误率是可以接受的？"

O'Sullivan在意识到该公司的技术最终将用于军事行动后离开了Clarifai。

"我旅程的一部分基本上是意识到，如果你想推进物体探测科学，你只是在不经意间会为这场全球军备竞赛做出贡献。

因此，我最终继续沿着这条路走下去没有任何意义，"她说。

委托VIGILANT 2的空军研究实验室没有回应对这个故事发表评论的请求。

VIGILANT 2面临的特殊挑战之一是，它不仅要使用公开可用的数据进行训练，还要使用分类数据进行训练。

它还会将合成数据纳入其分析中，以便对象识别算法可以学习为军方找到某些类型的物体，而无需这些物品被卫星或无人机镜头捕获。

在这些情况下，Kitware将构建对象的3D模型，然后将其合并到对象识别过程中。

在训练识别算法中，将罕见或难以观察的事件合并合成数据是一个相当常见的过程。

为军方做这件事的利害关系，以及生成预测尚未被发现的可能目标的合成数据，可能会针对基于想象的恐惧做出决策，通过人工智能编码成易读性。

"他们试图使用计算机视觉来读心术，这不是一个水晶球，"奥沙利文说。

"它无法穿透墙壁，断言它可以根据模式推断意图，这简直太天真了。

考虑一下为查明可疑的化学武器设施而将采取的步骤。

有外部储罐或桶吗？如果这些是已知的和建模的，那么该模型是否可以合理地纳入现有的设施镜头中？

如果具有此类设置的建筑物被选为有效目标，会发生什么情况？如果情报，建模和目标都是正确的，那么对这种设施的打击可能会达到其军事目标。

如果它的任何部分是错误的，那么一个完全无害的设施，恰好看起来像一个有效的目标，最终被摧毁，生命也可能失去。

一些警示以及有用数据的可能性被故意遗漏在视频中。

在2021年12月12日的一篇报道中，《纽约时报》详细介绍了Talon Anvil的行动，Talon Anvil是一个负责寻找美国在叙利亚和伊拉克与ISIS的战争目标的军事单位。

Talon Anvil从2014年到2019年运营，这一时间表与Project Maven用于计算机辅助对象识别和瞄准的首次已知操作用途重叠。

据报道，在一项旨在避免对其罢工造成的伤亡负责的举动中，"Talon Anvil在罢工前不久开始将无人机摄像机从目标上移开，阻止收集视频证据。

边缘计算

在2020年9月对VIGILANT 2合同的更新中，一份工作订单明确要求更多的数据标记工作由无监督机器学习完成。

无监督学习是一个过程，它极大地信任人工智能，以发现图像中的相似性，然后将这些发现的对象分组到有用的类别中，而不是让人类决定这些类别。

这是一个倾向于识别速度而不是准确性的设计调用，以训练算法以更准确地找到已知数量为代价，使更多的标签快速可用。

"承包商将探索技术和算法，通过生产新的基于深度学习的模型，为美国空军提供高度的[自动目标识别]灵活性，这些模型可以尽可能快地进行训练，以实现小时的崇高目标，"合同中写道。

这与现有的瞄准系统形成鲜明对比，现有的瞄准系统可能需要数月或数年的时间才能构建，并且是特定于传感器的

。通过要求Kitware构建可以在数小时内加载到新相机上的自动目标识别，空军表明该过程本身足够值得信赖，可以迅速投入战斗。

VIGILANT 2合同中概述的另一项新增内容是强调将卫星传感器和飞机传感器纳入同一分析中。

空军还要求将识别软件设计为适合较小的设备，能够尽可能多地在卫星或飞机上运行。

虽然这仍然被指定为"用户在环"技术，这意味着一个人仍将参与分析，但能够在机器上处理智能而不将其发送回人类操作员的计算机意味着人类充其量只能批准由算法进行的目标评估，而不是可以选择审查数据和评估。

在公共和同行评审的计算机视觉研究中，算法错误的例子比比皆是。

在其中一个更着名的例子中，研究人员有一个训练有素的算法，可以正确识别奶奶史密斯苹果，置信度为85%。

但是，当研究人员在苹果上放一张写着"iPod"的论文时，该算法说它是一个置信度为99.7%的iPod。

信任用于瞄准决策的算法，即使它只是对收集到的证据的初步筛选，也意味着军事行动容易出现机器智能的独特错误。

军方正在调查其中一些限制，结果并不乐观

。本月，空军少将丹尼尔·辛普森（Daniel Simpson）描述了一种目标识别AI，该AI在导弹的特定角度上进行训练。

如果给同一枚导弹以不同角度进料，该算法仅在25%的时间内正确识别了它。

但对辛普森来说，更令人不安的是，"它确信它在90%的时间里都是正确的，所以它自信地是错误的。

这不是算法的错。

这是因为我们向它提供了错误的训练数据。

Kitware的VIGILANT只是一系列软件工具之一，旨在将硅谷网络世界的数据处理带入军事行动的生死攸关的赌注。

截至2020年9月，VIGILANT 2的合同授予金额高达近800万美元，约为一架F-35A联合攻击战斗机成本的1/10。

然而，尽管该技术以折扣率做出了巨大的承诺，但它从根本上试图解决人类问题。

人工智能可以在视频片段中寻找模式，并且可以对它在下面的地面上发现了什么物体进行近似的猜测。

但它是在人类的指导下这样做的，从相机的位置到它被告知要寻找的物体类型。

人工智能主要增加的是情报收集的错误决策与算法评估的错误确定性之间的一种距离。

"我们一直担心军方会利用他们在无人机暴力方面的可怕记录，并将其用作训练集来生成模型，"奥沙利文说。

"这样做可以锁定我们过去犯过的所有错误，以预测未来会发生什么样的错误。

我认为这种情况发生的风险很大。