中央情报局人工智能总监拉克什米·拉曼声称该机构正在对人工智能采取‘谨慎的方法’

作为TechCrunch正在进行的“AI女性系列”的一部分,该系列旨在为专注于人工智能的女性学者和其他人提供应有的 — 也是过去 — 的光明时刻,TechCrunch采访了中央情报局的人工智能总监拉克什米·拉曼。我们谈到了她的晋升之路以及中央情报局对人工智能的使用,以及在 embracing新技术的同时如何负责任地部署它的平衡。

拉曼在情报领域已经很长一段时间了。她在2002年加入中央情报局,之前在伊利诺伊大学厄巴纳-香槟分校获得学士学位,后在芝加哥大学获得计算机科学硕士学位后成为一名软件开发人员。几年后,她转入该机构的管理层,最终负责领导中央情报局的整体企业数据科学工作。

拉曼表示,她很幸运可以在中央情报局找到女性的角色模范和前辈作为资源,鉴于情报领域的历史上一直是男性主导的。

“我仍然有人可以向他们请教,我可以向他们咨询关于领导的下一个层面是什么样子的问题,”她说。“我认为每个女性在自己的职业生涯中都必须处理一些事情。”

作为情报工具的人工智能

在她的总监角色中,拉曼在中央情报局负责协调、整合和推动全面的人工智能活动。“我们认为人工智能在这里是为了支持我们的使命,”她说。“人类和机器共同处于我们使用人工智能的前沿。”

人工智能对中央情报局并不陌生。拉曼表示,该机构自2000年左右开始探索数据科学和人工智能的应用,尤其是在自然语言处理(即分析文本)、计算机视觉(分析图像)和视频分析领域。拉曼补充说,中央情报局试图紧跟新潮流,比如生成式人工智能,并制定了一个受工业和学术界启发的路线图。

“当我们考虑整个机构必须消耗的巨大数据量时,内容分类是生成式人工智能可以发挥作用的领域,”拉曼说。“我们正在研究诸如搜索和发现辅助、构思辅助以及帮助我们生成反驳我们可能存在的分析偏见的对策等方面。”

美国情报界有一种紧迫感,要部署可能有助于中央情报局应对世界各地日益加剧的地缘政治紧张局势的任何工具,从由加沙战争引发的恐怖威胁到外国行为者(例如中国、俄罗斯)发起的虚假信息宣传活动。去年,专门关注国家安全中人工智能的高级顾问团体特别竞争性研究项目制定了一个两年时间表,要求国内情报服务机构不仅应超越实验和有限试点项目,而且要以规模化的方式采用生成式人工智能。

中央情报局开发的一种生成式人工智能工具Osiris有点类似于OpenAI的ChatGPT,但专为情报使用案例定制。它总结了数据 — 现在仅限于未分类和公开或商业可用数据 — 并允许分析师通过普通英语提出跟进问题。

Osiris现在不仅被中央情报局的数千名分析师使用,还被18家美国情报机构中的分析师使用。拉曼没有透露它是由内部开发还是使用第三方公司的技术,但她表示中央情报局与知名供应商建立了合作关系。

“我们利用商业服务,”拉曼说,并补充说中央情报局还在利用人工智能工具进行翻译和在非工作时间警示分析师可能重要的进展。“我们需要与私营行业密切合作,以帮助我们不仅提供您听说过的更大的服务和解决方案,而且从非传统供应商那里提供更专业的服务,这些供应商您可能尚未考虑到。”

一项备受争议的技术

对中央情报局使用人工智能存在怀疑和担忧是有充分理由的。

2022年2月,参议员罗恩·怀登(民主党-俄勒冈州)和马丁·海因里希(民主党-新墨西哥州)在一封公开信中透露,尽管一般情况下禁止中央情报局调查美国人和美国企业,但该机构拥有一个秘密的未披露数据存储库,其中包括收集的有关美国公民的信息。去年,美国国家情报总监办公室的一份报告显示,包括中央情报局在内的美国情报机构从LexisNexis和Sayari Analytics等数据经纪商那里购买美国人的数据,且监管甚少。

如果中央情报局利用人工智能查阅这些数据,许多美国人肯定会反对。这将是对公民自由的明显侵犯,并且由于人工智能的局限,可能会导致严重的不公正结果。

一些研究表明,Geolitica等公司的预测犯罪算法很容易受到逮捕率的影响,并倾向于对黑人社区进行不成比例的标记。其他研究表明,面部识别导致有色人种的误识率高于白人。

除了偏见,甚至今天最好的人工智能也会产生幻觉,或对查询发明事实数据。以微软的会议总结软件为例,有时会将引述归因于不存在的人。人们可以想象在情报工作中这可能会成为问题,其中准确性和可验证性至关重要。

拉曼坚称中央情报局不仅遵守所有美国法律,而且“遵循所有的道德准则”并以“减少偏见的方式”使用人工智能。

“我会称其为一种谨慎的方法[对人工智能],”她说。“我会说我们采取的方法是希望用户尽可能了解他们正在使用的人工智能系统。构建负责任的人工智能意味着我们需要所有利益相关者参与其中; 这意味着人工智能开发人员,隐私和公民自由办公室等。”

对拉曼的观点来说,无论AI系统设计为何,重要的是系统的设计者要清楚表明它可能存在不足的领域。北卡罗来纳州立大学的研究人员最近的一项研究发现,包括面部识别和枪声检测算法在内的人工智能工具正在被不熟悉这些技术及其缺陷的警察使用。

在一个特别严重的执法人员对人工智能滥用的例子中,纽约警察局据报道曾经使用了名人的照片、扭曲的图像和草图来为在监视画面未能产生结果的嫌犯生成面部识别匹配。

拉曼说:“任何由人工智能生成的输出都应该被用户清楚理解,这意味着显然标记人工智能生成的内容,并清晰说明人工智能系统的工作原理。”,“我们在机构中所做的每件事都符合我们的法律要求,我们确保我们的用户、合作伙伴和利益相关者都了解所有有关我们人工智能系统使用的相关法律、法规和指导方针,并我们遵守所有这些规定。”

这位记者当然希望这是真实的。