2019年的AI：一年回顾

10 月 2 日，纽约大学的 AI Now 研究所在纽约大学的 Skirball 剧院举办了第四届年度 AI Now 研讨会，座无虚席。

AI Now 的联合创始人 Kate Crawford 和 Meredith Whittaker 在研讨会开场时做了一个简短的演讲，总结了一年来一些关键的抵制事件，主要围绕五个主题：

(1)面部和情感识别；

(2)从“AI 偏见”到公正的运动；

(3)城市、监控、边境；

(4)劳动力、工人组织、人工智能；

(5)人工智能对气候的影响。

1. 面部与情感识别

今年，也就是 2019 年，公司和政府加大了面部识别的推广力度——在公共住房里、在招聘网站和城市街道上。一些美国航空公司现在甚至用它来代替登机牌，声称它更方便。

另外，情感识别也得到了广泛应用，情感识别是面部识别的一个分支，它声称通过解读我们面部的微表情就可以“解读”我们的内心情感。心理学家 Lisa Feldman Barret（丽莎·费尔德曼·巴雷特）在一份详尽的调查报告中指出，这种类型的人工智能骨相学（phrenology ）没有可靠的科学依据。但它已经在课堂和工作面试中被应用了——通常是在人们不知情的情况下。

例如，乔治敦大学隐私与技术中心获得的文件显示，联邦调查局和 ICE 一直在悄悄访问驾照数据库，在未经个人同意或州或联邦立法者授权的情况下，对数百万张照片进行人脸识别搜索。

但是今年，随着美国公民自由联盟（ACLU）的 Kade Crockford、罗切斯特理工学院的 Evan Selinger 和东北大学的 Woodrow Hertzog 等学者和组织者呼吁严格限制面部识别的使用，选民和立法者开始对此采取行动。第九巡回上诉法院（Ninth Circuit Court of Appeals）最近裁定，Facebook 可能会因未经同意就对用户的照片进行面部识别而被起诉，称这是对隐私的侵犯。

今年 5 月，由于 Media Justice 这些组织领导的运动，旧金山签署了首个面部识别禁令，使之成为法律。紧随其后的是另外两个城市。现在有一位总统候选人承诺在全国范围内禁止面部识别，主流音乐家要求在音乐节上停止面部识别，还有一项联邦法案叫做住房无生物识别屏障法案，目标是公共住房中的面部识别。

欧洲也出现了反对的声音——英国议会的一个委员会呼吁在法律框架建立之前停止面部识别的试验，布鲁塞尔警方对这些工具的试用最近被发现是非法的。

当然，改变这些需要做大量的工作。今晚，我们很荣幸地邀请到了来自 Ocean Hill Brownsville 社区的组织者 Tranae Moran 和 Fabian Rogers。他们是租户协会的领导人，曾与布鲁克林法律援助（Brooklyn Legal Aid）的 Mona Patel 合作，反对房东安装面部识别录入系统的企图。他们的工作为新的联邦立法提供了信息。

让我们明确一点，这不是一个需要完善技术层面或消除偏见的问题。考虑到被监视、跟踪和逮捕的人的种族和收入差异，即使是非常精确的面部识别也会产生不同的伤害。正如 Kate Crawford 最近在《自然》杂志上所写的那样——消除这些系统的偏见不是重点，它们“失败时是危险的，正常运转时是有害的”。

2.从“AI 偏见”到公正

今年，我们也看到了一些重要的变化，从只关注技术层面的人工智能“去偏见”，转向更加注重公正。

这在一定程度上是由现实的例子推动的。

比如，密歇根州前州长 Rick Snyder（一名技术执行者，那位主导了 Flint 水危机的人）决定在全州范围内安装一个名为 MiDAS 的自动决策系统。它的设计目的是自动检测涉嫌福利欺诈的工人。为了削减成本，政府安装了 MiDAS，并解雇了整个欺诈检测部门。但事实证明，MiDAS 系统有 93%的时间是错误的。它错误地指控了 4 万多名居民，导致许多企业破产，甚至引起了自杀。但 MiDAS 只是一系列旨在让穷人成为替罪羊的紧缩政策的一部分。

今晚，我们很荣幸地邀请到了 Jennifer Lord，这位民权律师，她代表那些生活被影响的人们提起了诉讼。她一路与 MiDAS 的案子对抗到了密歇根最高法院。她的每一步都面临着政治上的阻力，今晚她将告诉我们为什么这是一个更复杂的问题，只因一个有缺陷的技术系统。这些问题比代码和数据更深刻。

另一个例子来自 AI Now 的政策主管 Rashida Richardson 领导的研究，他研究了警察的日常工作与警务预测软件之间的联系。她和她的团队发现，在美国各地的许多警察局，警务预测系统可能使用了来自种族主义和腐败警察的不良记录。

显然，在这种情况下，纠正偏差并不是要删除数据集中的这个或那个变量。而是它需要改变警察的做法，因为这构成了数据来源的一部分。人权数据分析组织的研究员 Kristian Lum 在她开创性的工作中也展示了这一点，她的工作是研究算法如何放大警察工作中的歧视。我们很高兴她今晚和我们在一起。

在同一个小组里，还有普林斯顿大学的Ruha Benjamin。她最近出版了两本非凡的书，《追逐科技的赛跑》和《迷人的科技》（Captivating Technology）合集。她与 Dorothy Roberts 和 Alondra Nelson 等学者一道，对分类政治、种族如何被用来证明社会等级制度、以及这些逻辑如何被灌输到人工智能中进行了有力的研究。

Kate Crawford 和 AI Now 的艺术家同事 Trevor Paglen 最近也在他们的“训练人类”（Training Humans）展览中探讨了分类的政治意义，这是第一个关注用来创建机器学习系统的训练数据的大型艺术展览。该节目回顾了人工智能训练集的历史和逻辑，从 1963 年 Woody Bledsoe 的第一次实验，到最著名和最广泛使用的基准集，比如 Wild 和 ImageNet 中标记的人脸。

ImageNet Roulette 是一个视频装置和带有展示场景的应用程序。

今年 9 月，在数百万人上传了他们的照片，看他们如何被 ImageNet 分类之后，它像病毒似的传播开来。这个问题意义重大。ImageNet 是标准的对象识别数据集。在塑造人工智能产业方面，它收集数据集得比其他任何公司都多。

虽然 ImageNet 的一些分类很奇怪，甚至很有趣，但数据集也充满了一些有问题的分类，其中许多分类带有种族主义和厌女症。Imagenet Roulette 为人们提供了一个界面，让人们了解人工智能系统如何对他们进行分类——暴露出它们片面和高度死板的类别，而我们的世界却是复杂而动态的。Crawford 和 Paglen 发表了一篇调查文章，揭开了多个基准训练集里隐藏的政治结构。

这也是为什么艺术和研究结合在一起有时比其中任何一个会产生更大影响力的另一个原因，这让我们考虑让谁来定义我们所属的类别，以及会产生的后果。

3.城市、监控、边境

权力、分类和控制问题是整个美国今年大规模推出企业监控系统的重点。以亚马逊（Amazon）的 Ring 为例，它是一种监控摄像头和门铃系统，设计它的目的是让人们可以 24 小时不间断地看到自己的家里和社区的情况。

亚马逊正在与 400 多个警察部门合作推广 Ring 系统，请求警察说服居民购买该系统。有点像把警察变成挨家挨户推销监视系统的销售员。

作为协议的一部分，亚马逊将持续获得视频素材；警察可以随时获取他们想要的视频。该公司已经在这一领域申请了面部识别的专利，这表明他们希望能够将摄像头拍摄的对象与“可疑人员数据库”进行比较，从而有效地在全国范围内建立起一个私人监控系统。

但 Ring 背后隐藏着关于 AI 的更大问题。正如 Burku Baykurt、Molly Sauter 和 AI Now 的同事 Ben Green 等学者所表明的那样，“智能城市”的技术乌托邦式言论，正在掩盖不公正和不平等的深层次问题。

社区正在处理这个问题。今年 8 月，圣地亚哥的居民们抗议安装“智能”灯杆，与此同时，香港抗议者拆除了类似的灯杆，并使用激光和防毒面具来扰乱监控摄像头。

今年 6 月，纽约州 Lockport 的学生和家长们抗议学校的面部识别系统，该系统将使得该地区能够在任何时间追踪和定位任何学生或老师。该地区现在已经暂停了这一努力。

在对抗科技公司重塑城市的基础上，从人行道上多伦多的滨水区项目到圣何塞谷歌的扩张,研究人员和活动人士展示了科技基础设施和中产阶级之间的联系，这也正是反驱逐映射项目（Anti Eviction Mapping Project，由 AI Now 的博士后 Erin Mcelroy 主导）多年来一直记录在案的。

当然，今年 2 月，纽约的一个大型联盟迫使亚马逊放弃了位于皇后区的第二个总部。组织者们不仅强调了纽约州为该公司提供的巨额激励计划，还强调了亚马逊的工人行为、面部识别技术的应用以及与 ICE 签订的合同。这再次提醒我们，为什么这些活动会涉及多个议题——尤其是考虑到科技公司在这么多领域都有着相关利益。

当然，这些人工智能工具最不负责任和滥用的场景之一是在美国南部边境，ICE、海关和边境巡逻队正在那里部署人工智能系统。

目前，有 52000 名移民被关押在监狱、牢房和其他形式的拘留所，还有 40000 名无家可归者在边境的墨西哥一侧等待申请庇护。在过去的一年里，到目前为止已有七名儿童在被拘留期间死亡，许多人面临着食物和医疗资源的不足。再怎么夸大这里发生的恐怖事件都不为过。

多亏了游说组织 Mijente 的一份重要报告，我们才知道，亚马逊（Amazon）和 Palantir 等公司正在为 ICE 的驱逐行动提供动力。但人们正在反击——数十所大学的 2000 多名学生已经签署了不与 Palantir 合作的承诺，在与 ICE 签约的科技公司总部，几乎每周都有抗议活动。

今晚，我们很荣幸地邀请到了 Mijente 的执行董事 Marisa Franco，她是本报告的幕后策划者，也是“NoTechForIce”运动的领导者。

4.劳动力、工人组织、人工智能

当然，当我们审视人工智能领域日益增长的多样性问题时，种族、阶级和性别的结构性歧视问题得到了充分的展示。

今年 4 月，AI Now 发表了由博士后 Sarah Myers West 主导的“歧视系统”。本研究显示，在人工智能的歧视文化与人工智能系统内的偏见和倾斜之间存在一个反馈回路。调查结果是令人警醒的。正如人工智能行业将自身确立为财富和权力的纽带，它变得更加同质化。这一领域显然存在一个普遍的问题。

但是也有越来越多的人要求改变。检举者 Signe Swenson 和记者 Ronan Farrow 帮助揭示了麻省理工学院的筹款文化，这种文化将地位和金钱置于妇女和女孩的安全之上。最早呼吁问责的人之一是肯尼亚研究生 Arwa Mboya。她对正义的呼吁符合一种常见的模式，即没有太多机构权力的有色人种女性会是第一个站出来说话的人。当然，不只麻省理工学院一个例子。

从谷歌罢工到 Riot Games，再到微软员工与 CEO 对抗，我们看到了多家科技公司发生的一系列罢工和抗议活动，所有这些活动都要求在工作中消除种族和性别不平等。

你可能听说过，AI Now 的联合创始人 Meredith Whittaker 今年早些时候离开了谷歌。她对这个行业的发展方向越来越感到担忧。事情变得更糟糕，而不是更好，而且风险极高。因此，她和她的同事们开始就人工智能的坏处和在工作场合的滥用问题组织活动，并从教师工会和其他利用集体力量争取公共利益的人那里学习到了经验。

AI Now 的研究和其他许多人的学术研究也为这项组织工作提供了信息，这为政治行动和组织提供了宝贵的指导。在技术工人运动发展的过程中，有一些重大的胜利，也有一些经验，这些经验以那些敢于直言的人经常面对的抗议为主。

合同工是这个故事的关键部分。他们是技术领域中最早组织到一起的，并开辟了道路。在许多科技公司，他们占了员工总数的一半以上，而且他们没有得到充分的就业保护，他们的收入往往只能勉强维持生计，且只能工作在行业边缘。Lilly Irani、Sarah Roberts、Jessica Bruder 和 Mary Gray 等学者的研究工作帮助人们关注这些影子劳动力。

用于工人管理的人工智能平台也是一个日益严重的问题。从优步(Uber)到亚马逊(Amazon)仓库，这些庞大的自动化平台指导着工人的行为，设定绩效目标，并决定工人的工资，而工人们自己却几乎没有控制权。

例如，今年早些时候，优步(Uber)在没有任何解释或警告的情况下大幅削减了员工的工资，并通过对其平台的更新悄悄实施了这一改变。与此同时，快递公司 Door Dash 的司机透露，该公司实际上是在——毫不夸张的说——窃取小费，而客户们还以为他们在应用程序中把小费留给了司机。

令人高兴的是，我们也看到这些工人取得了一些重大胜利。加州的拼车族在 AB-5 法案上取得了巨大的胜利，该法案要求基于 App 的公司为司机提供充分的就业保护。这是对现状的巨大改变，为了讨论这一重要时刻，今晚，来自加州大学哈斯廷斯分校的 Veena Dubal 将为我们带来分享。她是研究零工经济的顶尖学者，多年来一直与司机和活动人士合作。

在东海岸，Bhairavi Desai 是纽约出租车工人联盟（New York Taxi Workers Alliance）的负责人。她于 1998 年创立了该联盟，目前已有 2.1 万多名成员。Bhairavi 领导了第一次反对拼车公司的运动，并取得了胜利，今晚她将和我们一起讨论这项工作。

5.人工智能对气候的影响

所有这些问题的背景都是气候。

人工智能是非常耗能的，并且使用大量的自然资源。今年早些时候，阿姆赫斯特大学的研究人员 Emma Strubell 发表了一篇论文（https://arxiv.org/abs/1906.02243），揭示了训练人工智能系统的大量的碳足迹。她的团队证明，仅仅创造一个用于自然语言处理的人工智能模型就可以排放多达 60 万磅的二氧化碳。

这大约相当于 125 趟往返纽约和北京的航班产生的二氧化碳。

大规模人工智能的碳足迹往往隐藏在“云”这样的抽象概念背后。事实上，世界上的计算基础设施目前估计排放的碳与航空业一样多，占全球排放的很大比例。但在这方面，反对的声音也越来越大。就在这个月，我们看到了有史以来第一次跨技术部门的工人行动——技术工人承诺为气候而罢工。

他们要求大型科技公司在 2030 年前实现零碳排放，与化石燃料公司签订零合同，并要求企业不要利用它们的技术来伤害气候难民。在这里，我们看到了在战线上使用人工智能与气候公正运动之间的共同关切。这些都是相互关联的问题——正如我们今晚将在舞台上看到的。让我们来看看这一年的完整的视觉时间轴，它把所有这些主题联系在了一起。

日益增长的抵制活动

你可以看到一股反对 AI 的浪潮正在形成。从拒绝面部识别的想法，到在我们的家庭和城市的空间追踪的技术力量，大量重要的工作正在进行中。

很明显，人工智能带来的问题是社会、文化和政治上的，而并非主要是技术方面的。这些问题，从刑事司法到工人权利，再到种族和性别平等，有着漫长而完整的历史。这意味着，我们这些关注人工智能影响的人需要找出并扩大已经在做这项工作的人，并了解那些领航者的历史。

2019 年的这些抵制活动提醒我们，我们仍有机会决定哪些类型的人工智能是可以接受的，以及如何让它们负责任。今晚在台上的各位，都是站在创造这一真正变革的前沿阵地上——跨越多个领域进行研究、组织和抵制。

他们对正义有着共同的承诺，愿意超越炒作，探寻谁受益于人工智能，谁受到伤害，谁有权做出决定。

可视化时间轴显示了有代表性的组织、立法和学术，它们捕捉到了过去一年中在抵制有害的人工智能和不负责任的技术力量方面的一些关键事件。这并不是一个详尽的列表，但它是工人、组织者和研究人员积极抵制的一个缩影。我们使用了一个循环框架，将草根运动和由技术工人和社区成员推动的劳工组织置于可视区域中心。而外环上体现的是反映、回应或分析与这一抵制有关的核心问题的重大事件和出版物。内圈周围的条形图反映了每个事件的谷歌趋势数据点——可视化的度量了这些活动和倡议在网上获得关注的程度。

原文链接：

AI in 2019: A Year in Review