人工智能需要重置？看AI应用中的几大问题

我有机会采访了 ArCompany 的同事 Karen Bennet，她是一位在平台技术、开源和闭源系统以及人工智能技术方面有着丰富经验的工程主管。作为雅虎前工程主管以及带领红帽走向成功的初始团队成员之一，Karen 紧跟技术发展的步伐，在她的 IBM 职业生涯早期，她就在专家系统中使用了人工智能技术。目前，她正见证着机器学习和深度学习的快速实验过程。本文是我们关于人工智能现状的讨论。

要把所有关于人工智能的炒作都覆盖到是很难的。在很大程度上，人工智能的承诺并没有兑现。人工智能仍然是新兴技术，还未能变成起初所承诺的那种无处不在的神力。先来看一组令人叹服的数据，这些数据在人工智能炒作中已被证实：

• 从2000年至今，活跃的AI创业公司数量增长了14倍；

• 从2000年至今，风投公司对AI创业公司的投资增长了6倍；

• 从2013年至今，需要AI技能的职位占比增长了4.5倍。

截至 2017 年，Statista 公布了如下发现：

截至2017年，全球只有5%的企业在流程和产品中广泛采用人工智能，32%的企业尚未采用人工智能，22%的企业没有计划采用人工智能。

最近，Filip Pieniewski 在 Venturebeat 网站上发表了一篇文章，证实了这一观点：“人工智能的冬天即将到来”：

我们现在正处于2018年年中，情况已经发生了变化。表面上还看还出来——NIPS会议门票销售仍然火爆，企业公关在新闻发布会上仍然大谈人工智能，埃隆·马斯克仍在承诺自动驾驶汽车，谷歌一直在推行Andrew Ng的说法，即人工智能比电力更强大。但这个说法已经开始站不住脚了。

我们极力炒作自动驾驶汽车的好处。今年春天的早些时候，一名行人被一辆自动驾驶汽车撞死，这一事件引起了人们的警觉。人们不仅质疑这项技术，还质疑自动驾驶系统的决策背后是否存在道德问题。电车问题并不是一个简单地在一个人的生命还是拯救 5 个人的生命之间做出二元选择的问题，它已经演变成一场关于良知、情感和感知的争论。这让机器可以做出的合理决策的路径变得更加复杂。该文的结论是：

制造全自动驾驶汽车的梦想可能远远超乎我们的想象。人工智能专家越来越担心，自动驾驶系统要想可靠地避免事故，可能需要数年甚至数十年的时间。

纵观历史，云计算和.Net 行业在给人们带来重大影响之前都花了差不多 5 年时间，而它们给市场带来重大转变则花了近 10 年时间。根据我们的设想，人工智能会有一个类似的时间表。Karen 解释说：

为了让每个人都能使用一个产品，首先得有这个产品，它是可扩展的，可供每个人使用——而不仅仅是数据科学家。这个产品需要考虑到数据捕获、准备、训练模型和预测。随着数据被存储在云端，数据管道可以持续地提取并用它们来训练模型，然后使用这些模型进行预测。模型需要借助新的训练数据不断改进，从而保持模型的相关性和透明性。这就是 AI 的目标和承诺。

构建 AI 概念证明而没有有意义的用例

Karen 和我都来自科技和人工智能初创企业。在与 AI 社区同行讨论的过程中，我们意识到 AI 在很多商业问题上的尝试往往都还停留在实验阶段。

最近的一篇文章论证了当今普遍存在的人工智能试点：

人工智能技术供应商往往会受到激励，让自己的技术听起来比实际更强大，也在暗示它们在现实世界中的吸引力比实际更强……但企业中的大多数人工智能应用程序都只不过是“试点”。基本上，在人工智能领域销售营销解决方案、医疗保健解决方案和金融解决方案的供应商公司，只是在测试这项技术。我们发现，在任何一个特定的行业中，销售人工智能软件和技术的数百家供应商公司当中只有大约三分之一具备人工智能所需的技能。

风投公司意识到，他们在一段时间内可能看不到投资回报。人工智能还没有准备好迎接黄金时代的到来，原因之一就在于无处不在的试验中几乎没有模型能看到胜利的曙光。

算法能负起责任吗？

人们说人工智能是个“黑盒子”，目前还无法看到 AI 是如何做出决策的。由于系统是黑盒操作，只要算法经过了评审，并且满足了关键利益相关者的一些标准，就会获得一些固有的信任。大量证据表明，生产环境中的算法存在缺陷，并产生了意想不到的有害结果，因此上述的观点很快就出现了争议。很多简单的系统都是黑盒操作，越过了任何有意义的评审，因为公司会有意识地进行保密、缺乏足够的培训、不知道如何批判性地检查输入和输出，最致命的是不知道为什么会出现这些结果。Karen 表示：

人工智能行业目前正处于企业就绪的早期阶段。人工智能非常有用，可用于发现和辅助解析大量数据，但它仍然需要人类的干预，将其作为评估及处理数据及其结果的指南。

Karen 指出，机器学习技术能够标记数据，以便获得见解。然而，作为这个过程的一部分，如果一些数据标记错误，或者没有足够的数据表示，或者有问题的数据造成了偏见，就很可能会出现糟糕的决策结果。她还证实，目前的流程仍在不断完善中：

目前，人工智能都是关于决策支持，它提供见解，让企业可以从中得出结论。人工智能的下一个阶段将基于据数据自动采取行动，但还有一些额外的问题需要解决，比如偏见、可解释性、隐私性、多样性、伦理和持续模型学习。

Karen 举了一个 AI 模型出错的例子，图像的文字描述暴露了基于图像（使用图像中包含的物体来标注图像）训练得到的知识。这表明，要建立真正的人工智能产品，首先要有一个物体和人的常识世界模型。基于有限数量的标记对象和种类训练出来的模型会限制这个常识世界模型的有效性。亚马逊发布的面部识别技术 Rekognition 目前可以在生产环境中使用，但其效果存在明显的差距。根据美国公民自由联盟发布的一项研究：

这项技术将28名国会议员的照片与公共的脸部照片混淆了。虽然亚马逊积极向美国各地的执法机构推销Rekognition，但它还不够好。

Joy Buolamwini 是麻省理工学院毕业生，算法正义联盟的创始人。他在最近的一次采访中呼吁暂停这项技术，声称它是无效的，需要更多的监督，并呼吁政府在这些系统被公开发布之前对其制定更多的标准。

AI 的主要障碍：心态、文化和遗留问题

目前，在很多组织中，AI 实现面临的最大障碍是转化遗留系统。心态和文化是这些遗留系统的要素，它们为已建立的流程、价值和业务规则提供了系统性视图，这些规则不仅决定了组织的运作方式，也解释了为什么这些根深蒂固的要素会成为企业的重大障碍，尤其是在当前运转良好的情况下。因此，他们目前没有真正需要解散遗留基础设施的动机。

人工智能是业务转型的一个组成部分，虽然这个话题已经获得了与人工智能炒作一样多的关注，但对于做出重大改变所需的投资和承诺，企业却表现得犹豫不觉。据我们所知，有些公司愿意在特定的应用场景上进行试验，但并没有准备好进行培训、重新设计流程以及改进治理和公司政策。对于被迫进行这些重大投资的大型组织来说，问题不应该是投资回报，而是可持续的竞争优势。

数据完整性问题

如今的人工智能需要大量的数据才能产生有意义的结果，但却无法利用从其他应用程序获得的经验。Karen 认为，现在已经有一些工作在克服这些限制，但在可以大规模应用这些模型之前，需要进行知识转移。不过，在某些场景中，人工智能已经可以得到有效的应用，比如挖掘图像、声音、视频中的洞见以及进行语言翻译。

公司正在意识到应该关注如下问题：

1. 数据多样性，包括适当的跨种族表示；

2. 确保在创建算法时加入不同的经验、观点和思维；

3. 数据质量优先于数据数量。

这些都很重要，特别是当引入偏见，对数据的信任和信心就会下降。例如，土耳其语是一种不分性别语言，但是，谷歌翻译中的 AI 模型在将其翻译成英语时错误地预测了性别。此外，癌症识别 AI 中的图像识别只使用白种人样本进行训练。从上面的计算机视觉例子中，Joy Buolamwini 测试了这些人工智能技术，并认识到，它们对男性比对女性更有效，对浅色皮肤比对深色皮肤更有效。“针对男性的错误率低至 1%，而针对深肤色女性的错误率则高达 35%”。之所以发生这些问题，是因为没有使用多样化的训练数据。Karen 承认：

人工智能的概念很简单，但通过摄取越来越多的真实世界数据，算法变得越来越聪明，然而，要解释AI做出的决策却变得极其困难。数据可能会不断变化，人工智能模型需要进行过滤，以防止错误的标签，比如一个黑人被打上大猩猩的标签，或者一只熊猫被打上长臂猿的标签。企业依靠错误的数据来做出决策将导致错误的结果。

幸运的是，由于人工智能尚处于初级阶段，很少有组织会根据数据做出重大的商业决策。据我们了解，大多数解决方案主要是进行产品推荐和个性化营销传播。由此得出的任何错误结论都不会造成太大的社会影响，至少目前是这样的。

使用数据来进行业务决策并不新鲜，不一样的地方在于大量使用了结构化和非结构化数据，且数据量呈指数增长。人工智能让我们能够持续地使用其源数据，并更快地获得洞见。对于有能力处理来自不同数据源的数据的企业来说，这是一个机会。然而，对于其他组织来说，大量的数据可能代表着一种风险，因为不同的来源和格式使得信息转换变得更加困难：电子邮件、系统日志、Web 页面、客户记录、文档、幻灯片、非正式聊天、社交网络以及图像和视频等丰富的媒体。数据转换仍然是获得干净数据集和开发有效模型的绊脚石。

偏见比我们想象的更为普遍

很多用于最小化风险、优化目标机会的业务模型都存在偏见，虽然它们可能会产生有利可图的商业结果，但众所周知，它们也会导致意想不到的后果，从而伤害个体并进一步加剧经济差距。保险公司可能会利用位置信息或信用评分数据向较贫穷的客户提供更高保额的保险。银行可能会批准信用评分较低的贷款，这些人已经负债累累，可能无法承担更高的贷款利率。

由于人工智能的引入不仅会使现有的偏见永久存在，而且，这些学习模型可能使其发展到加深经济和社会分化的程度，因此，人们对于偏见越来越谨慎。当前的算法中存在偏见，比如像 COMPAS（纠正性罪犯管理档案替代制裁）这样的再犯可能性（再次犯罪的可能性）算法。一家叫作 Northpointe 的公司创建了这个模型。COMPAS 的目标是在预审时对被告的犯罪行为进行风险评估和预测。COMPAS 最初的研究所使用的问题类型就包含了足够多的人类偏见，系统延续了这些偏见，无意中对待黑人比对待白人更严厉，虽然前者不会再犯，而后者可能再犯，但后者依然可以在量刑时获得宽大处理。在没有公共标准可以遵循的情况下，Northpointe 对公平给出了自己的定义，并在没有第三方评估的情况下开发了一种算法……直到最近，这篇文章证实“一个流行的算法在预测犯罪方面并不比任何一个人类做得更好”：

我认为，如果这个软件和未受过训练的人对在线调查的反应一样准确，那么法院在决策时应该考虑一下可以在多大程度上依赖它们。

Karen 指出：

当我们试图修复现有系统以最小化这种偏见时，关键是要在不同的数据集上进行模型训练，以防止将来可能会出现危害。

由于错误模型的潜在风险遍布企业和社会，企业没有治理机制来监督不公平或不道德的决策，而这些决策将无意中影响最终的消费者。这是伦理学的讨论范畴了。

日益增长的隐私需求

Karen 和我都来自雅虎。我们与强大的研究和数据团队合作，在平台上将用户行为置于上下文中进行研究。我们不断研究用户行为，了解他们在音乐、网站首页、生活方式、新闻等众多属性上的倾向。当时，对数据的使用没有严格的标准或规定。和今天类似，隐私已经降级到用户被动接受平台的条款和条件。

最近 Cambridge Analytica 和 Facebook 的丑闻把个人数据隐私问题推到了风口浪尖。信贷机构 Equifax 以及 Facebook 和 Google+最近发生的数据泄露进一步加剧了这一问题的严重程度。随着 AI 继续修复自身的缺陷，所有权、许可和错误语境化等都让它成为一个成熟的话题。2018 年 5 月 25 日生效的欧洲通用数据保护条例（GDPR）将改变组织的游戏规则，特别是那些收集、存储和分析个人用户信息的组织。它将改变经营多年的商业规则。毫无节制地使用个人信息已经走到尽头，因为企业现在意识到，数据的使用和所有权将受到重大限制。

我们在基于位置信息的广告中看到了这个问题的早期效果。这个价值 750 亿美元的行业，预计在 2021 年之前将以 21%的年复合增长率增长，但仍将被 Facebook 和谷歌垄断，他们将获得大部分收入。现在，GDPR 提升了他们的风险，让这些公司承担起更多的责任：

这种风险非常高，以至于广告商必须非常确信他们提供的内容是合规的。人们对于什么会构成违规似乎存在着普遍的困惑，人们正在采取广泛的措施，直到能够准确地了解什么才是合规为止。

尽管监管最终会影响到营收，但就目前而言，移动和广告平台行业也正面临越来越多的审查，这些行业多年来一直在从消费者身上赚钱。这一点加上围绕既定做法所进行的审查将迫使这个行业在收集、聚合、分析和共享用户信息方面做出改变。

完善隐私制度需要时间、重大的投资（这是一个需要给予更多关注的话题）以及心态的改变，这将影响组织的政策、流程和文化。

人工智能与伦理的必然耦合

人工智能的主要动因是确保社会效益，包括简化流程、增加便利性、改进产品和服务，以及自动化检测潜在危害。向后者妥协意味着已经准备好用制造工艺、服务、评估解决方案、生产和产品质量的更新结果来衡量投入和产出。

有关人工智能的讨论和报道还在继续，“人工智能”和“伦理”这两个词语的结合揭示了这个日益严重的问题，即人工智能技术所带来的社会危害将考验着人类的良知和价值观。

除了个人隐私问题，如今，我们也看到了一些近乎不合情理的创新示例。如前所述，Rekognition 和 Face++被用在执法和公民监控中，但这项技术被认为是有问题的。谷歌决定向国防部提供人工智能技术，用于分析无人机镜头，目标是创建一个复杂的系统来监控整个城市，并创建了一个名为 Project Maven 的项目，谷歌员工对此进行了抗议游行。这家科技巨头还在为中国打造“蜻蜓计划（Project Dragonfly）”，这是一个受审查的搜索引擎，能将个人搜索与身份联系起来。

决策者和监管机构需要引入新的流程和政策，以恰当地评估人工智能技术的使用方式、用途以及在这个过程中是否会出现意外的后果。Karen 指出，决定在人工智能算法中使用数据时需要考虑这些问题：

如何检测敏感数据字段并把它们匿名化，同时保留数据集的重要特征？我们在短期内能以合成数据作为真实数据进行训练吗？在创建算法时，我们需要问自己一个问题：我们需要哪些字段来交付我们想要的结果？此外，我们应该创建哪些参数来定义模型的“公平性”，这是否意味着会区别对待两个个体？如果是这样，为什么呢？我们如何在系统中持续监控这一点？

寒冬是 AI 的最佳蛰伏期

人工智能已经走过了很长的路，但还需要更多的时间才能成熟。在一个自动化程度不断提高、认知计算能力不断提高的世界里，即将到来的人工智能寒冬将为企业提供必要的时间来决定人工智能该如何融入企业组织以及它们想要解决的问题。人工智能即将遭受的损失需要在政策、治理以及对个人和社会的影响方面加以解决。

在下一次工业革命中，人工智能的影响会更大，因为无处不在的人工智能将在我们的生活中变得更加微妙。Geoff Hinton、李飞飞和吴恩达等人工智能领域的领军人物呼吁人工智能重置，因为深度学习尚未被证明具有可扩展性。人工智能的前景并没有变得暗淡，只不过人们期望它到来的时间往后推迟一些——也许是 5 到 10 年。我们有时间在深度学习、其他人工智能方法和从数据中有效提取价值的过程中研究这些问题。企业就绪、监管、教育和研究的井喷是实现企业和消费者快速发展以及确保监管系统能够适当限制技术并让人类可以更长时间处于可控地位的必要条件。

查看英文原文：

https://www.forbes.com/sites/cognitiveworld/2018/10/12/artificial-intelligence-needs-to-reset/#67ebbfd2386e

会议推荐：12 月 20-21，AICon 将于北京开幕，在这里可以学习来自 Google、微软、BAT、360、京东、美团等 40+AI 落地案例，与国内外一线技术大咖面对面交流。