InfoQ播客：Cathy O'Neil谈论有害的机器学习算法及审计方法-InfoQ

本周的 InfoQ 播客内容是 InfoQ 总编 Charles Humble 与数据科学家 Cathy O’Neil 之间的谈话。O’Neil 是博客 mathbabe.org 的作者，曾担任哥伦比亚大学新闻学院 Tow 数字新闻中心（Tow Center）的莱德数据实践项目 (Lede Program in Data Practices) 主管，并曾作为数据科学家受聘于约翰逊实验室（Johnson Research Labs）。O’Neil 在哈佛大学获得数学博士。谈话中涉及的话题包括：她所著的《 Weapons of Math Destruction 》一书、预测警务模型、教师附加值模型、对算法进行审计的方法、该领域的政府监管是否有必要等。

关键要点

一类有害的大数据算法正在日益控制我们的社会，但是这类算法并未公开地审查；
有缺陷的数据可以导致算法成为种族主义者和性别歧视者。例如预测警务模型所使用的数据就是种族主义的。但是仅因为算法是数学上的东西，人们就易于对算法过分信任；
即时数据科学家不承认，但是他们必须做出伦理决策。对责任的放弃常常是问题之源。
算法审计仍是一个非常新兴领域，需继续进行学术研究以寻求实现方法；
可能确需对工业界进行政府监管。

点击播客链接收听

关于《 Weapons of Math Destruction》一书

0 分 44 秒：该书的中心论点是，虽然并非所有的算法都是有害的，但是确实存在着一类有害的大数据算法，这类算法正在日益控制我们的社会。
1 分 22 秒：得到 O’Neil 关注的该类算法，也就是“数学杀伤型武器”，具有如下三个特征：第一，这类算法的应用广泛，并影响了一些重要的决策问题，例如是否可被大学所录取，或者是否可以得到工作职位；第二，在某种程度上这类算法是隐秘的，因为目标人群并不知道他们正被这类算法评分，更不知道评分的具体标准是什么；第三，这类算法具有杀伤性，它们可以毁掉一个人的生活。
2 分 45 秒：算法的本意是试图使用数据去解决大型社区的问题，但是被上述的特征败坏了。

大数据与法治间的关联

4 分 04 秒：参与到警务、审判和假释等刑事司法体系中的算法，也在法律体系中发挥着作用。但是这些算法是专属的，并不对审查开放。
5 分 00 秒：这些算法实际上成为了数字化的法律，所以应该与法律一样得到宪法保障。

预测警务模型

5 分 21 秒：预测警务模型被芝加哥等一些城市的警方所使用，事实上该模型的工作方式与警方所期望的之间存在失调。
6 分 35 秒：所有的预测警务算法都是去寻找模式，这会导致在其它近邻黑人治安辖区中的反馈循环。
7 分 24 秒：供给算法的数据是带有种族主义的、有偏差的数据。但是由于某种原因人们会臆断算法属于数学范畴所以肯定是客观的。
8 分 01 秒：有缺陷的数据可导致算法变成种族主义者和性别主义者。为解决该问题，需禁止将令人讨厌的犯罪数据包含其中。
8 分 42 秒：如果警察已在 2008 年去过了华尔街，同一预测警务算法将会告知警察重返华尔街去。

处理此类问题的方法

9 分 39 秒：对模型输入变量进行解相关，这样输入变量将不会关联到特定因素上。但是仅这样做还不足以处理此类问题。
11 分 39 秒：用于白领工作招聘的算法通过查看历史模式对简历进行排序。假定这样的算法被 Fox 新闻所使用，可能会将女性的工作申请者筛选掉，因为在 Fox 新闻的历史上女性雇员并非很成功。
13 分 19 秒：如果将有缺陷的系统自动化，这样只会报告过往的错误。

对算法的信任

13 分 46 秒：在 Slate 的一篇文章中 O’Neil 曾说过：“人们过于相信数字在本质上是客观的。”
14 分 23 秒：如果对你的评价不高，我会自动假定那是你自身的问题，因为人们总是不会去考虑因果关系。
14 分 40 秒：人们也总是对数学存有敬畏之心，因此只会假定数学是客观的。

数据科学与计算机科学之比较

15 分 27 秒：数据科学家并不会因为对这类问题的思考而得到报酬。
15 分 57 秒：对这两类问题做一个比较：一方是计算机科学，另一方是数据科学。
16 分 22 秒：计算机科学方法知道将取得怎样的结果。
16 分 43 秒：数据科学家可能会被要求去找出将会预定酒店房间三天的顾客。这些问题并非是定义良好的。
18 分 47 秒：即使数据科学家不承认，他们必须去做出伦理决策。
19 分 03 秒：举个例子，我曾与为州监狱审判构建犯罪风险模型的一位人士交谈过。他并未使用到种族数据，而是使用了邮政编码数据。但由于种族人群的群居特点，邮政编码起到了与种族数据相似的作用。
19 分 47 秒：没有州政府工作人员会告诉你规则到底是什么。因为工作人员仅是承担技术方面的责任，他们并不会把如何使用规则作为自己的职责。
20 分 48 秒：对责任的放弃是导致“数学杀伤性武器”建立的一个条件。

教师附加值模型

21 分 22 秒：该模型的目的在于找出并解雇不称职的教师，但是查找目标人群的方法存在统计学上的薄弱。
21 分 56 秒：该模型几乎完全是一个随机数生成器。我曾与一位教师讨论过，此人在第一年的评分仅给了 100 分中的 6 分，第二年他的评分给出为 96 分。然而在他 26 年的教学生涯中，每年的教学方法并没有多少改变。
22 分 40 秒：另有一位教师因为评分不达标而被解雇，尽管她很热爱教师工作。
23 分 00 秒：该模型所产生的破坏性反馈回路正在导致全国范围内的教师短缺。

算法审计的方法

24 分 22 秒：这是一个非常新的领域，我们也无法给出所有问题的答案。
24 分 40 秒：你必须能用一些真实数据做为参考。真正地区分优劣教师的方法是否代价高昂？假定我们直到取得与代价高昂的方法一致的真实数据后才开始使用廉价数据驱动的方法？
25 分 32 秒：在代价高昂的定性方法与附加值算法方式两者之间，一些同样去做教师评估的方法已经完成，这些方法取得了完全不一致的结果，相关中仅约 24% 的一致。
25 分 52 秒： Google 搜索这样的应用是如此庞大，不可能对其中所有的算法进行审计。
26 分 24 秒： Latanya Sweeney 完成对其中部分算法的审计。她用 Google 搜索了自己的非裔美国名字，就被提供了一条广告，询问她是否愿意查看名为 Latanya Sweeney 的警方记录。她发现看上去像是非裔的名字就会被 Google 搜索提供被逮捕记录的广告，而看上去像是白人的名字则不会。
27 分 09 秒：申请工作时就会被 Google 搜索到，这事值得被审计。
27 分 34 秒：对 Google 搜索的审计将会成为案例研究系列。
27 分 56 秒： Google 搜索作为我们当前社会中的一个产品，成为种族主义者并非是有意而为之。但是对此产品所造成的影响，Google 必须要承担责任。