写点什么

纽约成立专门工作组来检查自动决策系统

  • 2018-08-03
  • 本文字数:1835 字

    阅读完需:约 6 分钟

纽约市成立了一个自动决策系统任务组,要求政府在使用算法时提供问责和透明度。该工作组将于2019 年12 月完成报告。该工作组是美国第一个研究该问题的工作组。

背景

2017 年 12 月,纽约市议会通过了美国的第一项法案,要求政府在使用算法时提供问责制。该法案要求专责小组研究城市机构如何使用算法。该工作组将得出如何为公众提供算法透明度的报告。

理事会成员James Vacca 在原始提案中要求公开算法的源代码。一些政策专家警告说,公开源代码可能会带来安全风险,或让心怀不轨的人对公共福利系统有了可趁之机。技术公司对被要求公开私有信息提出异议,后来工作组取消了这一要求

法律是怎么说的

自动决策系统被定义为“算法的计算化实现,包括从机器学习或其他数据处理或人工智能技术中获得的算法,用于制定或协助制定决策”。

法律要求工作组在最终报告中至少完成6 个目标。他们需要确定哪些城市机构应该接受审查。他们需要提出流程,让受算法决策影响的人可以请求解释决策的依据,以及如何解决不利影响。他们还要解释程序是如何制定和实施的,城市在这一程序中可以确定城市机构使用的自动决策系统是否“因年龄、种族、信仰、肤色、宗教、国籍、性别、残疾、婚姻状况、合伙人身份、监护人身份、性取向、异化或公民身份产生重大偏见“。为自动决策系统提供信息流程的建议将使公众能够有意义地评估它们的工作方式和城市是如何使用它们的,以及归档自动决策和所用数据的可行性。

该工作组的成员除了算法设计和实现方面的专家,还可以包含了解算法将会对社会产生哪些影响的人。如果会议参与者“违反当地、州或联邦法律,干扰执法调查或操作,损害公共健康或安全,或导致专有信息泄露”,则会受到限制。

虽然最终报告应公开,但如果“违反当地、州或联邦法律,干扰执法调查或操作,损害公共健康或安全,或导致专有信息泄露,则不需要任何建议“。

该工作组没有法律权力强制或惩罚不遵守其建议的城市机构。

争议的背景

对算法决策的偏见和侵权的调查才刚刚开始。

芝加哥和新奥尔良的预测性警务计划正因违反正当程序和隐私而受到严格审查。公众通常不知道他们在使用这些工具。

即使是算法的创建者也常常无法完全解释软件是如何得出结论的。

一些城市机构开始使用决策系统。消防部门使用基于风险的检查系统(RBIS)来预测可能发生火灾的地方。RBIS 的一部分是Fire Cast 工具,它使用来自五个城市机构的数据来分析60 个风险因素,以预测哪些建筑最容易受到火灾的影响。然后,优先对这些建筑物进行检查,这些数据可供全市所有49 家消防公司使用。

警察局基于从人体摄像头和面部识别获得的数据使用算法。

运输部、市长刑事司法办公室、教育部和社会服务部也使用算法。学校用算法来招生和评估教师的表现。保险公司使用算法来调查医疗保险欺诈。

现行立法存在的问题

纽约大学信息法研究所和康奈尔大学的研究员Julia Powels 描述了任务小组的两个问题,它们是由原始立法与已经通过的法律之间的妥协而产生的。

首先,如果城市机构和承包商不合作,将不会提出好的建议。关于纽约市在算法服务上花费多少,或者与外部承包商共享多少数据,没有定论。市长办公室拒绝任何强制报告的要求,理由是这样会泄露专有信息。如果强调企业隐私的呼声很高,就不会有算法透明度。

现行法律的另一个问题是,目前还不清楚城市如何改变创建自动决策系统的公司的行为。马里兰大学法学教授Frank Pasquale 认为,这个城市的杠杆比供应商更多。

任务小组成员

该工作组的成员除了算法设计和实现方面的专家,还可以包含了解算法将会对社会产生哪些影响的人。它将由来自城市机构、学术界、法律、行业专家、非营利组织和智囊团的个人组成。预计代表将从社会服务部、警察局、交通部、市长刑事司法办公室、儿童服务管理局和教育部选出。

该工作组由市长办公室代理主任Emily W.Newman 和人权委员会战略倡议副专员Brittny Saunders 共同主持。

影响

算法对纽约市的影响可能类似于汽车排放标准对加利福尼亚的影响。作为世界上最大的城市之一,它可以充分利用算法,以便更容易满足它在所有管辖区创建的任何标准。但是,使用软件比使用机械设备更改不同地区的算法可能更容易。这可以通过软件计算不同州、市、镇、县的销售税法规来说明,即使是在美国境外。另一方面,纽约是世界上最有价值的人口数据来源之一。在纽约这样做,可能会鼓励其他地方也这样做。

无论如何,关于算法决策公平性的论证以及使用它们的必要性都不会消失。

查看英文原文: New York Creates Task Force to Examine Automated Decision Making

2018-08-03 08:491484
用户头像

发布了 731 篇内容, 共 462.4 次阅读, 收获喜欢 2005 次。

关注

评论

发布
暂无评论
发现更多内容

Python 有哪些黑魔法?

极客时间

Python 编程语言

一次漫长的dubbo网关内存泄露排查经历

捉虫大师

dubbo 内存泄露

如何在非 sudo 用户下运行 docker 命令?

愚一

Docker DevOps

在Kubernetes上运行SpringBoot应用

铁花盆

Docker Kubernetes Spring Boot

XOR异或运算在计算机中的应用

wangkx

XOR 异或运算 对称加密

一个工程师向电信公司的维权

D

nacos的一致性协议distro介绍

捉虫大师

nacos

Linux系统优化

桥哥技术之路

Linux

项目实施要避免哪些坑?

顾强

项目管理

Docker运行常用软件:MySQL,Redis,Nginx,RabbitMQ,Neuxs,Gitlab

读钓

MySQL nginx Docker gitlab

零基础应该如何学习爬虫技术?

极客时间

Python 编程 爬虫

Sentinel在docker中获取CPU利用率的一个BUG

捉虫大师

Java sentinel cpu

当dubbo多注册中心碰上标签路由

捉虫大师

dubbo

Apache Beam 大数据处理一站式分析

李孟聊AI

Java 大数据 数据中台 数据交换 Beam

一行代码实现网站可编辑,并解决网站禁止复制的限制

wangkx

复制 破解 DOM

LeetCode 前1000题二叉树题目系统总结

Yano

面试 算法 LeetCode 二叉树 刷题

18个PPT,29个提问解答,都在这儿啦!

Apache Flink

大数据 flink 流计算 实时计算

读书·行路·问心·求道

黄崇远@数据虫巢

读书笔记 个人成长 读书

身为程序员,怎么接私活赚外快?

爱看书的小代码

都在说实时数据架构,你了解多少?

Apache Flink

大数据 flink 流计算 实时计算

centos7.6操作系统安装

桥哥技术之路

Linux

记一次spring注解@Value不生效的深度排查

捉虫大师

spring Spring Boot dubbo

MacOS配置网络命令

编程随想曲

macos network

IPFS 星际传输协议的入门(二)

AIbot

区块链 分布式数据库

什么是物联网中台

老任物联网杂谈

物联网中台 IOT Platform 物联网平台

skywalking内存泄露排查

捉虫大师

dubbo 内存泄露

Ledge:这可能是距今最好的『DevOps + 研发效能』知识平台

Phodal

DevOps 敏捷开发 软件开发 研发效能

SpringBoot中如何优雅的使用多线程

读钓

Java spring Spring Boot

以为是青铜,没想到是王者的dubbo标签路由

捉虫大师

dubbo

用jdk8的stream实现斐波那契数列

编号94530

jdk stream 斐波那契 fibonacci

思维导图学《Linux性能优化实战》

Yano

Linux 后端

纽约成立专门工作组来检查自动决策系统_大数据_Michael Stiefel_InfoQ精选文章