QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

纽约成立专门工作组来检查自动决策系统

  • 2018-08-03
  • 本文字数:1835 字

    阅读完需:约 6 分钟

纽约市成立了一个自动决策系统任务组,要求政府在使用算法时提供问责和透明度。该工作组将于2019 年12 月完成报告。该工作组是美国第一个研究该问题的工作组。

背景

2017 年 12 月,纽约市议会通过了美国的第一项法案,要求政府在使用算法时提供问责制。该法案要求专责小组研究城市机构如何使用算法。该工作组将得出如何为公众提供算法透明度的报告。

理事会成员James Vacca 在原始提案中要求公开算法的源代码。一些政策专家警告说,公开源代码可能会带来安全风险,或让心怀不轨的人对公共福利系统有了可趁之机。技术公司对被要求公开私有信息提出异议,后来工作组取消了这一要求

法律是怎么说的

自动决策系统被定义为“算法的计算化实现,包括从机器学习或其他数据处理或人工智能技术中获得的算法,用于制定或协助制定决策”。

法律要求工作组在最终报告中至少完成6 个目标。他们需要确定哪些城市机构应该接受审查。他们需要提出流程,让受算法决策影响的人可以请求解释决策的依据,以及如何解决不利影响。他们还要解释程序是如何制定和实施的,城市在这一程序中可以确定城市机构使用的自动决策系统是否“因年龄、种族、信仰、肤色、宗教、国籍、性别、残疾、婚姻状况、合伙人身份、监护人身份、性取向、异化或公民身份产生重大偏见“。为自动决策系统提供信息流程的建议将使公众能够有意义地评估它们的工作方式和城市是如何使用它们的,以及归档自动决策和所用数据的可行性。

该工作组的成员除了算法设计和实现方面的专家,还可以包含了解算法将会对社会产生哪些影响的人。如果会议参与者“违反当地、州或联邦法律,干扰执法调查或操作,损害公共健康或安全,或导致专有信息泄露”,则会受到限制。

虽然最终报告应公开,但如果“违反当地、州或联邦法律,干扰执法调查或操作,损害公共健康或安全,或导致专有信息泄露,则不需要任何建议“。

该工作组没有法律权力强制或惩罚不遵守其建议的城市机构。

争议的背景

对算法决策的偏见和侵权的调查才刚刚开始。

芝加哥和新奥尔良的预测性警务计划正因违反正当程序和隐私而受到严格审查。公众通常不知道他们在使用这些工具。

即使是算法的创建者也常常无法完全解释软件是如何得出结论的。

一些城市机构开始使用决策系统。消防部门使用基于风险的检查系统(RBIS)来预测可能发生火灾的地方。RBIS 的一部分是Fire Cast 工具,它使用来自五个城市机构的数据来分析60 个风险因素,以预测哪些建筑最容易受到火灾的影响。然后,优先对这些建筑物进行检查,这些数据可供全市所有49 家消防公司使用。

警察局基于从人体摄像头和面部识别获得的数据使用算法。

运输部、市长刑事司法办公室、教育部和社会服务部也使用算法。学校用算法来招生和评估教师的表现。保险公司使用算法来调查医疗保险欺诈。

现行立法存在的问题

纽约大学信息法研究所和康奈尔大学的研究员Julia Powels 描述了任务小组的两个问题,它们是由原始立法与已经通过的法律之间的妥协而产生的。

首先,如果城市机构和承包商不合作,将不会提出好的建议。关于纽约市在算法服务上花费多少,或者与外部承包商共享多少数据,没有定论。市长办公室拒绝任何强制报告的要求,理由是这样会泄露专有信息。如果强调企业隐私的呼声很高,就不会有算法透明度。

现行法律的另一个问题是,目前还不清楚城市如何改变创建自动决策系统的公司的行为。马里兰大学法学教授Frank Pasquale 认为,这个城市的杠杆比供应商更多。

任务小组成员

该工作组的成员除了算法设计和实现方面的专家,还可以包含了解算法将会对社会产生哪些影响的人。它将由来自城市机构、学术界、法律、行业专家、非营利组织和智囊团的个人组成。预计代表将从社会服务部、警察局、交通部、市长刑事司法办公室、儿童服务管理局和教育部选出。

该工作组由市长办公室代理主任Emily W.Newman 和人权委员会战略倡议副专员Brittny Saunders 共同主持。

影响

算法对纽约市的影响可能类似于汽车排放标准对加利福尼亚的影响。作为世界上最大的城市之一,它可以充分利用算法,以便更容易满足它在所有管辖区创建的任何标准。但是,使用软件比使用机械设备更改不同地区的算法可能更容易。这可以通过软件计算不同州、市、镇、县的销售税法规来说明,即使是在美国境外。另一方面,纽约是世界上最有价值的人口数据来源之一。在纽约这样做,可能会鼓励其他地方也这样做。

无论如何,关于算法决策公平性的论证以及使用它们的必要性都不会消失。

查看英文原文: New York Creates Task Force to Examine Automated Decision Making

2018-08-03 08:491444
用户头像

发布了 731 篇内容, 共 460.1 次阅读, 收获喜欢 2004 次。

关注

评论

发布
暂无评论
发现更多内容

iOS 编译器__Attribute__的入门指南

37手游iOS技术运营团队

xcode LLVM Clang编译 Clang Attribute

云堡垒机和普通堡垒机的三大区别分析-行云管家

行云管家

云计算 网络安全 数据安全 堡垒机 云堡垒机

回顾2021,展望2022 | TDengine一年“成绩”汇总

TDengine

数据库 tdengine 2021年终总结

重塑企业创新方式 Serverless让云“开箱即用”

BeeWorks

“千言”开源数据集项目全面升级:数据驱动AI技术进步

百度开发者中心

千言

大型购物平台的系统设计与架构

恒生LIGHT云社区

平台搭建 构架 平台架构

性能提升40%!阿里云神龙大数据加速引擎获TPCx-BB世界排名第一

阿里云弹性计算

阿里云 神龙

皮皮APP x 武汉市社会心理服务指导中心 联合开展社交讲座

联营汇聚

全国首个!OceanBase 助力江西省养老保险全国统筹信息系统上线

OceanBase 数据库

OceanBase 开源 OceanBase 社区版 核心系统

CRM系统为什么被认为是企业的重要资产?

低代码小观

企业管理 资产管理 CRM 企业管理系统 CRM系统

2021MongoDB技术实践与应用案例征集活动获奖通知

MongoDB中文社区

你设备中的木马藏在哪里?为什么查杀困难?

喀拉峻

黑客 网络安全 安全 信息安全 木马病毒

2021年末总结

编号94530

工作 架构设计 心得 2021 项目经验

OceanBase 通过工信部电子标准院首批开源项目成熟度评估

OceanBase 数据库

数据库 工信部 OceanBase 开源

2022年购买服务器运维管理软件选择哪家好?

行云管家

IT运维 服务器运维

OpenMLDB 12月会议纪要

第四范式开发者社区

人工智能 机器学习 第四范式 OpenMLDB

当MySQL执行XA事务时遭遇崩溃,且看华为云如何保障数据一致性

华为云开发者联盟

MySQL 华为云

CentOS 停服,龙蜥社区已上线解决方案专区

OpenAnolis小助手

centos 国产操作系统 龙蜥社区

SpringMVC框架基础知识(01)

海拥(haiyong.site)

28天写作 12月日更

探索SaaS产业发展新机遇|鲁班会贵安首秀圆满收官

华为云开发者联盟

SaaS 华为云 应用构建

HTTPDNS 快速入门

37手游iOS技术运营团队

DNS httpdns

盘点 2021|一个新的开始

IT蜗壳-Tango

28天写作 12月日更 盘点2021 盘点 2021

硬核化解ISV四大痛点,华为云智联生活行业加速器助力伙伴实现商业成功

华为云开发者联盟

华为云 HarmonyOS 智联生活 华为云IoTDA 云云协同

腾讯云数据库2021年成绩单,请检阅!

腾讯云数据库

tdsql 国产数据库

五天玩转EMAS Serverless训练营

移动研发平台EMAS

阿里云 #Serverless #EMAS

《国产分布式数据库选型及满意度调查报告》出炉,OceanBase获得双料第一

OceanBase 数据库

分布式数据库 OceanBase 开源 OceanBase 社区版

Xcode 配置多套 App 图标的方法 --- AppStore 图标 A/B Test 实践

37手游iOS技术运营团队

ios xcode appstore 产品页优化 自定产品页

COSCL开源评选名单公布!OceanBase 社区版荣获2021优秀开源项目奖

OceanBase 数据库

OceanBase 开源 OceanBase 社区版

Veritas:2022年数据安全及合规领域行业预测

BeeWorks

数字化转型失败,有哪些原因?

禅道项目管理

数字化转型

seata分布式事务TCC模式介绍及推荐实践

恒生LIGHT云社区

分布式 分布式事务 seata TCC

纽约成立专门工作组来检查自动决策系统_大数据_Michael Stiefel_InfoQ精选文章