快手、孩子王、华为等专家分享大模型在电商运营、母婴消费、翻译等行业场景的实际应用 了解详情
写点什么

Uber 开源 Manifold:机器学习可视化调试工具

  • 2020-01-11
  • 本文字数:1503 字

    阅读完需:约 5 分钟

Uber 开源 Manifold:机器学习可视化调试工具

Uber 是一家交通网络公司,总部位于美国加利福尼亚州旧金山,以开发移动应用程序连结乘客和司机,提供载客车辆租赁及实时共乘的分享型经济服务。Uber 与同是交通网络公司 Lyft 一样,在人工智能和机器学习的领域也有所建树。今天,Uber 带来了 Uber 机器学习平台软件工程师 Lezhi Li 分享的 Manifold 文章,这是 Uber 开源的机器学习可视化调试工具。



在 2019 年 1 月,Uber 推出了 Manifold,这是一种与模型无关的机器学习可视化调试工具,Uber 用来识别机器学习模型中的问题。为了让其他机器学习从业者能够享受到这个工具带来的好处,日前,Uber 宣布,他们将 Manifold 作为开源项目发布。


Manifold 帮助工程师和科学家识别机器学习数据切片和模型的性能问题,并通过显示数据子集之间的特征分布差异来诊断问题的根本原因。在 Uber,Manifold 已经成为 Uber 的机器学习平台 Michelangelo 的一部分,并帮助 Uber 的各个产品团队分析和调试机器学习模型的性能。


自从去年早些时候在 Uber Eng Blog 上重点介绍这个项目以来,Uber 已经收到了很多来自社区的反馈,这些反馈都是关于这个项目在通用机器学习模型调试场景中的潜力。在开源 Manifold 的独立版本中,Uber 认为,这个工具通过为机器学习工作流提供可解释性和可调试性,同样也会使机器学习社区受益。

版本 1 中的新特性

在 Manifold 的第一个开源版本中,Uber 添加了各种特性,使模型调试比内部迭代更容易。


版本 1 的特性包括:


  • 通用二进制分类和回归模型调试的模型无关性支持。用户将能够分析并比较各种算法类型的模型,使他们能够辨别不同数据切片的性能差异。

  • 对表格特征输入的可视化支持,包括数字、类别和地理空间特征类型。 利用每个数据切片的特征值分布信息,用户可以更好地了解某些性能问题的潜在原因,例如,模型的预测损失与其数据点的地理位置和分布之间是否存在相关性。



图 1. Manifold 新的升级包括对地理空间特征的可视化支持


  • 与 Jupyter Notebook 集成。Manifold 接受作为 Pandas DataFrame 对象的数据输入,并在 Jupyter 中呈现该数据的可视化效果。由于 Jupyter Notebook 是数据科学家和机器学习工程师使用最广泛的数据科学平台之一,因此这种集成让用户得以能够在不中断正常工作流的情况下分析他们的模型。



图 2. Manifold 的 Jupyter Notebook 集成接受作为 Pandas DataFrame 对象的数据输入,并在 Jupyter Notebook UI 中呈现可视化效果


  • 基于每个实例预测损失和其他特征值的交互式数据切片和性能比较。 用户将能够根据预测损失、基准真相(Ground Truth)或其他感兴趣的特征对数据进行切片和查询。这个特性将使用户能够通过通用的数据切片逻辑快速验证或拒绝其假设。


译注:基准真相(Ground Truth,又称:地面实况、上帝真相)是一个相对概念;它是指相对于新的测量方式得到的测量值,作为基准的,由已有的、可靠的测量方式得到的测量值(即经验证据)。人们往往会利用基准真相,对新的测量方式进行校准,以降低新测量方式的误差和提高新测量方式的准确性。机器学习领域借用了这一概念。使用训练所得模型对样本进行推理的过程,可以当做是一种广义上的测量行为。因此,在有监督学习中,Ground Truth 通常指代样本集中的标签。



图 3. 基于每个实例预测损失和特征值的交互式数据切片允许 Manifold 用户更好地理解机器学习模型的性能问题

下一步

Manifold 的开源版本提供了 npm 软件包版本,而对于 Jupyter Notebook 的绑定,则提供了一个 Python 包版本。要开始使用 Manifold,请按照 GitHub Repo 中的文档进行操作并在本地安装,或者查看 Uber 的演示网站


作者简介:


Lezhi Li,Uber 机器学习平台团队的软件工程师。


原文链接:


https://eng.uber.com/manifold-open-source/


2020-01-11 09:001942

评论

发布
暂无评论
发现更多内容

ARTS-WEEK01

子路无倦

ARTS 打卡计划

免费领课的活动你错过了么?

池建强

极客时间

绝了!Dataway让Spring Boot不再需要Controller、Service、DAO、Mapper

哈库纳

StringBoot DataQL

完美兼容老项目!Dataway 4.1.6 返回结构的全面控制

哈库纳

spring Spring Boot Dataway Hasor

从 0 到 1 搭建技术中台之技术文化篇

伴鱼技术团队

企业文化 技术管理

计算机的时间

伴鱼技术团队

分布式 服务器 技术交流

《程序员的数学》笔记

Rex

读书笔记

使用SpreadJS 开发在线问卷系统,构筑CCP(云数据采集)平台

葡萄城技术团队

数据挖掘 大数据 SpreadJS CCP

【快点查查】微信小程序使用流程

tomatocc

Dataway 整合 Swagger2,让 API 管理更顺畅

哈库纳

Spring Boot DataQL Dataway Hasor

那些会阻碍程序员成长的细节[1]

MavenTalker

程序员 职业规划

Vol.6 几个数据库相关的词

pyfn2030

数据库 大数据 新手指南

系统服务化构建-两方OAuth

图南日晟

微服务 软件工程 身份认证 架构设计

Anaconda与虚拟环境

halapano

Python virtualenv Anaconda

无需代码!通过 Dataway 配置一个带有分页查询的接口

哈库纳

spring springboot Dataway Hasor

Vol.2 谷歌不只有搜索

pyfn2030

谷歌Google

自己常用的一些快捷键 windows10

halapano

Windows技巧

Vol.5 Go初探,新手必看!

pyfn2030

编程语言 新手指南

Wi-Fi p2p & ap 共存

贾献华

wifi p2p ap

艺术生,我劝你Mac

zhoo299

Mac CG 艺术

Gartner 【RPA市场竞争格局】:中国厂商首次进入国际视野

人称T客

Vol.4 了解一下渗透测试

pyfn2030

黑客 网络安全

原创 | 使用JUnit、AssertJ和Mockito编写单元测试和实践TDD (十)在项目中准备测试环境

编程道与术

Java 编程 软件测试 TDD 单元测试

代码简洁之路 [持续更新]

hq

Java 大前端 编程习惯

说到做到

Yukun

拖延症

AB 测试平台的设计与实现

伴鱼技术团队

架构 系统设计 后端 A/B

Dataway 4.1.5 以上版本升级指南

哈库纳

string StringBoot Dataway Hasor

码农远程办公指北

大伟

Vol.3 人工智能这么热,你必须知道一点儿!

pyfn2030

人工智能

Dataway 配置数据接口时和前端进行参数对接

哈库纳

Spring Boot DataQL Dataway Hasor

如何用一台电脑制作一部动画短片?

zhoo299

动画 CG

Uber 开源 Manifold:机器学习可视化调试工具_文化 & 方法_Lezhi Li_InfoQ精选文章