近日,谷歌宣布其云 AI 平台整合What-If工具。这是一个基于代码的数据科学开发环境,允许数据科学家在他们的人工智能平台上分析模型。现在, 客户可以把 What-If 工具用于部署在 AI 平台上的 XGBoost 和 Scikit Learn 模型。
去年,谷歌的 TensorFlow 团队推出了 What-If 工具,这是一个交互式的可视化接口,旨在帮助数据科学家可视化他们的数据集,更好地理解 TensorFlow 模型的输出。现在,这个工具已不再局限于 TensorFlow,它开始支持 XGBoost 和 Scikit Learn 模型。数据科学家可以通过 AI 平台笔记本、Colab 笔记本或本地的 Jupyter 笔记本来使用这个新集成的工具。
通过这个工具,数据科学家无需编写任何代码就可以调整各种数据点,并分析模型的执行过程。同时,他们还可以在同一数据集上同时测试两个不同的人工智能模型的性能,他们也可以检查单个数据点或整个数据集切片,从而进行更深程度地对比和比较。此外,他们还可以:
使用 Facets Dive 函数来对比同一数据集上不同人工智能模型的性能表现,并创建自定义的可视化
通过将推理结果组织成混淆矩阵、散点图或柱状图来检查单个模型的性能
通过添加或删除特征来编辑数据点,以运行对 AI 模型性能的健壮测试
谷歌决策智能实验室的负责人Cassie Kozyrkov在她的博客(towardsdatascience)中写道:
尽管 What-If 工具不是为初学者设计的(你需要了解一些基本的知识,而且最好不要把它当作 Python 或笔记本的入门练习),但对于实践分析师和机器学习工程师来说,它是一个了不起的加速器。
为了使用这种新的集成,数据科学家首先需要通过 gcloud CLI 进行训练,然后将模型部署到谷歌云 AI 平台上。接下来,数据科学家可以通过设置一个 WitConfigBuilder 对象在 What-If 工具中查看它在一个数据集上的性能。
所有测试样本都是模型所期望的格式,无论是 JSON 字典列表、JSON 列表还是包括真值(ground truth)标签的 tf.Emample protos 。这些样本可以让我们探索不同特征对模型预测的影响。
数据科学家看到的第一个视图是数据点编辑器(Datapoint Editor),它显示所提供数据集的所有样本以及通过模型进行预测的结果。此外,通过主面板中的这个编辑器,数据科学家可以更改关于数据点的任何内容,并通过模型重新运行它,来查看这些更改是如何影响预测结果的。
而通过下一个选项卡 Performance + Fairness,数据科学家可以查看整个数据集的聚合模型结果。此外,谷歌云平台的开发者Sara Robinson在博客中写道:
你可以通过特征对数据集进行切片,并在这些数据切片之间进行性能比较,确定模型表现最好或最差的数据子集,这对机器学习的公平性调查非常有帮助。
最后,更多关于 What-If 工具功能的内容可参考入门指南和技术文档。
原文链接:
Google Adds New Integrations for the What-If Tool on Their Cloud AI Platform
活动推荐:
2023年9月3-5日,「QCon全球软件开发大会·北京站」 将在北京•富力万丽酒店举办。此次大会以「启航·AIGC软件工程变革」为主题,策划了大前端融合提效、大模型应用落地、面向 AI 的存储、AIGC 浪潮下的研发效能提升、LLMOps、异构算力、微服务架构治理、业务安全技术、构建未来软件的编程语言、FinOps 等近30个精彩专题。咨询购票可联系票务经理 18514549229(微信同手机号)。
评论