QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

MLOps 基础的主要要求

Craig Wiley

  • 2020-09-15
  • 本文字数:1956 字

    阅读完需:约 6 分钟

MLOps 基础的主要要求

AI 驱动的组织正在利用数据和机器学习来解决其最棘手的问题并且已经获得回报。


根据麦肯锡全球研究院 (McKinsey Global Institute) 的研究,“2025 年之前在其价值创造工作流中全面采用 AI 技术的企业将主导 2030 年的世界经济,现金流增长将超过 120%。”


但目前要做到这一点并非易事。如果管理不善,机器学习 (ML) 系统有创造技术负债的“特殊能力”。这包括传统代码的所有维护问题以及其他 ML 特有的问题:ML 系统具有独特的硬件和软件依赖性,需要对数据和代码进行测试和验证,随着我们周围世界的变化,所部署的 ML 模型会逐渐退化。而且,如果 ML 系统表现不佳,却没有抛出错误,会使识别和解决问题变得尤其具有挑战性。换而言之 —— 创建 ML 模型并非难事 —— 而运维和管理 ML 模型、数据和实验的生命周期才是 复杂所在。


今天,我们宣布了一组将为数据科学家和 ML 工程师简化机器学习运维 (MLOps) 的服务,从而使您的企业能够实现 AI 的价值。

统一 ML 系统的开发和运维

以 AI Platform Pipelines(AI 平台流水线)为开端:今年早些时候,我们宣布推出一款基于 AI 平台构建和管理机器学习流水线的托管服务。现在,我们提供一款机器学习流水线完全托管服务,该服务将在今年 10 月以预览版形式提供。借助新的托管服务,客户能够使用 TensorFlow Extended (TFX’s) 预制组件和模板构建 机器学习流水线,这将显著减少部署模型所需要的工作量。


我们在这个平台中提供 Continuous Evaluation(持续评估)服务,从所部署的 ML 模型进行预测输入和输出采样,然后依据真相 (ground-truth) 标注分析模型性能。如果数据需要人工标注,它还能帮助客户指派人工审查员以提供真相标注来进行模型性能评估。我们高兴地宣布,Continuous Monitoring(持续监控)服务将监控生产中的模型性能,让您知道模型是否过时,或者是否有任何异常、偏差或概念漂移 (concept drift),这样,团队就能快速介入、调试或者重新训练新的模型。这将大幅简化大规模模型的管理,并帮助数据科学家关注那些可能无法实现业务目标的模型。Continuous Monitoring 预计在 2020 年底前为客户提供。


所有这些新服务的基础是我们 AI 平台中新的 ML Metadata Management(元数据管理)服务。这项服务让 AI 团队能够跟踪所运行的所有重要工件和实验,提供一个精心策划的“行为账本”(ledger of action) 和详细的“模型沿袭”(model lineage)。这将使客户能够确定在 AI 平台中训练的任何模型的来源,以进行调试、审核或协作。AI Platform Pipelines 将自动跟踪工件和沿袭,AI 团队还可将 ML Metadata(元数据)服务直接用于定制的工作负载、工件和元数据跟踪。我们的 ML Metadata 服务预计在九月末以预览版的形式提供。


我们的可复用愿景包括针对数据科学和机器学习的协作能力。我们高兴地宣布,预计在今年年底将在 AI 平台推出 Feature Store。Feature Store 将作为一个包含历史和最新特征值、涵盖整个组织的集中存储库,从而在 ML 团队中实现特征复用。通过消除特征工程中的冗余步骤,这将提高用户的生产率。Feature Store 还将提供工具,以减少用于训练和预测的特征之间不一致的常见原因。

衔接 ML 和 IT

对于伴随软件开发行业几十年经验和学习发展起来的大型软件系统的开发和管理,DevOps 是一种流行和常用的实践。它提供的优势包括减少开发周期、提高部署速度以及确保高质量软件的可靠发布等。


与 DevOps 类似,MLOps 是一种 ML 工程文化和实践,目的在于实现 ML 系统开发 (Dev) 和 ML 系统运维 (Ops) 的统一。与 DevOps 不同的是,ML 系统对核心 DevOps 原则(例如,持续集成和持续交付 (CI/CD))提出了独特挑战。


在 ML 系统中:


● 持续集成 (CI) 不仅仅是测试和验证代码及组件,还包括测试和验证数据、数据模式以及模型。


● 持续交付 (CD) 不仅仅是单一软件包或者服务,还是一个应当自动部署另一项服务(模型预测服务)的系统(ML 训练流水线)。


● 持续训练 (CT) 是一个 ML 系统特有的新属性,涉及对候选模型进行自动重新训练以用于测试和生产服务。


● 持续监控 (CM) 不仅是为了捕获生产系统中的错误,而且是要监控与业务收益密切相关的生产推理数据和模型性能指标。



实施 MLOps 意味着您倡导在 ML 系统构建的所有步骤实现自动化和监控,包括集成、测试、发布、部署和基础架构管理。我们今天所进行的发布将有助于简化 AI 团队管理整个 ML 开发生命周期的方式。


我们的目标是让机器学习表现得更类似于计算机科学,因此,能够更加高效、快捷地部署,我们很高兴可以为您的业务带来这样的效率和速度。要了解 MLOps 以及我们的客户如何使用这一平台的更多信息,请参考在 Next OnAir 举行的“ Google Cloud 的 MLOps 简介”在线研讨,并参阅我们的相关文档:机器学习中的持续交付和自动化流水线 以及使用 TFX、Kubeflow Pipelines 和 Cloud Build 的 MLOps 架构


2020-09-15 18:481899

评论

发布
暂无评论
发现更多内容

软件测试/人工智能丨成员运算符

测试人

人工智能 软件测试

在自动化测试时,Python常用的几个加密算法,你有用到吗

华为云开发者联盟

Python 开发 自动化测试 华为云 华为云开发者联盟

软件测试/人工智能丨身份运算符

测试人

人工智能 软件测试

别划走!3分钟看懂 Git 底层工作原理

伤感汤姆布利柏

四川大学携手和鲸打造课内workshop,趣味实践教学助力数据思维培养

ModelWhale

Python 数据分析 人才培养 数据思维 四川大学

MySQL:从MySQL看主从架构高可用性实现

互联网工科生

MySQL 数据库

龙智DevSecOps研讨会年终专场来了!龙智、Jama与清晖敏捷专家邀您共探如何打好DevOps基础、赋能创新

龙智—DevSecOps解决方案

LED透明屏市场前景展望

Dylan

全球经济下行 中美贸易 LED LED显示屏 led显示屏厂家

Blackhat Europe 2023 | 百度安全揭秘多平台NPU背后的安全风险

百度安全

2023滨海湾人工智能论坛举办,范向伟代表和鲸科技共同发起成立工业智能算法联盟

ModelWhale

人工智能 算法 大模型 算料 滨海湾

GitHubMySQL升级8.0复盘【译】

FunTester

Amazon CodeWhisperer 免费的 AI 代码生成助手!最新体验反馈~

亚马逊云科技 (Amazon Web Services)

人工智能 亚马逊云科技 云上探索实验室 Amazon CodeWhisperer

INTO领航:2023社交变革峰会揭示数字社交的未来格局

极客天地

SVN优缺点详解及版本控制系统选型建议

龙智—DevSecOps解决方案

svn 版本控制

【FAQ】推送前台应用的通知处理功能没生效,如何进行排查?

HarmonyOS SDK

HMS Core

推出 Amazon EC2 C7i 实例

亚马逊云科技 (Amazon Web Services)

机器学习 分布式 ebs

GeminiDB Cassandra接口新特性PITR发布:支持任意时间点恢复

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 华为云GeminiDB

奥特曼被指爱权力胜过金钱;人类才是「幻觉问题」根本原因丨 RTE 开发者日报 Vol.103

声网

寿光教育城乡一体化的秘诀,藏在“教育一朵云”里

脑极体

云平台

CSS属性isolation,走过路过不要错过!

伤感汤姆布利柏

CSS 前端

和鲸科技荣获第三届光合组织解决方案大赛集智赛道优秀奖

ModelWhale

人工智能 信创 数据科学 海光 光合组织

和鲸科技携手深圳数据交易所,“数据+数据开发者生态”赋能人工智能产业发展

ModelWhale

人工智能 数据要素 数据科学家 工业数字化 深圳数据交易所

MLOps 基础的主要要求_大数据_InfoQ精选文章