写点什么

AI Platform Prediction(平台预测服务)全面开通,具备更出色的可靠性和 ML 工作流集成

Robbie Haertel & Bhupesh Chandra

  • 2020-12-10
  • 本文字数:1343 字

    阅读完需:约 4 分钟

AI Platform Prediction(平台预测服务)全面开通,具备更出色的可靠性和 ML 工作流集成

机器学习 (ML) 正在转变企业业务运营以及人们的生活方式。无论是查找共乘同伴、推荐产品或者播放列表、识别图像中的对象,还是优化市场营销活动,ML 和预测是这些体验的核心所在。AIPlatform 旨在提供一个世界级的企业就绪平台以托管您的所有变革性的 ML 模型,从而为像您这样致力于利用 ML 改造世界的企业提供支持。


作为我们持续承诺的一部分,我们高兴的宣布全面开通基于 Google Kubernetes Engine (GKE) 后端的 AI Platform Prediction。新的后端架构旨在通过新的硬件选项(Compute Engine 机器类型NVIDIA 加速器)提高可靠性和灵活性、减少开销延迟,改进长尾延迟。除了产品 Beta 测试期间就可用的标准功能(例如,自动伸缩、访问日志以及请求/响应日志)之外,我们还提供几项有助于提升健壮性、灵活性和可用性的更新:


  • 高内存/高 CPU 机器类型中的 XGBoost/ scikit learn 模型:许多数据科学家喜欢 XGBoost 和 scikit learn 模型对于生产预测所具有的简便性和强大性。借助 AIPlatform,只需几下点击即可便捷地部署使用这些框架训练的模型—— 我们将在您选择的硬件上处理服务基础架构的复杂性。

  • 资源指标:维护生产环境中的模型的一个重要部分是了解其性能特点,例如,GPU、CPU、RAM 和网络利用率。这些指标能够帮助制定有关使用什么硬件的决策,来最大限度减少延迟和优化性能。例如,您可以查看一段时间的模型副本总数,以帮助您了解您的自动伸缩模型如何响应流量变化以及如何更改最小副本(minReplicas)以优化成本和/或延迟。对于在 GCE 机器类型中部署的模型,现在可从 Cloud Console 和 Stackdriver Metrics 查看资源指标。

  • 区域端点:我们在三个区域(us-central1、europe-west4 和 asia-east1)引入了新的端点,并通过更好的区域隔离来提高可靠性。在区域端点部署的模型位于指定区域内。

  • VPC 服务控件 (Beta):用户可以定义一个安全范围并且部署仅限访问该范围内或者另一个桥接范围内的资源和服务的在线预测模型。可从该范围内调用 CAIP 在线预测 API。只允许受限网络或者安全范围内的 VM 和服务的内网 IP 地址访问 CMLE 的 API,而不必经过公共互联网。


但预测并非仅止于使用训练好的模型。典型的 ML 工作流涉及分析和了解模型和预测。我们的平台集成了其他重要的 AI 技术以简化您的 ML 工作流并让您更加高效:


  • Explainable AI(可解释的 AI)。要更好地了解您的业务,您需要更好地了解您的模型。Explainable AI 提供有关每个请求的预测的信息,并且仅在 AI Platform 提供。

  • What-if Tool。可视化您的数据集,并更好地理解在平台部署的您的模型的输出。

  • 持续评估。基于对发送至您的模型的请求的正确标注,获得有关您的模型的性能指标。制定决策以基于一段时间的性能状况重新训练或者改进模型。


Waze 数据科学家技术主管 PhilippeAdjiman 指出:“通过为我们提供一个适用于我们的模型的即时、托管和健壮的服务层,[AI Platform Prediction] 显著提高了我们的速度,并使我们能够专注于改进特征和建模。”


所有这些功能均在一个具有企业支持的完全托管的无集群环境中提供 —— 无需支持或者管理您自己的高度可用的 GKE 集群。我们还负责配额管理并负责保护您的模型免受来自客户端发送过多流量导致的过载的影响。我们托管平台的这些功能使您的数据科学家和工程师能够专注于业务问题而不是管理基础设施。


2020-12-10 00:351017

评论

发布
暂无评论
发现更多内容

什么样的vue面试题答案才是面试官满意的

bb_xiaxia1998

Vue

List集合和其子类ArrayList、LinkedList

共饮一杯无

Java 集合 11月月更

VoneBaaS带来高效链改方案

旺链科技

区块链 产业区块链 世界互联网大会 VoneBaaS 企业号十月PK榜

谈谈企业级前端 Angular 应用的定制化二次开发话题

汪子熙

前端开发 angular SAP Hybris 11月月更

每日一题之Vue的异步更新实现原理是怎样的?

bb_xiaxia1998

Vue

react源码分析:babel如何解析jsx

flyzz177

React

双线程技术为什么能让小程序用户体验量级提升

Onegun

小程序 线程 小程序化

网易传媒基于 Arctic 的低成本准实时计算实践

网易数帆

实时计算 iceberg Arctic 湖仓一体 企业号十月 PK 榜

react源码分析:深度理解React.Context

flyzz177

React

代码质量与安全 | 嵌入式开发中不得不说的编码标准——Barr-C

龙智—DevSecOps解决方案

嵌入式 嵌入式系统

字节内部大佬私藏的数据结构与算法刷题笔记,熬夜刷上头,太顶了

程序知音

Java 数据结构 算法 数据结构与算法 后端技术

VoneBaaS与兆芯完成产品兼容互认证

旺链科技

区块链 产业区块链 VoneBaaS 企业号十月PK榜

OpenHarmony社区运营报告(2022年10月)

OpenHarmony开发者

OpenHarmony

【选型攻略】MLCC选型,要注意些什么?易学易用

元器件秋姐

元器件选型 MLCC选型 元器件选型攻略 元器件电商平台

版本控制 | 想要成为硬件设计高手?最佳实践了解一下!

龙智—DevSecOps解决方案

版本控制 硬件设计 硬件电路

接口请求合并的3种技巧,性能直接爆表!

小小怪下士

Java 程序员 接口

Web组态软件之Sovit2D组态可视化编辑器

2D3D前端可视化开发

组态软件 web组态 组态编辑器 工业组态软件 web组态软件

Java Web(一)Maven

浅辄

maven Java web 11月月更

【LeetCode】字符串轮转Java初学者题解

Albert

算法 LeetCode 11月月更

Java中的集合实现赌神、赌圣、赌侠斗地主

共饮一杯无

Java 集合 11月月更

react源码分析:实现react时间分片

flyzz177

React

计算机网络:随机访问介质访问控制之CSMA协议

timerring

11月月更 CSMA

Java高效找出两个大数据量List集合中的不同元素

共饮一杯无

Java List 11月月更

Java中的Collection集合

共饮一杯无

Java 集合 11月月更

前端常见vue面试题合集

bb_xiaxia1998

Vue

实现Promise的原型方法--前端面试能力提升

helloworld1024fd

JavaScript

从React源码角度看useCallback,useMemo,useContext

goClient1992

React

从React源码来学hooks是不是更香呢

goClient1992

React

2023年网络安全趋势

SEAL安全

网络安全 软件供应链安全

每日一题之Vue数据劫持原理是什么?

bb_xiaxia1998

Vue

基于蓝鲸流程服务实现发布管理

PingCode研发中心

流程服务

AI Platform Prediction(平台预测服务)全面开通,具备更出色的可靠性和 ML 工作流集成_架构_InfoQ精选文章