写点什么

AI Platform Prediction(平台预测服务)全面开通,具备更出色的可靠性和 ML 工作流集成

Robbie Haertel & Bhupesh Chandra

  • 2020-12-10
  • 本文字数:1343 字

    阅读完需:约 4 分钟

AI Platform Prediction(平台预测服务)全面开通,具备更出色的可靠性和 ML 工作流集成

机器学习 (ML) 正在转变企业业务运营以及人们的生活方式。无论是查找共乘同伴、推荐产品或者播放列表、识别图像中的对象,还是优化市场营销活动,ML 和预测是这些体验的核心所在。AIPlatform 旨在提供一个世界级的企业就绪平台以托管您的所有变革性的 ML 模型,从而为像您这样致力于利用 ML 改造世界的企业提供支持。


作为我们持续承诺的一部分,我们高兴的宣布全面开通基于 Google Kubernetes Engine (GKE) 后端的 AI Platform Prediction。新的后端架构旨在通过新的硬件选项(Compute Engine 机器类型NVIDIA 加速器)提高可靠性和灵活性、减少开销延迟,改进长尾延迟。除了产品 Beta 测试期间就可用的标准功能(例如,自动伸缩、访问日志以及请求/响应日志)之外,我们还提供几项有助于提升健壮性、灵活性和可用性的更新:


  • 高内存/高 CPU 机器类型中的 XGBoost/ scikit learn 模型:许多数据科学家喜欢 XGBoost 和 scikit learn 模型对于生产预测所具有的简便性和强大性。借助 AIPlatform,只需几下点击即可便捷地部署使用这些框架训练的模型—— 我们将在您选择的硬件上处理服务基础架构的复杂性。

  • 资源指标:维护生产环境中的模型的一个重要部分是了解其性能特点,例如,GPU、CPU、RAM 和网络利用率。这些指标能够帮助制定有关使用什么硬件的决策,来最大限度减少延迟和优化性能。例如,您可以查看一段时间的模型副本总数,以帮助您了解您的自动伸缩模型如何响应流量变化以及如何更改最小副本(minReplicas)以优化成本和/或延迟。对于在 GCE 机器类型中部署的模型,现在可从 Cloud Console 和 Stackdriver Metrics 查看资源指标。

  • 区域端点:我们在三个区域(us-central1、europe-west4 和 asia-east1)引入了新的端点,并通过更好的区域隔离来提高可靠性。在区域端点部署的模型位于指定区域内。

  • VPC 服务控件 (Beta):用户可以定义一个安全范围并且部署仅限访问该范围内或者另一个桥接范围内的资源和服务的在线预测模型。可从该范围内调用 CAIP 在线预测 API。只允许受限网络或者安全范围内的 VM 和服务的内网 IP 地址访问 CMLE 的 API,而不必经过公共互联网。


但预测并非仅止于使用训练好的模型。典型的 ML 工作流涉及分析和了解模型和预测。我们的平台集成了其他重要的 AI 技术以简化您的 ML 工作流并让您更加高效:


  • Explainable AI(可解释的 AI)。要更好地了解您的业务,您需要更好地了解您的模型。Explainable AI 提供有关每个请求的预测的信息,并且仅在 AI Platform 提供。

  • What-if Tool。可视化您的数据集,并更好地理解在平台部署的您的模型的输出。

  • 持续评估。基于对发送至您的模型的请求的正确标注,获得有关您的模型的性能指标。制定决策以基于一段时间的性能状况重新训练或者改进模型。


Waze 数据科学家技术主管 PhilippeAdjiman 指出:“通过为我们提供一个适用于我们的模型的即时、托管和健壮的服务层,[AI Platform Prediction] 显著提高了我们的速度,并使我们能够专注于改进特征和建模。”


所有这些功能均在一个具有企业支持的完全托管的无集群环境中提供 —— 无需支持或者管理您自己的高度可用的 GKE 集群。我们还负责配额管理并负责保护您的模型免受来自客户端发送过多流量导致的过载的影响。我们托管平台的这些功能使您的数据科学家和工程师能够专注于业务问题而不是管理基础设施。


2020-12-10 00:35979

评论

发布
暂无评论
发现更多内容

OpenHarmony自定义构建函数:@Builder装饰器

OpenHarmony开发者

OpenHarmony

网络分析、自动化处理的强大工具

百度开发者中心

大模型训练 #人工智能 千帆大模型平台

JDK安装与配置教程

小齐写代码

解锁Java面试中的锁:深入了解不同类型的锁和它们的用途

程序那些事

Java 面试 java面试 程序那些事 面试秘籍

如何教会小白使用API接口获取商品数据

Noah

API 文档 API 开发

DAPP代币通缩燃烧销毁质押挖矿系统开发(成熟技术)

l8l259l3365

中文导航、本地指南一个App搞定,华为手机国庆出境游用Petal Maps就够了!

最新动态

飞桨黑客马拉松第五期即刻开启报名!

飞桨PaddlePaddle

飞桨 黑客松

线下Meetup:在数智化转型背景下,火山引擎VeDI的大数据技术揭秘

字节跳动数据平台

大数据 数据治理 数据安全 数据研发 企业号9月PK榜

大语言模型的微调与优化

百度开发者中心

#人工智能 LLM 大语言模型

垂直领域LLM训练推理全栈利器

百度开发者中心

#人工智能 LLM 大语言模型

用友出席第六届中国企业论坛,分享央国企数智化转型方案

用友BIP

数智化转型

如何使用API接口获取商品数据,从申请API接口、使用API接口到实际应用,一一讲解

Noah

API 文档 API 开发

在统信UOS上部署DotNet(Core)服务

为自己带盐

国产化 UOS dotnetcore

大模型在超算上的应用与发展

百度开发者中心

#人工智能 LLM 大模型推理 千帆大模型平台

可观测成熟度模型介绍(二)

乘云数字DataBuff

香港服务器如何帮助企业在线业务提供卓越性能和稳定性

一只扑棱蛾子

香港服务器

Springboot vs Quarkus

Kevin_913

MySQL事务死锁问题排查 | 京东云技术团队

京东科技开发者

MySQL 数据库 事务 死锁 企业号9月PK榜

Comparing QCN9274 and QCN9074: WPA3 Support in Qualcomm Wi-Fi Chips

wallyslilly

QCN9074 qcn9274

专为小白打造—Kafka一篇文章从入门到入土 | 京东云技术团队

京东科技开发者

云计算 kafka 中间件 消息列队 企业号9月PK榜

从索引实现上来看看你用的 TDengine 为什么这么快!

TDengine

tdengine 时序数据库 国产时序数据库

Vitess全局唯一ID生成的实现方案 | 京东云技术团队

京东科技开发者

MySQL 数据库 企业号9月PK榜 vitess

向上管理:三个技巧,教会你如何与上级、老板高效协作

LigaAI

产品经理 技术管理 职场成长 向上管理 企业号9月PK榜

数字化转型与架构-架构设计篇|软件开发框架帮我们做了什么?

数字随行

数字化转型

软件调研、研发、设计、管理、验收文档(全文档整理)

金陵老街

Triband QCN9024 work with IPQ6010-IPQ8072 - achieve higher speed bandwidth, more available channels

wifi6-yiyi

释放创新:与加密货币交易软件开发公司合作

区块链软件开发推广运营

数字藏品开发 dapp开发 区块链开发 链游开发 NFT开发

代码层面探索前端性能 | 京东云技术团队

京东科技开发者

CSS 性能优化 前端 企业号9月PK榜

中国平煤神马集团 | 基于融合共享的经营管控多业务(1+2+N)共享中心建设实践

用友BIP

能源 数智化转型 共享中心

AI Platform Prediction(平台预测服务)全面开通,具备更出色的可靠性和 ML 工作流集成_架构_InfoQ精选文章