写点什么

如何利用在线实验提升算法工程效率

  • 2019-08-27
  • 本文字数:992 字

    阅读完需:约 3 分钟

如何利用在线实验提升算法工程效率

稳定压倒一切,如何在阿里巴巴的钱袋子做高频线上实验?A/B Testing 是算法模型进行在线实验的经典方法。Google 于 2010 年发表了分层正交实验论文,各大公司依此思想建立了分层实验平台,可以对流量多层正交,互不影响,从而最大化提升实验效率。 随着大规模机器学习技术的发展,高度复杂的深度模型被广泛使用,在线实验参数的变更,在后台会涉及复杂分布式系统数据切换,在线服务上线等一系列操作,会面临相当多问题,严重影响迭代效率。 阿里妈妈作为国内最大的商业广告提供商,高度依赖在线实验。在投放系统的各个阶段,如检索召回、排序、竞价,涉及系统上下游多个模块,同时迭代模型版本近百个,每日实验发布近百次。而在线学习等新技术使用,使模型变更更加高频化。错误实验会对系统造成急性或慢性损害,如分布式系统宕机,营收缓慢下跌,从而引发严重金融故障。 为了在金融系统做好在线实验,平衡效率与安全,我们研发了在线实验平台 WhaleShark,运用多种技术为业务提供最大帮助。目前已承载阿里妈妈所有场景广告,覆盖搜索直通车、超级推荐、品牌等多个业务场景,赋能用户进行模型、数据、配置、应用等多维高频变更。阿里巴巴高级技术专家向杭即将在 QCon 全球软件开发大会(上海站)2019分享《如何利用在线实验提升算法工程效率

内容大纲

  1. 阿里妈妈业务与架构;

  2. 在线实验平台的挑战、产品与架构 ;

  3. 新一代分层实验机制,包括独立分区,联合实验,混竞路由 ;

  4. 容器化隔离,动态路由,环境自动构建;

  5. 模型特征交付与自动验证;

  6. 监控与自动容灾;

  7. 全链路数仓。

听众受益

  1. 如何利用在线实验提升算法系统迭代效率;

  2. 新一代分层实验机制,如何流量复用最大化支持搜索广告场景;

  3. 如何利用容器化隔离、动态路由、环境一键构建、灰度发布、模型交付等技术提升效率与稳定性;

  4. 深度模型与特征的自动质量方案;

  5. 如何进行实验级实时监控与容灾;

  6. 如何信息化建设,关联利用算法各阶段数据,赋能业务演进。


嘉宾介绍


向杭,花名刑志,高级技术专家,2013 年加入阿里巴巴。现任阿里妈妈事业部工程生产力团队负责人。方向包括大规模算法与数据系统质量保证、实验效率提升、算法分析平台构建等。致力于运用技术手段,提升 AI 系统质量、监控、调试与分析能力,从而提升工业级算法迭代效率。带领团队在 SIGIR、KDD 发表多篇论文,涉及 CTR 预估模型可视化,大规模稀疏数据异常检测等多领域。


更多以云为始的工程效率实战的相关分享请访问 QCon 上海 2019 官网。


2019-08-27 16:224441

评论

发布
暂无评论
发现更多内容

鸿蒙NEXT开发案例:年龄计算

zhongcx

鸿蒙

快递鸟快递查询API接口参数代码

快递鸟

快递

权限系统:权限应用服务设计

不在线第一只蜗牛

架构 应用开发

科技赋能绿色“碳”索,下党零碳示范基地启幕

新消费日报

为什么DDoS攻击如此普遍?

网络安全服务

黑客 流量 DDoS AI人工智能 DDoS 攻击

微博热搜榜数据:免费API调用与市场洞察

幂简集成

API 微博热搜 微博

双十一轻松跨越数字鸿沟!华为云Flexus X实例引领中小企业低成本上云

YG科技

在华为开发者空间,简单几步带你实现AI风格化编程

华为云开发者联盟

云主机 华为云ModelArts FunctionGraph AI 大底座

微短剧出海大升级:窄带高清降本,极致播放体验,海外合规更安心

阿里云CloudImagine

人工智能 AIGC 窄带高清 视频翻译 短剧出海

5.7 与 8.0 对相同文件的 LOAD DATA 语句结果不同

GreatSQL

数据库

14.策略者模式设计思想

杨充

打造透明、高效的分布式系统:通过 EMQX ECP 集成实现链路追踪功能

EMQ映云科技

链路追踪 emqx EMQX ECP 边缘服务

鸿蒙NEXT应用示例:切换图片动画

zhongcx

鸿蒙

硬核剧透!龙蜥开源软件供应链及操作系统安全MeetUp全议程来啦

OpenAnolis小助手

开源 操作系统 龙蜥社区 龙蜥meetup

Greptime 空降深圳|「从云原生到 AI 时代,全栈可观测性的实践与演进」 Meetup 圆满结束

Greptime 格睿科技

云原生 活动 可观测

框图是什么,如何制作?10个框图模板推荐!

职场工具箱

职场 IT 在线白板 绘图软件 线框图软件

双十一降本增效新路径!华为云Flexus X实例为中小企业注入“硬核”动力

YG科技

一夜之间,内容行业和大模型行业被这个All in One产品改变了

脑极体

AI

技术干货丨Inspire Cast 如何避免自动网格划分失败?

Altair RapidMiner

人工智能 仿真 智能制造 altair Inspire

深入了解测试开发与DevOps体系

测试人

软件测试

CCF - 网易雷火基金项目成果:基于大小模型协同的低资源标注技术|CNCC 2024 演讲实录

网易伏羲

人工智能 网易伏羲 cncc

StarRocks Summit Asia 2024 全部议程公布!

StarRocks

如何快速开发一款AI小程序?基于微信云开发的实战指南

申公豹

小程序

苹果电脑可以玩《GTA5》吗?MacBook玩GTA5教程

阿拉灯神丁

游戏 MacBook gta5 苹果电脑 CrossOver Mac下载

如何利用在线实验提升算法工程效率_QCon_向杭_InfoQ精选文章