免费下载案例集|20+数字化领先企业人才培养实践经验 了解详情
写点什么

如何利用在线实验提升算法工程效率

  • 2019-08-27
  • 本文字数:992 字

    阅读完需:约 3 分钟

如何利用在线实验提升算法工程效率

稳定压倒一切,如何在阿里巴巴的钱袋子做高频线上实验?A/B Testing 是算法模型进行在线实验的经典方法。Google 于 2010 年发表了分层正交实验论文,各大公司依此思想建立了分层实验平台,可以对流量多层正交,互不影响,从而最大化提升实验效率。 随着大规模机器学习技术的发展,高度复杂的深度模型被广泛使用,在线实验参数的变更,在后台会涉及复杂分布式系统数据切换,在线服务上线等一系列操作,会面临相当多问题,严重影响迭代效率。 阿里妈妈作为国内最大的商业广告提供商,高度依赖在线实验。在投放系统的各个阶段,如检索召回、排序、竞价,涉及系统上下游多个模块,同时迭代模型版本近百个,每日实验发布近百次。而在线学习等新技术使用,使模型变更更加高频化。错误实验会对系统造成急性或慢性损害,如分布式系统宕机,营收缓慢下跌,从而引发严重金融故障。 为了在金融系统做好在线实验,平衡效率与安全,我们研发了在线实验平台 WhaleShark,运用多种技术为业务提供最大帮助。目前已承载阿里妈妈所有场景广告,覆盖搜索直通车、超级推荐、品牌等多个业务场景,赋能用户进行模型、数据、配置、应用等多维高频变更。阿里巴巴高级技术专家向杭即将在 QCon 全球软件开发大会(上海站)2019分享《如何利用在线实验提升算法工程效率

内容大纲

  1. 阿里妈妈业务与架构;

  2. 在线实验平台的挑战、产品与架构 ;

  3. 新一代分层实验机制,包括独立分区,联合实验,混竞路由 ;

  4. 容器化隔离,动态路由,环境自动构建;

  5. 模型特征交付与自动验证;

  6. 监控与自动容灾;

  7. 全链路数仓。

听众受益

  1. 如何利用在线实验提升算法系统迭代效率;

  2. 新一代分层实验机制,如何流量复用最大化支持搜索广告场景;

  3. 如何利用容器化隔离、动态路由、环境一键构建、灰度发布、模型交付等技术提升效率与稳定性;

  4. 深度模型与特征的自动质量方案;

  5. 如何进行实验级实时监控与容灾;

  6. 如何信息化建设,关联利用算法各阶段数据,赋能业务演进。


嘉宾介绍


向杭,花名刑志,高级技术专家,2013 年加入阿里巴巴。现任阿里妈妈事业部工程生产力团队负责人。方向包括大规模算法与数据系统质量保证、实验效率提升、算法分析平台构建等。致力于运用技术手段,提升 AI 系统质量、监控、调试与分析能力,从而提升工业级算法迭代效率。带领团队在 SIGIR、KDD 发表多篇论文,涉及 CTR 预估模型可视化,大规模稀疏数据异常检测等多领域。


更多以云为始的工程效率实战的相关分享请访问 QCon 上海 2019 官网。


2019-08-27 16:224300

评论

发布
暂无评论
发现更多内容

基于云原生网关的可观测性最佳实践

阿里巴巴云原生

阿里云 微服务 云原生 可观测

剖析一下"抢茅台"脚本底层逻辑

京东科技开发者

接口 后端 脚本 风险识别 风险控制

阿里P8大佬神创“Netty突击笔记”,堪称全网最全最牛逼的核心原理手册

程序知音

Java Netty JAVA开发 java架构 后端技术

一个 3 年 Java 程序员 5 家大厂的面试总结(已拿Offer)

钟奕礼

Java java程序员 java面试 java编程

一个关于X证券20000台服务器的血泪故事

青藤云安全

网络安全 青藤云安全

数据库索引相关和EFCore的索引映射

C++后台开发

数据库 后端开发 Linux服务器开发 C++开发 数据库索引

2022 Java 企业面试题汇总

钟奕礼

Java java程序员 java面试 java编程

索引数据结构千千万 , 为什么B+Tree独领风骚

程序知音

聊聊mybatis的架构模块

急需上岸的小谢

11月月更

聊一聊华为云弹性公网IP的那些事儿

爱尚科技

小令观点 | 急需身份证扫描件?【A4证照扫描王】来帮你

令牌云数字身份

软件推荐 入职 打印 证照扫描

Docker搭建私有registry镜像仓库

蜗牛也是牛

Java 反射 (二) Class类

浅辄

Java 反射 11月月更

微服务平滑迁移上云最佳实践

阿里巴巴云原生

阿里云 微服务 云原生

浅析分布式事务的底层实现模型

移动云大数据

HDC.Cloud Day | 全国首场上海站告捷,聚开发者力量造梦、探梦、筑梦

华为云开发者联盟

云计算 华为云

行业首个测试开发技术大赛开始报名啦~ 10万现金奖励等你来挑战

测试人

软件测试 自动化测试 测试开发 测试比赛

我服了,阿里挖过来的leader连垃圾回收都说不清楚

钟奕礼

Java java程序员 java面试 java编程

聊聊mybatis的反射之Reflector类

急需上岸的小谢

11月月更

PG SQL 语法汇总

蜗牛也是牛

首份关基安全国标刚发布,客户把我叫到了办公室......

青藤云安全

网络安全 青藤云安全

简述SpringAOP的实现原理

千锋IT教育

Zookeeper安装与基础命令操作

石臻臻的杂货铺

zookeeper 11月月更

聊聊索引

急需上岸的小谢

11月月更

被性能优化撂倒无数次后的顿悟!465页调优笔记助力大厂面试之旅

程序知音

Java JVM 性能调优 java架构 后端技术

行业首个测试开发技术大赛开始报名啦~ 10万现金奖励等你来挑战

测吧(北京)科技有限公司

软件测试

PCB焊接出问题了,是PCB工程师的锅吗?

华秋PCB

PCB PCB设计 焊接

防止会议被入侵,华为云会议更专业

IT科技苏辞

进大厂必刷的Java面试题

钟奕礼

Java java程序员 java面试 java编程

什么是组织孤岛?它会带来哪些影响?可以这样去对付它

Baklib

Java面试读这一篇就够了:100个互联网大厂Java面试真题整理

钟奕礼

Java Java 面试 java程序员 java编程

如何利用在线实验提升算法工程效率_QCon_向杭_InfoQ精选文章