写点什么

如何利用在线实验提升算法工程效率

  • 2019-08-27
  • 本文字数:992 字

    阅读完需:约 3 分钟

如何利用在线实验提升算法工程效率

稳定压倒一切,如何在阿里巴巴的钱袋子做高频线上实验?A/B Testing 是算法模型进行在线实验的经典方法。Google 于 2010 年发表了分层正交实验论文,各大公司依此思想建立了分层实验平台,可以对流量多层正交,互不影响,从而最大化提升实验效率。 随着大规模机器学习技术的发展,高度复杂的深度模型被广泛使用,在线实验参数的变更,在后台会涉及复杂分布式系统数据切换,在线服务上线等一系列操作,会面临相当多问题,严重影响迭代效率。 阿里妈妈作为国内最大的商业广告提供商,高度依赖在线实验。在投放系统的各个阶段,如检索召回、排序、竞价,涉及系统上下游多个模块,同时迭代模型版本近百个,每日实验发布近百次。而在线学习等新技术使用,使模型变更更加高频化。错误实验会对系统造成急性或慢性损害,如分布式系统宕机,营收缓慢下跌,从而引发严重金融故障。 为了在金融系统做好在线实验,平衡效率与安全,我们研发了在线实验平台 WhaleShark,运用多种技术为业务提供最大帮助。目前已承载阿里妈妈所有场景广告,覆盖搜索直通车、超级推荐、品牌等多个业务场景,赋能用户进行模型、数据、配置、应用等多维高频变更。阿里巴巴高级技术专家向杭即将在 QCon 全球软件开发大会(上海站)2019分享《如何利用在线实验提升算法工程效率

内容大纲

  1. 阿里妈妈业务与架构;

  2. 在线实验平台的挑战、产品与架构 ;

  3. 新一代分层实验机制,包括独立分区,联合实验,混竞路由 ;

  4. 容器化隔离,动态路由,环境自动构建;

  5. 模型特征交付与自动验证;

  6. 监控与自动容灾;

  7. 全链路数仓。

听众受益

  1. 如何利用在线实验提升算法系统迭代效率;

  2. 新一代分层实验机制,如何流量复用最大化支持搜索广告场景;

  3. 如何利用容器化隔离、动态路由、环境一键构建、灰度发布、模型交付等技术提升效率与稳定性;

  4. 深度模型与特征的自动质量方案;

  5. 如何进行实验级实时监控与容灾;

  6. 如何信息化建设,关联利用算法各阶段数据,赋能业务演进。


嘉宾介绍


向杭,花名刑志,高级技术专家,2013 年加入阿里巴巴。现任阿里妈妈事业部工程生产力团队负责人。方向包括大规模算法与数据系统质量保证、实验效率提升、算法分析平台构建等。致力于运用技术手段,提升 AI 系统质量、监控、调试与分析能力,从而提升工业级算法迭代效率。带领团队在 SIGIR、KDD 发表多篇论文,涉及 CTR 预估模型可视化,大规模稀疏数据异常检测等多领域。


更多以云为始的工程效率实战的相关分享请访问 QCon 上海 2019 官网。


2019-08-27 16:224448

评论

发布
暂无评论
发现更多内容

阿里大哥手把手教你从零到一搭建Spring Cloud Alibaba!太强了

Geek_0c76c3

Java 数据库 开源 架构 面经

Windows-Python 应用:使用消息操作窗口

霍格沃兹测试开发学社

Demo Day直播 | 成长计划解决方案学生挑战赛一等奖即将揭晓!

OpenHarmony开发者

Open Harmony

测试人生 | 疫情之下,1个月内涨薪50%拿下亿级流量金融上市公司新 offer,我柠檬了~

霍格沃兹测试开发学社

栓Q了,大厂被强制毕业,空窗一个月死背八股文,还好拿到了Offer

Geek_0c76c3

Java 数据库 开源 架构 开发

幂等设计详解

京东科技开发者

数据库 系统架构 幂等 研发 幂等设计

HUE部署

峥岳

hue 安装部署 9月月更

轻量级工作流引擎的设计与实现

京东科技开发者

工作流 流程 工作流引擎 迭代 轻量级工作流引擎

技术分享 | Web 控件定位与常见操作

霍格沃兹测试开发学社

LP单双币双池挖矿dapp系统开发技术详情

开发微hkkf5566

测试面试题集锦(四)| Linux 与 Python 编程篇(附答案)

霍格沃兹测试开发学社

APK 逆向工程 - 解析 apk 基本信息和方法调用图

霍格沃兹测试开发学社

leetcode 208. Implement Trie (Prefix Tree) 实现 Trie (前缀树) (中等)

okokabcd

LeetCode 数据结构与算法

史上最全的Java容器集合之ArrayList(源码解读)

自然

9月月更

对于火热的MLOps的一些冷静观察

Baihai IDP

人工智能 机器学习 AI MLOps

面试 | 互联网大厂测试开发岗位会问哪些问题?

霍格沃兹测试开发学社

测试人生 | 00后0经验应届毕业生拿下2线城市15W offer,好励志~

霍格沃兹测试开发学社

史上最全的Java容器集合之基础数据结构(手撕链表)

自然

9月日更

技术分享 | 网页 frame 与多窗口处理

霍格沃兹测试开发学社

技术分享 | web自动化测试-执行 JavaScript 脚本

霍格沃兹测试开发学社

Golang开发入门(一)

霍格沃兹测试开发学社

【Java面试宝典】带你拿offer

钟奕礼

Java 面试 java;

GOPS现场 | 芯片行业需要怎样的版本管理工具——对话龙智大规模安全研发技术专家

龙智—DevSecOps解决方案

版本控制 版本管理工具 版本管理 版本控制工具

技术分享 | web 控件的交互进阶

霍格沃兹测试开发学社

Android动态权限详解

霍格沃兹测试开发学社

JAR 文件规范详解

霍格沃兹测试开发学社

探究 PHP_CodeSniffer 的代码静态分析原理

霍格沃兹测试开发学社

IDC:云效产品能力No.1,领跑中国DevOps市场

阿里云云效

DevOps 数字化 产品研发 DevOps工具链

技术分享 | Web自动化之显式等待与隐式等待

霍格沃兹测试开发学社

Tensorflow 2.x 模型-部署与实践

霍格沃兹测试开发学社

羊了个羊NFT系统链游开发技术

薇電13242772558

游戏 NFT

如何利用在线实验提升算法工程效率_QCon_向杭_InfoQ精选文章