QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

玩转大数据,QCon 上海 2016 热点前瞻

  • 2016-08-11
  • 本文字数:3864 字

    阅读完需:约 13 分钟

预计到 2020 年,全球数据总量将超过 40ZB,如果不能有效地存储、管理和使用数据,将给企业带来的是巨大的成本,同时数据的玩法和应用越来越多、业务的场景越来越复杂,给数据的存储和计算等不断带来新的挑战。

伴随着各种大数据基础框架的百家争鸣和一步步优化,整体解决方案的数据平台得以迅猛的发展,使得不仅专业人员可以开发数据产品,业务和产品等非技术人员也慢慢能方便的构建数据产品。同时大数据除了在广告、推荐、风控等领域继续深耕细作外,在智能客服、供应链、物流、图像、甚至足球运动等领域也扮演越来越重要的角色。

在将于 10 月 20~22 日举行的 QCon 上海 2016 上,我们就准备了很多大数据方面的精彩内容,邀请了 Google、Netflix、LinkedIn、Spotify、阿里巴巴、百度、腾讯、360、携程等公司的技术专家,来分享他们的实践经验。

我们一起来看看。

Google 的盈利主要来自于其广告系统。黄科,Google 在线显示广告部门工程师。在 Google 工作 9 年,其中一半时间在山景城总部 AdSense 团队,另外一半时间在纽约分部 DoubleClick 团队。一直从事后台技术开发工作。对在线广告的全系统,包括广告的买方、卖方及中间的交易平台有深入的了解。

他将分享《在线显示广告中的优化问题》。

在线广告是一个很大的市场,随着广告从传统媒体向互联网媒体迁移,这个市场还在快速增长。有钱的地方就有江湖,不同的角色在这个市场中采取各种手段和技术来优化自身的利益。

从广告卖方的角度来看,优化问题包括:如何在线分配广告位给不同类型的买家(如预购买买家、即时买家);如何平稳投放给预购买买家的流量;如何最大化出售给即时买家的广告位的收益。

从广告买方的角度,优化问题包括:各种率,如点击率、转化率的预测;作弊流量的检测;对有限预算的买家如何平稳分配预算;用户体验的预测;重复流量的检测;广告形式的轮转;系统反应时间的优化。

演讲中将具体分析。

Netflix 是一家数据驱动型公司,许多产品决定是基于数据分析得到的洞察。几百个微服务系统每天产生万亿条消息和 PB 级数据,数据流水线负责从生产者到消费平台(如 Hadoop/ElasticSearch/Kafka)传输如此大规模的数据。这次我们邀请到 Netflix 的架构师 Steven Wu(吴震),他在 Netflix 的 Real-time Data Infrastructure 组工作。近期完成了数据流水线从 Chukwa 到 Keystone 的演化。

他将分享《打造万亿级别的数据流水线》。

演讲将介绍 Netflix 数据流水线过去几年的演化之路,深入探讨新的 Keystone 数据流水线的架构和一些设计抉择,分享 Keystone 在实战中遇到的问题和得到的教训,并浅谈对 Keystone 未来的一些想法。

Apache Kafka 是 LinkedIn 贡献出来的系统,几乎成了数据基础设施的标配。这次我们邀请到了 LinkedIn 的 Kafka 生态平台设计和开发的主要参与者秦江杰。他主导了包括 Kafka Cruise Control,likafka-clients 等多个 Kafka 相关项目的架构设计和整合,同时也是 Kafka 开源社区的主要贡献者之一。

他将分享《使用 Apache Kafka 进行关键业务消息传输》。

Kafka 作为高可用的分布式消息系统对消息内容和格式是完全开放的。这使得 Kafka 可以被用作各种应用之间和内部的消息传输。LinkedIn 最近利用了 Kafka 进行内部 NoSql 数据库 Espresso 的内部冗余数据备份。在这个过程中,我们解决了许多具有挑战性的问题。这些问题涉及到消息传输的可靠性和完整性,性能和延迟优化,数据安全性以及超大消息的处理等。这些问题的解决对于利用 Kafka 来进行关键业务的数据传输是至关重要的。演讲中会对我们的解决方案进行总结和分享。

Spotify 是全球最大的正版流媒体音乐服务平台。Kinshuk Mishra,Spotify 广告工程技术总监。他的团队负责 Spotify 的广告基础设施、多平台广告产品和广告优化。作为早期加入 Spotify 的工程师之一,他在推动 Spotify 工程技术演进方面做了很多工作。

他将分享《Spotify 广告系统架构演进》。

在产品高速成长的公司中,随着技术的改进,系统的持续演进是不可避免的。产品和业务需求也不断演进,规模的变化又会影响运营成本。近年来,Spotify 的广告系统经历了几次大的变化。对 Spotify 的广告技术栈而言,性能是刚需——要做到大规模、高可用、低延迟。任何宕机或业务中断都会直接影响收入。随着新兴消费平台的兴起,后端和数据基础设施技术也已经成熟,Spotify 的产品也有很多改进。广告技术系统的需求也在变化。Kinshuk 将在演讲中分享保证日常服务不中断的前提下改进 Spotify 广告系统的经验。

随着数据规模不断扩大,很多公司也会投入很多人力进行相关研发。如何构建更高效的研发体系呢?张磊(花名宗超),阿里数据技术及产品部高级技术专家。拥有多年数据研发经验,参与过阿里集团的登月计划、公共层建立等多个重大项目。

他将分享《阿里巴巴的数据研发体系是如何建立和管理的》。

数据研发经常会遇到这些问题:

  1. 研发人数较多(超千人),频繁上下线,如何解决开发效率的问题?
  2. 业务高速发展,数据量爆炸式的增长,如何有效控制存储与计算的线性增长?
  3. 从数据采集到数据消费的整个链路非常复杂,如何保障整个数据链路的质量与产出时间?
  4. 大数据建设的标准规范,如何制定并有效的执行?
  5. 数据浩瀚如烟、纷繁复杂,如何能够迅速的找到自己想要的数据?

经过几年的摸索,我们通过 OneData 研发体系能够比较有效的解决上述问题。OneData 定位是:一个指标一个算法,一个维度属性只有一个名字,模型规范化,从算法定义、数据研发到数据服务,可管理追溯从而规避重复建设。

外卖是中国目前最火的互联网 O2O 业务之一。蒋凡,百度外卖高级研究员,技术委员会主席,2006 年毕业于中国科学技术大学,进入百度后设计开发百度日文搜索引擎,是百度日文的早期核心员工。2012 年加入百度知心团队,设计开发新一代的推荐搜索引擎,改变了百度搜索右侧的展现形态。2014 年加入百度外卖团队,负责物流调度、个性化推荐、智能营销和画像建模等多个技术方向。译有《推荐系统》(人民邮电出版社)和《推荐系统:技术、评估及高效算法 》(机械工业出版社)。

他将分享《外卖物流配送的大数据创新实践》。

餐饮 O2O 行业连接线上线下的订餐需求,将传统的到店消费模式改造成更加灵活便捷的到家消费模式,极大降低了用户的消费成本和商户的固定成本。外卖平台在这里扮演角色除了促进线上需求向线下转化,也包括达成订单的最后一公里任务——物流配送。高效的物流配送能力是决定外卖平台商业模式成败的关键,也是 O2O 经济区别于传统经济的根本,即运用大数据相关的云计算、深度学习和可视化技术提升行业效率,创造并满足新的民生需求。本次分享深入介绍了百度外卖物流调度系统应用大数据技术,摸索业务规律的过程和创新实践经验。

再来看看合约广告方面的话题。陈戈,腾讯广告平台产品部广告引擎与数据算法中心副总监。负责广告后台服务,算法和数据的研发工作。硕士毕业于上海交通大学,先后在百度和腾讯工作,在计算广告领域有多年的经验。

他将分享《腾讯合约广告引擎与算法实践》。

合约广告是品牌类展示广告的主要模式,在腾讯视频、腾讯新闻 APP 和腾讯网等腾讯媒体中的合约广告收入已达百亿规模。广告引擎与数据算法对合约广告的变现效率具有重大影响,面临着很多有特色的挑战,如库存预估、广告在线投放算法、广告售卖库存分配等。

本次分享讲介绍腾讯合约广告引擎与算法的创新与实践,包括系统架构,核心算法 ,合约广告的程序化购买等。

除了使用开源的大数据框架,很多公司也会针对自己的业务特点研发一些自由的平台。魏自立,360 高级工程师 & 资深顾问。参与建设了全世界首个也是目前全世界最大的云查杀安全系统,也是 36 搜索引擎的核心开发。在分布式网络服务器架构与计算、大规模系统性能调优等方面积累了大量实践经验,目前负责 360 核心安全业务线的云引擎服务团队。

他将分享《如何打造一个百万亿级的日志搜索引擎:Poseidon》。

Poseidon 系统是一个日志搜索平台,可以在百万亿条、100PB 大小的日志数据中快速分析和检索。360 公司是一家安全公司,在追踪 APT(高级持续威胁)事件,经常需要在海量的历史日志数据中检索某些信息,例如某个恶意样本在某个时间段内的活动情况。在 Poseidon 系统出现之前,都是写 Map/Reduce 计算任务在 Hadoop 集群中做计算,一次任务所需的计算时间从数小时到数天不等,大大制约了 APT 事件的追踪效率。Poseidon 系统就是解决这个需求,能在数百万亿条规模的数据集中找出我们需要的数据,只需要花费几秒钟时间,大大提高工作效率;同时,数据不需要额外存储,节省了大量存储和计算资源。该系统可以应用于任何海量 (从万亿到千万亿规模) 的查询检索需求。

OTA 公司的业务也有自己的特色。于磊,携程基础大数据产品团队总监。他将分享《携程的推荐及智能化算法及架构体系实践》。

区别于一般电商公司,OTA(Online Travel Agent) 公司的业务线繁多,各业务线的线上流程、商品数据、用户行为、用户需求和订单逻辑差异性极大,不同业务线,近似于完全不同的行业。但是同一般大型电商公司一样,OTA 的大数据营销平台也同时面对着公司跨繁多业务线的个性化推荐、进阶销售(up-selling)和交叉销售(cross-selling)的业务诉求。本次分享将介绍携程通用实时个性化推荐架构和算法体系设计方面的最新进展。

1 号店供应链优化部负责人杨光耀、搜狗资深研究员周泽南、英特尔资深架构师叶军、LinkedIn 业务分析经理赵晟和Autodesk 高级工程师俞戴龙(Wally Yu)等专家也将带来大数据相关的分享,敬请期待。

8 月 21 日前报名,可享 8 折优惠。

获取 QCon 最新消息,第一时间观看演讲视频,欢迎关注 QCon 微信公众号。

2016-08-11 04:131617
用户头像
臧秀涛 略懂技术的运营同学。

发布了 300 篇内容, 共 139.4 次阅读, 收获喜欢 35 次。

关注

评论

发布
暂无评论
发现更多内容

Flink Metric

Alex🐒

flink 翻译 flink1.13

【融云视角】沉浸式音频与通讯技术未来趋势

融云 RongCloud

政治局会议再提工业互联网产业数字化|区块链如何协同发力?

旺链科技

区块链 工业互联网

GIT基本概念与核心命令

IT视界

git 版本管理

你真的了解 equals 方法吗?

若尘

java编程 equals 6月日更

HarmonyOS学习路之开发基础——快速入门(创建另一个页面)

爱吃土豆丝的打工人

HarmonyOS 鸿蒙开发 DevEco Studio 创建新页面 创建另一个页面

HarmonyOS 分布式多端应用一站式开发平台(DevEco Studio 安装)

爱吃土豆丝的打工人

操作系统 HarmonyOS 环境变量 DevEco Studio 鸿蒙开发

30家企业单笔融资1亿以上,如何让投资人倒追你的项目

创业邦

区块链 | 让付费的知识真正“物超所值”

旺链科技

区块链 知识付费

英特尔推出全新的基础设施处理器(IPU)

E科讯

HarmonyOS学习路之开发篇——Ability

爱吃土豆丝的打工人

HarmonyOS Ability Ability概述 鸿蒙 Ability

更好链接资金需求 | 区块链如何赋能“链”金融

旺链科技

金融

HarmonyOS学习路之开发基础知识——应用基础知识

爱吃土豆丝的打工人

鸿蒙 HarmonyOS 鸿蒙开发 鸿蒙系统

HarmonyOS学习路之开发基础知识——应用配置文件

爱吃土豆丝的打工人

HarmonyOS 鸿蒙开发 鸿蒙系统 鸿蒙配置文件 deviceConfig

源码解析:一文读懂 Kubelet

张晓辉

Kubernetes 源码分析 kubelet

网络攻防学习笔记 Day45

穿过生命散发芬芳

网络攻防 6月日更

100个开箱即用的shell脚本,CV大法好,工作不费脑!

北游学Java

Java Shell

让宝妈宝爸告别安全顾虑,区块链构建母婴行业新生态

旺链科技

区块链 母婴

以互联网行业为背景下的数据分析通识(上)

小飞象@木木自由

数据分析 数据分析体系 数据思维

100个自媒体运营工具推荐

资源君

运营 工具软件 自媒体 资源分享 工具分享

HarmonyOS学习路之HarmonyOS 概述

爱吃土豆丝的打工人

操作系统 HarmonyOS 鸿蒙系统

HarmonyOS学习路之开发基础——快速入门(编写第一个页面)

爱吃土豆丝的打工人

HarmonyOS 鸿蒙应用开发 DevEco Studio 创建页面 鸿蒙开发第一个页面

全新升级IoT Stack 2.0和度能2.0,百度持续加码为产业智能化安全护航

百度大脑

百度智能云

一群不想鸡娃的直男程序员,决定对一支笔下手了

脑极体

JAVA笔记(二)--Java初始

加百利

Java 后端 6月日更

击破行业痛点,区块链赋能智慧物流高速发展

旺链科技

区块链 智慧物流

技术+商业,能否让网易智企一鸣惊人?

ToB行业头条

网易 tob

HarmonyOS学习路之开发基础知识——资源文件

爱吃土豆丝的打工人

鸿蒙 HarmonyOS DevEco资源文件 创建资源文件

HarmonyOS学习路之开发基础——快速入门(实现页面跳转)

爱吃土豆丝的打工人

HarmonyOS DevEco 页面跳转 鸿蒙页面跳转

HarmonyOS学习路之开发篇——Page Ability

爱吃土豆丝的打工人

HarmonyOS AbilitySlice路由 AbilitySlice生命周期 AbilitySlice间导航 跨设备迁移

有人融资超6亿,有人营收20亿…这届90后创业者有点猛! | 创业邦2021年30位30岁以下创业新贵重磅发布

创业邦

玩转大数据,QCon上海2016热点前瞻_大数据_臧秀涛_InfoQ精选文章