都2023了!我不允许你还不了解AIGC!立即报名 了解详情
写点什么

百度举办第七届技术开放日,揭秘春晚红包技术支撑

  • 2019-04-08
  • 本文字数:2068 字

    阅读完需:约 7 分钟

百度举办第七届技术开放日,揭秘春晚红包技术支撑

4 月 4 日,第七届百度技术开放日活动在京举办,在这次开放日中,百度分享了在刚刚过去的春节红包背后的技术支撑,百度高级副总裁、AI 技术平台体系(AIG)和基础技术体系(TG)总负责人王海峰到场致辞。


王海峰表示,百度于 2018 年 12 月份进行的组织架构调整中,将打造技术中台作为战略方向之一,打造技术中台的行动由王海峰直接带领,2019 春晚红包则是新成立的技术中台的第一场大考。


百度副总裁、春晚红包项目技术负责人侯振宇在分享中表示,春晚红包是在世界范围内都极为少见的极端并发场景,比双十一的流量更大更集中,在过去几年里,有几个公司挑战过这项活动,结果都遭遇了滑铁卢。百度临危受命,遭遇时间短、技术难、场景复杂、要求高四大挑战,最终,在全公司各部门通力协作,并组织 1000 多人进行专项攻关,最终平稳度过。


百度春晚红包具体的技术支撑包括:


全系统全链路的优化设计。这次春晚红包项目架构设计中,采用的是以大化小、隔离,弹性、智能、动态、自愈,同时高效控制总成本的设计理念。


春晚红包采用摇一摇、信息流、视频、语音、搜索等多样化参与形式。摇一摇红包系统采用 SET 化方案,将业务和存储层切割成多个中大型分布式系统。按用户条带化,形成多个单元化集群,对业务优化适配,可防止故障扩散,形成更可控的完整异常预案。基于 SET 化和高性能存储方案,实现同步实时读写,避免异步处理带来的延迟和不一致问题。并结合日志对帐,以保障安全性和用户体验。


Feed 信息流推荐系统采用弹性架构设计,以便高效的支撑更高的瞬间并发流量挑战。设置多级异常容忍能力,采用自适应,层级化自治架构;在资源固定,保稳定前提下,自动动态调整参数,给最好的推荐效果。


对于视频红包,采用开源的百度智能小程序方案,支持预加载,且采用多版本结合的形式,以灵活应对 CDN 巨大压力,且对视频全流程体验进化优化。


对于语音模块,专项定制高速模型+动态调度+GPU/FPGA 硬件优化。对于搜索,利用用户行为的热点特征,采用多级 Cache+漏斗控制,集群状态分级,以抵御突增的并发压力。


对登录系统面临瞬间海量用户涌入的压力,与百度云、运营商共建短信和一键登录的海量能力,包括互通登录在内的多种登录手段结合,多管齐下。采用自动感知、自动决策、自动恢复的自愈式的设计,以应对春晚极端并发和现场直播的压力。


对于春晚红包流量调度,由 BFE(百度统一前端)提供支撑。BFE 是百度早年研发的统一的七层流量转发平台。在春晚红包项目中,BFE 是 IDC 流量的统一入口,提供了流量调度、接入转发、限流、应用层防火墙等能力。


对于数据库,通过 set 化等关键技术方案达到对业务透明、且灵活扩展、故障最小化隔离能力;在流量管控上,基于流量画像能力,结合安全检测及拦截能力、多维度多层级流控能力,达到对整体服务的过载保护以及安全防护能力,能有效保障整体服务的可用性、数据的安全性,达到数据库千万级 QPS 处理能力;最后结合近百项的剧本及自动监控预案措施,进一步加固了春晚数据库服务保障能力。


服务混部与弹性供给。春晚期间,亿级别用户同时启动,上亿的用户同时与百度云服务发起建连;相较于以往简单的摇一摇,这次用户同时访问的业务覆盖搜索、推荐、语音、视频等复杂业务。两周时间内要实现数万服务器级别规模的资源快速筹备与使用方案制定。


技术方案上,重点通过百度云集群内部全混部,利用集群流转支持满足春晚活动资源需求。混部调度意味着选择合适资源,部署合适任务,并做好安全的隔离与服务保护机制。百度春晚活动服务混部调度采用 BestEffort 模式,弹性使用全百度云的集群资源。BE 模式对原正常业务实现了无侵入使用,并满足了春晚服务提前进场与快速便捷退场的需求,顺利通过了活动的多轮压测工作与最终的线上的效率与质量考验。同时围绕潜在问题场景,设计好秒级弹性伸缩的方案。


同时,百度 CDN 为了应对春晚,3 周内完成 CDN 近百个节点新建、新增数十 T 带宽储备,保障了这次历史上最大的突发量;技术方面,在核心的存储分发架构上,基于高可靠存储、链路加速、精准调度、高性能 Cache 等核心技术,中央调度系统通过实时计算的日志监控流来进行全局流控,通过分级分业务的流控对峰值进行合理调度和控制,同时保障柔性降级的安全预案,实现了春晚高峰流量的平稳承载。


大规模工程能力保障。春晚红包项目涉及数十个个产品和平台,110+种场景,280+个预案,百余团队参与,上千人协同,平均每天新增需求和任务千余个,自动化测试上万次。春晚红包项目能够高质量交付,离不开百度长期积累的技术文化和工程能力、集团统一的工程标准和研发规范、可靠高效的开发工具和协作平台。百度在内部沉淀并发布了《百度方法+白皮书》、《百度工程能力白皮书》。


另外,为了春晚红包保障,百度专门建立了临时的春晚蓝军团队,进行全要素全链路压测,模拟真实用户行为,构造大于春晚极限并发的压力洪峰,验证从供电、网络等基础设施,到上层软件架构的服务能力。


负责本次春晚总体架构设计的百度主任架构师吴永巍,将在 5 月 6 日的 QCon 北京站上分享《从高并发到极端并发:百度 Feed 与春晚红包的高可用实践》,欢迎关注。


2019-04-08 10:473828
用户头像

发布了 164 篇内容, 共 100.3 次阅读, 收获喜欢 387 次。

关注

评论

发布
暂无评论
发现更多内容

出海无从下手?看社交泛娱乐出海「第一趁手工具」怎么说

融云 RongCloud

互联网 社交 融云 泛娱乐 出海

最高等级!Apache RocketMQ 入选可信开源项目星云象限领导型象限

阿里巴巴云原生

阿里云 云原生 Apache RocketMQ

2023高质量Java面试题集锦:高级Java工程师面试八股汇总

采菊东篱下

Java 面试

CCIG 2023 百度飞桨分论坛:大模型时代的图象图形技术变革与实践

飞桨PaddlePaddle

【修复问题】HBuilder打包编译报错汇集(持续更新)

红泥

「MIAOYUN」:降本增效,赋能传统企业数字化云原生转型 | 36kr 项目精选

秒云

云原生 数字化转型 智能运维 降本增效 36氪

数据不只是数字:描述、分析、展示呈现数据的故事

Data 探险实验室

数据分析 数据 数据可视化 数字 可视化分析

二层交换机和三层交换机到底区别在哪?

wljslmz

交换机 三周年连更

急吗?光急可没用呀!满满干货,两小时速成,别搁那干瞪眼了!

加入高科技仿生人

低代码 数字化 OA 数字转型

百度王海峰团队荣获吴文俊人工智能科技进步奖特等奖,成果已应用于文心一言

飞桨PaddlePaddle

您的数据可以压缩吗?

ScaleFlux

存储成本 存储技术 数据压缩

PostgreSQL-HA 高可用集群在 Rainbond 上的部署方案

北京好雨科技有限公司

postgresql Kubernetes 云原生 rainbond 企业号 5 月 PK 榜

极狐(GitLab)重磅发布新产品「极狐星」,让研发效能看得清,算得准,成就企业精英效能管理

极狐GitLab

DevOps 研发管理 研发效能 极狐GitLab 研发效能度量

今日分享丨5分钟快速了解Containerd

inBuilder低代码平台

云原生

长三角生物医药产业加速跑,飞桨螺旋桨为创新药企、医药技术伙伴装上AI大模型引擎

飞桨PaddlePaddle

飞桨 科学计算 飞桨螺旋桨 文心生物计算大模型

滋灌中小企业,分销伙伴和华为来做“送水人”

脑极体

分销

【涨知识】PCB板为什么多是绿色的?

攻城狮华哥

PCB PCB电路板 电路板 PCB设计 显影

DPDK与ScaleFlux CSD 3000:金融数据处理的创新组合

ScaleFlux

DPDK 存储技术 数据压缩 金融开源

解析内存中的高性能图结构

NebulaGraph

数据结构 图数据库

开源家装小程序

源字节1号

开源 软件开发 前端开发 后端开发 小程序发开

基于 TiDB + Flink 实现的滑动窗口实时累计指标算法

PingCAP

MySQL 数据库 开源 分布式 TiDB

天翼云“息壤”荣膺第六届数字中国建设峰会“十大硬核科技”称号

天翼云开发者社区

云计算 算力 超算

轻量级思维导图工具:iMap Builder 免激活版

真大的脸盆

Mac 思维导图 Mac 软件

分享:两年两度升级数据库,我们经历了什么

OceanBase 数据库

数据库 oceanbase

应用在虚机和容器场景下如何优雅上下线

华为云开源

微服务 云原生

ScaleFlux压缩存储产品通过 PolarDB-PG社区版和PolarDB-X 开源版认证

ScaleFlux

开源数据库 数据压缩 数据库技术 企业数据

可计算存储技术全面升级CSD 3000存储体验

ScaleFlux

人工智能 机器学习 计算与存储 数据压缩

一文读懂 DNS 解析

火山引擎边缘云

DNS 域名解析 火山引擎 边缘云

长三角生物医药产业加速跑,飞桨螺旋桨为创新药企、医药技术伙伴装上AI大模型引擎

飞桨PaddlePaddle

飞桨 生物医药

直播预告 | 博睿学院:全面升级自适应AIOps

博睿数据

可观测性 AIOPS 智能运维 博睿数据 博睿学院

解决Centos7 yum 出现could not retrieve mirrorlist 错误

北桥苏

Centos 7 linux\

  • 需要帮助,请添加网站小助手,进入 InfoQ 技术交流群
百度举办第七届技术开放日,揭秘春晚红包技术支撑_软件工程_徐川_InfoQ精选文章