写点什么

Facebook 大数据模块快速部署和实时更新

  • 2019-08-29
  • 本文字数:710 字

    阅读完需:约 2 分钟

Facebook 大数据模块快速部署和实时更新

作为全球最大的社交网络公司,Facebook 的基础架构在很多方面面临性能和规模的挑战。为了增加用户数量和提高用户使用体验,我们越来越多的使用统计学习和多角度预测,为用户快速提供最新最感兴趣的信息。这需要系统做到软件快速部署和信息实时更新,其中软件部署互联网服务运维的主要工作之一。保证软件部署速度和数据事实更新会直接关系到系统维护成本和运营收入,特别是保证大规模分布式系统里面大模块内存数据的实时性是极具挑战性的工作。Facebook 高级性能架构工程师冯翼即将在 QCon 全球软件开发大会(上海站)2019分享《Facebook 大数据模块快速部署和实时更新


我们首先介绍 Facebook 服务的基本架构和规模,在此基础上我们分析软件部署速度和数据实时更新对于运维成本和运营收入的影响。我们通过两个具体用例来说明如何巧妙运用传统点对点加速部署并保证更新。这两个实例分别展示了:


  1. 如何大幅度降低软件部署所需要需要的时间和成本;

  2. 提高分布式系统中灾难恢复的速度。


最后和听众分享我们在应用中遇到的问题和解决方法。


这个演讲会由广及深,涵盖大规模互联网服务的基础架构,营收,运维,和技术实现四个层面,面向听众涵盖经理人,产品经理,运维和开发工程师。


嘉宾介绍


冯翼,纽约城市大学研究中心计算机博士, 现任 Facebook 性能架构工程师,主要负责 instagram 和信息安全系统的架构和性能优化。此前在微软和领英任职。工作内容涵盖了性能诊断和优化的大部分领域,包括 CPU,内存,网络 IO,存储空间,平台包括 Windows Server 和 RHEL,语言和 runtime 包括 C#,Java,C++;规模从单机单进程到 20 万台前端服务器集群。工作之余爱美食,做运动车改装,跑赛道。


更多智能运维的相关分享请访问 QCon 上海 2019 官网。


2019-08-29 12:151704

评论

发布
暂无评论
  • 架构师训练营第 1 期 - 第四周总结

    本周的重点学习内容是系统的架构设计,涉及的重点包括了物理层面的拓扑上的架构,也包含了软件层面为了应对目前互联网系统的特点而对应用进行拆分的软件设计架构.

    2020-10-18

  • 大型 Android 应用内存监控如何进行?(上)

    讲师介绍: 张世欣,字节跳动-基础架构组-高级工程师。多年从事安卓基础技术建设,对应用性能监控、底层优化、性能分析工具链等有着深入的研究和实践,目前工作内容是为字节跳动旗下全系 App 提供品质提升的技术方案和工具。 问题背景: 随着我国互联网用户渗透率的提升(截止 2021年 6 月,我国网民使用手机上网的比例达 99.6%),移动互联网从爆发增长期转变到稳定增长期。在存量市场下,能否提供更优质的用户体验,成为影响企业用户规模的重要因素。 内存作为应用运行必需的资源,对应用性能的影响非常明显,稍有不当可能导致应用出现崩溃、卡顿等问题,极大地影响用户体验。因此,开发者有必要明确并且掌握应用的内存监控思路和方法,为应用的性能和稳定保驾护航。 内容看点: 为什么要做内存监控 因内存使用不当出现的问题 如何监控内存不足导致的崩溃 如何查询LMK次数

    2022-01-07

  • 大型 Android 应用内存监控如何进行?(下)

    讲师介绍: 张世欣,字节跳动-基础架构组-高级工程师。多年从事安卓基础技术建设,对应用性能监控、底层优化、性能分析工具链等有着深入的研究和实践,目前工作内容是为字节跳动旗下全系 App 提供品质提升的技术方案和工具。 问题背景: 随着我国互联网用户渗透率的提升(截止 2021年 6 月,我国网民使用手机上网的比例达 99.6%),移动互联网从爆发增长期转变到稳定增长期。在存量市场下,能否提供更优质的用户体验,成为影响企业用户规模的重要因素。 内存作为应用运行必需的资源,对应用性能的影响非常明显,稍有不当可能导致应用出现崩溃、卡顿等问题,极大地影响用户体验。因此,开发者有必要明确并且掌握应用的内存监控思路和方法,为应用的性能和稳定保驾护航。 内容看点: 如何监控后台被强杀的问题 如何监控垃圾回收对流畅性的影响

    2022-01-07

  • 微信的业务架构 & 学生管理系统架构设计

    #微信业务架构图 #学生管理系统架构设计

    2022-01-27

  • 数据湖基本架构

    数据湖可以认为是新一代的大数据基础设施。为了更好的理解数据湖的基本架构,我们先来看看大数据基础设施架构的演进过程。

    2022-06-08

  • 如何搭建直播平台业务服务器?——Java(上)

    讲师介绍: 李阳明,猿辅导服务端研发工程师。在猿辅导目前主要负责直播课堂服务端的研发工作。擅长 Java、数据库、消息队列、服务划分、领域建模等,有 7 年的后端开发经验。 问题背景: 随着音视频直播技术的飞速发展,各种新兴或传统业务与音视频直播能力的结合越来越被广泛应用。现如今,直播平台的业务,不仅面临着高性能高并发的挑战,而且还有高可用性的要求。那么,应该如何兼顾系统的稳定性与业务功能的快速迭代呢?这就需要你掌握一定的相关知识。 内容看点: 直播平台业务服务器的范畴 直播业务所面临的技术挑战 战略上如何应对直播业务的技术挑战?

    2021-08-03

  • 开篇词 | 可观测性,让开发和维护系统的你每晚都能睡个好觉!

    由于各大厂商对云原生的奔赴,传统的技术架构面临着巨大的冲击,监控也被架到了一个不得不革自己命的位置。在这样的背景之下,可观测性(Observability)脱颖而出。

    2022-09-14

  • 以史鉴今:监控是如何一步步发展而来的?

    可观测性是怎样发展而来的?让我们从监控的源头讲起。

    2022-09-14

  • SLICK: Facebook 基于 SLO 的可靠性保障实践

    定义服务的SLI和SLO,通过全局系统呈现、处理所有服务的SLI/SLO,从而帮助SRE实践在系统中的落地。本文介绍了Facebook(Meta)在这方面的实践。

    2021-12-29

  • 模块三 - 架构详细文档

    本文描述了学生管理系统的详细架构,用于该系统的开发、部署和运维

    2021-11-17

  • 实现一个全链路监控平台很难吗?Pinpoint、SkyWalking、Zipkin,哪个实现比较好?

    随着微服务架构的流行,服务按照不同的维度进行拆分,一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器,横跨多个不同的数据中心。

    2021-03-08

  • 冲云破雾——10 分钟带你了解六大云上服务架构

    讲师介绍: 吕蕴偲,SRE 工程师,就职于国内某云服务商,负责 DevOps 及云上解决方案架构设计,多年云行业相关领域经验。熟悉 AWS 亚马逊云、阿里云等公有云,同时拥有 AWS 解决方案架构师认证及阿里云解决方案架构师认证,对多云云上架构设计部署有相关经验。 问题背景: 随着云上服务的开通,我们的需求从地端转换到了云端,以前 IDC 的那套模式已经不完全适用了。线上的架构搭建与线下的搭建有着本质的区别,线下的部署没有所谓的服务模型区分,可以笼统地归结到“基础设施”服务上来。而云上,有着较为明显的界限划分,即分为 IaaS 基础设施即服务、PaaS 平台即服务和 SaaS 软件即服务,近两年又出现了新兴 FaaS 函数即服务的服务模式。 面对这些复杂且多样的云服务,我们该如何根据不同需求搭建架构设计?本节课,我们将从简单到复杂、从单体到分布式说一说常见的几种架构设计和选择。 内容看点: 几种常见的架构设计模式 云端服务架构选择

    2021-12-24

  • linux 之 lscpu 命令

    lscpu 命令显示有关 CPU 架构的信息

    2021-09-20

  • Facebook 起诉水军公司:删不过来,我还告不过来吗?

    深受水军困扰的 Facebook,近日起诉了专业刷虚假评论和点赞的公司。但这仅仅是近一年多时间以来,Facebook 起诉的一小部分。

    2020-06-19

  • 极客时间—架构实战营—第九期—模块二作业

    朋友圈性能复杂度分析

    2022-10-16

  • 极客时间架构 1 期:第 8 周 性能优化(二) - 命题作业

    有两个单向链表(链表长度分别为 m,n),这两个单向链表有可能在某个元素合并,如下图所示的这样,也可能不合并。现在给定两个链表的头指针,在不修改链表的情况下,如何快速地判断这两个链表是否合并?如果合并,找到合并的元素,也就是图中的 x 元素。

    2020-11-15

  • JVM 架构解析

    JVM架构解析

    2022-07-16

  • 软件架构那些事 | InfoQ 大咖说

    本期《大咖说》,我们将聊聊软件架构的前世今生,探讨当下软件架构的发展现状与挑战,与广大程序员谈谈架构师的职业发展。

  • ShowMeBug 黑科技丨一招快速实现架构绘图之鼠标同步

    在线的思维导图如何实现鼠标同步?

    2021-11-10

  • 全链路跟踪系统设计与实现丨 GMTC

    为了支撑日益增长的庞大业务量,业界大量使用微服务架构。如何快速进行故障定位?如何准确进行容量评估?如何动态展示服务的链路?如何进行系统性能优化?这是分布式系统给后台开发同学带来的四大挑战。

发现更多内容

GPT-4免费无限制使用教程

南城FE

人工智能 AI 前端 ChatGPT

机器学习算法(一): 基于逻辑回归的分类预测

汀丶人工智能

数据挖掘 机器学习 数据分析 逻辑回归

4种API性能恶化根因分析

华为云开发者联盟

开发 API 华为云 华为云开发者联盟 企业号 3 月 PK 榜

硬核!阿里出品2023版Java架构师面试指南,涵盖Java所有核心技能

三十而立

Java java面试

综合系统清理优化工具:MacCleaner PRO中文激活版

真大的脸盆

Mac Mac 软件 mac系统清理优化软件 清理工具 清理优化

尚硅谷Java真题详解教程发布

小谷哥

SVN管理工具:Cornerstone 4 激活版

真大的脸盆

svn Mac Mac 软件 SVN客户端

架构实战营第10期毕业设计-秒杀系统

Geek_4db2d5

App Store 新定价机制 - 2023年最全版

37手游iOS技术运营团队

ios iap In App Purchase App Store Connect API app store

谷歌架构师分享gRPC与云原生应用开发Go和Java为例文档

程序知音

Java 架构 云原生 编程语言 后端

9 个可以快速掌握的 Java 性能调优技巧,必须掌握

三十而立

Java

媒体赞誉丨九科信息入选“第一新声”2022高成长新锐企业榜、RPA高成长企业榜,并受邀参加“2022年高科技高成长年度峰会”

九科Ninetech

得物社区计数系统设计与实现

得物技术

性能优化 重构 稳定性

云原生引擎单元测试实践

京东科技开发者

云原生 单元测试 代码覆盖

"我眼中的ChatGPT"征文获奖作品合集

InfoQ写作社区官方

技术专题合集 热门活动 ChatGPT

论文分享丨Holistic Evaluation of Language Models

华为云开发者联盟

人工智能 华为云 论文 华为云开发者联盟 企业号 3 月 PK 榜

【程序员日记】---当“微服务”遇到了“电饼铛“

京东科技开发者

架构 微服务 系统架构 开发 企业号 3 月 PK 榜

面试处处碰壁?不慌,Java核心面试文档.PDF助你披荆斩棘

三十而立

我眼中的优秀PM

BY林子

团队管理 项目管理

Docker等容器技术应用到移动开发的探索

Onegun

容器 docker build 小程序容器

阿里十年架构师总结的Java核心知识点大全,恐怖程度难以想象!

开心学Java

Java spring JVM Java工程师 多线程并发

三月征文活动结果已出炉,快来看看有没有你

InfoQ写作社区官方

热门活动 ChatGPT

户外广告屏为什么会坏?

Dylan

LED 户外LED显示屏

延伸测试边界,银行测试团队转型建议

BY林子

软件测试 敏捷测试 测试转型

HummerRisk 使用教程:资源态势

HummerCloud

一种基于实时大数据的图指标解决方案

京东科技开发者

大数据 运维 系统架构 开发 图指标

PyTorch 深度学习实战 | 基于ResNet的花卉图片分类

TiAmo

数据集 PyTorch

如何构建内部开发者门户:企业参考指南

SEAL安全

企业号 3 月 PK 榜 开发者体验 内部开发者门户

Java程序员涨薪必备的性能调优知识点,收好了

三十而立

Java

场景重塑:乐播投屏搭载无影架构,打造“超级投屏空间”

云布道师

无影

2023年金三银四大厂高频Java面试题(附答案)整理总结

架构师之道

程序员 java面试

Facebook 大数据模块快速部署和实时更新_QCon_冯翼_InfoQ精选文章