写点什么

Facebook 大数据模块快速部署和实时更新

  • 2019-08-29
  • 本文字数:710 字

    阅读完需:约 2 分钟

Facebook 大数据模块快速部署和实时更新

作为全球最大的社交网络公司,Facebook 的基础架构在很多方面面临性能和规模的挑战。为了增加用户数量和提高用户使用体验,我们越来越多的使用统计学习和多角度预测,为用户快速提供最新最感兴趣的信息。这需要系统做到软件快速部署和信息实时更新,其中软件部署互联网服务运维的主要工作之一。保证软件部署速度和数据事实更新会直接关系到系统维护成本和运营收入,特别是保证大规模分布式系统里面大模块内存数据的实时性是极具挑战性的工作。Facebook 高级性能架构工程师冯翼即将在 QCon 全球软件开发大会(上海站)2019分享《Facebook 大数据模块快速部署和实时更新


我们首先介绍 Facebook 服务的基本架构和规模,在此基础上我们分析软件部署速度和数据实时更新对于运维成本和运营收入的影响。我们通过两个具体用例来说明如何巧妙运用传统点对点加速部署并保证更新。这两个实例分别展示了:


  1. 如何大幅度降低软件部署所需要需要的时间和成本;

  2. 提高分布式系统中灾难恢复的速度。


最后和听众分享我们在应用中遇到的问题和解决方法。


这个演讲会由广及深,涵盖大规模互联网服务的基础架构,营收,运维,和技术实现四个层面,面向听众涵盖经理人,产品经理,运维和开发工程师。


嘉宾介绍


冯翼,纽约城市大学研究中心计算机博士, 现任 Facebook 性能架构工程师,主要负责 instagram 和信息安全系统的架构和性能优化。此前在微软和领英任职。工作内容涵盖了性能诊断和优化的大部分领域,包括 CPU,内存,网络 IO,存储空间,平台包括 Windows Server 和 RHEL,语言和 runtime 包括 C#,Java,C++;规模从单机单进程到 20 万台前端服务器集群。工作之余爱美食,做运动车改装,跑赛道。


更多智能运维的相关分享请访问 QCon 上海 2019 官网。


2019-08-29 12:151733

评论

发布
暂无评论
  • Facebook 起诉水军公司:删不过来,我还告不过来吗?

    深受水军困扰的 Facebook,近日起诉了专业刷虚假评论和点赞的公司。但这仅仅是近一年多时间以来,Facebook 起诉的一小部分。

    2020-06-19

  • 模块三 - 架构详细文档

    本文描述了学生管理系统的详细架构,用于该系统的开发、部署和运维

    2021-11-17

  • 软件架构那些事 | InfoQ 大咖说

    本期《大咖说》,我们将聊聊软件架构的前世今生,探讨当下软件架构的发展现状与挑战,与广大程序员谈谈架构师的职业发展。

  • JVM 架构解析

    JVM架构解析

    2022-07-16

  • ShowMeBug 黑科技丨一招快速实现架构绘图之鼠标同步

    在线的思维导图如何实现鼠标同步?

    2021-11-10

  • 极客时间架构 1 期:第 8 周 性能优化(二) - 命题作业

    有两个单向链表(链表长度分别为 m,n),这两个单向链表有可能在某个元素合并,如下图所示的这样,也可能不合并。现在给定两个链表的头指针,在不修改链表的情况下,如何快速地判断这两个链表是否合并?如果合并,找到合并的元素,也就是图中的 x 元素。

    2020-11-15

  • 以史鉴今:监控是如何一步步发展而来的?

    可观测性是怎样发展而来的?让我们从监控的源头讲起。

    2022-09-14

  • 开篇词 | 可观测性,让开发和维护系统的你每晚都能睡个好觉!

    由于各大厂商对云原生的奔赴,传统的技术架构面临着巨大的冲击,监控也被架到了一个不得不革自己命的位置。在这样的背景之下,可观测性(Observability)脱颖而出。

    2022-09-14

  • 冲云破雾——10 分钟带你了解六大云上服务架构

    讲师介绍: 吕蕴偲,SRE 工程师,就职于国内某云服务商,负责 DevOps 及云上解决方案架构设计,多年云行业相关领域经验。熟悉 AWS 亚马逊云、阿里云等公有云,同时拥有 AWS 解决方案架构师认证及阿里云解决方案架构师认证,对多云云上架构设计部署有相关经验。 问题背景: 随着云上服务的开通,我们的需求从地端转换到了云端,以前 IDC 的那套模式已经不完全适用了。线上的架构搭建与线下的搭建有着本质的区别,线下的部署没有所谓的服务模型区分,可以笼统地归结到“基础设施”服务上来。而云上,有着较为明显的界限划分,即分为 IaaS 基础设施即服务、PaaS 平台即服务和 SaaS 软件即服务,近两年又出现了新兴 FaaS 函数即服务的服务模式。 面对这些复杂且多样的云服务,我们该如何根据不同需求搭建架构设计?本节课,我们将从简单到复杂、从单体到分布式说一说常见的几种架构设计和选择。 内容看点: 几种常见的架构设计模式 云端服务架构选择

    2021-12-24

  • 大型 Android 应用内存监控如何进行?(下)

    讲师介绍: 张世欣,字节跳动-基础架构组-高级工程师。多年从事安卓基础技术建设,对应用性能监控、底层优化、性能分析工具链等有着深入的研究和实践,目前工作内容是为字节跳动旗下全系 App 提供品质提升的技术方案和工具。 问题背景: 随着我国互联网用户渗透率的提升(截止 2021年 6 月,我国网民使用手机上网的比例达 99.6%),移动互联网从爆发增长期转变到稳定增长期。在存量市场下,能否提供更优质的用户体验,成为影响企业用户规模的重要因素。 内存作为应用运行必需的资源,对应用性能的影响非常明显,稍有不当可能导致应用出现崩溃、卡顿等问题,极大地影响用户体验。因此,开发者有必要明确并且掌握应用的内存监控思路和方法,为应用的性能和稳定保驾护航。 内容看点: 如何监控后台被强杀的问题 如何监控垃圾回收对流畅性的影响

    2022-01-07

  • 架构师训练营第 1 期 - 第四周总结

    本周的重点学习内容是系统的架构设计,涉及的重点包括了物理层面的拓扑上的架构,也包含了软件层面为了应对目前互联网系统的特点而对应用进行拆分的软件设计架构.

    2020-10-18

  • 微信的业务架构 & 学生管理系统架构设计

    #微信业务架构图 #学生管理系统架构设计

    2022-01-27

  • 数据湖基本架构

    数据湖可以认为是新一代的大数据基础设施。为了更好的理解数据湖的基本架构,我们先来看看大数据基础设施架构的演进过程。

    2022-06-08

  • 大型 Android 应用内存监控如何进行?(上)

    讲师介绍: 张世欣,字节跳动-基础架构组-高级工程师。多年从事安卓基础技术建设,对应用性能监控、底层优化、性能分析工具链等有着深入的研究和实践,目前工作内容是为字节跳动旗下全系 App 提供品质提升的技术方案和工具。 问题背景: 随着我国互联网用户渗透率的提升(截止 2021年 6 月,我国网民使用手机上网的比例达 99.6%),移动互联网从爆发增长期转变到稳定增长期。在存量市场下,能否提供更优质的用户体验,成为影响企业用户规模的重要因素。 内存作为应用运行必需的资源,对应用性能的影响非常明显,稍有不当可能导致应用出现崩溃、卡顿等问题,极大地影响用户体验。因此,开发者有必要明确并且掌握应用的内存监控思路和方法,为应用的性能和稳定保驾护航。 内容看点: 为什么要做内存监控 因内存使用不当出现的问题 如何监控内存不足导致的崩溃 如何查询LMK次数

    2022-01-07

  • 如何搭建直播平台业务服务器?——Java(上)

    讲师介绍: 李阳明,猿辅导服务端研发工程师。在猿辅导目前主要负责直播课堂服务端的研发工作。擅长 Java、数据库、消息队列、服务划分、领域建模等,有 7 年的后端开发经验。 问题背景: 随着音视频直播技术的飞速发展,各种新兴或传统业务与音视频直播能力的结合越来越被广泛应用。现如今,直播平台的业务,不仅面临着高性能高并发的挑战,而且还有高可用性的要求。那么,应该如何兼顾系统的稳定性与业务功能的快速迭代呢?这就需要你掌握一定的相关知识。 内容看点: 直播平台业务服务器的范畴 直播业务所面临的技术挑战 战略上如何应对直播业务的技术挑战?

    2021-08-03

  • SLICK: Facebook 基于 SLO 的可靠性保障实践

    定义服务的SLI和SLO,通过全局系统呈现、处理所有服务的SLI/SLO,从而帮助SRE实践在系统中的落地。本文介绍了Facebook(Meta)在这方面的实践。

    2021-12-29

  • 实现一个全链路监控平台很难吗?Pinpoint、SkyWalking、Zipkin,哪个实现比较好?

    随着微服务架构的流行,服务按照不同的维度进行拆分,一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器,横跨多个不同的数据中心。

    2021-03-08

  • linux 之 lscpu 命令

    lscpu 命令显示有关 CPU 架构的信息

    2021-09-20

  • 极客时间—架构实战营—第九期—模块二作业

    朋友圈性能复杂度分析

    2022-10-16

  • 全链路跟踪系统设计与实现丨 GMTC

    为了支撑日益增长的庞大业务量,业界大量使用微服务架构。如何快速进行故障定位?如何准确进行容量评估?如何动态展示服务的链路?如何进行系统性能优化?这是分布式系统给后台开发同学带来的四大挑战。

发现更多内容

好久不见!这份Spring全家桶、Docker、Redis架构大礼包免费赠送

Java架构之路

Java 程序员 架构 面试 编程语言

记一次MapReduce的内存溢出

AI乔治

Java mapreduce 架构 内存溢出

附PPT丨AI和云原生时代的数据库进化之路

dbaplus社群

数据库 云原生

Java进阶文档:彻底搞懂JVM+Linux+MySQL+Netty+Tomcat+并发编程

Java架构之路

Java 程序员 架构 面试 编程语言

太赞了!滴滴开源了一套分布式ID的生成系统...

Java架构师迁哥

EMAS远程日志 - 移动端问题排查利器

移动研发平台EMAS

阿里云 运维 日志 监控告警 应用

信任的传递——为什么我们需要第三方授权?

张凯峰

证书 身份认证

我和阿里P7差的不是薪资?而是Redis+微服务+Nginx+MySQL+Tomcat

Java架构之路

Java 程序员 架构 面试 编程语言

耗时一个月整理的97道大厂Java核心面试题出炉,精心整理,无偿分享

Java架构之路

Java 程序员 架构 面试 编程语言

第13周作业

饭桶

Java中多线程安全问题实例分析

叫练

Java 多线程 什么是多线程 多线程与高并发

面向全场景模块化设计 京东智联云的服务器部署有多灵活?

京东科技开发者

服务器 云主机

Shell脚本命令常用技巧

MySQL从删库到跑路

shell脚本编写

面试被问高并发一脸懵?那是你没看过我整理得高并发回答模板

小Q

Java 学习 面试 高并发 性能调优

80%Java开发者面试都问的SpringBoot你竟不会?看完这些笔记足以

Java架构之路

Java 程序员 架构 面试 编程语言

VACUUM无法从表中删除死元组的三个原因

PostgreSQLChina

数据库 postgresql

传统巨头抢占区块链场景高地 医疗、汽车、金融成为热门赛道

CECBC

区块链 金融

一文为你详解Unique SQL原理和应用

华为云开发者联盟

数据库 sql unique

一口气说出四种幂等性解决方案,面试官露出了姨母笑~

不才陈某

Java 分布式 接口

第十三周学习总结

饭桶

建信金科大咖访谈:金融衍生品定价与建行实践

金科优源汇

金融科技 金融创新

Elasticsearch 新机型发布,性能提升30%

腾讯云大数据

大数据 elasticsearch Elastic Stack

云图说 | 云上资源管控有神器!关于IAM,你想知道的都在这里!

华为云开发者联盟

服务 权限管理 iam

住建部等六部门:广泛运用区块链等技术,建设智慧物业管理服务平台

CECBC

物业生活

图文回顾丨北京「解构云原生:企业数字化转型新支点」沙龙

Rancher

k8s rancher

云南区块链电子发票全面推广啦!

CECBC

区块链 纳税人

浅谈JDK并发包下面的分治思想及分治思想在高并发场景的运用

AI乔治

Java 架构 jdk 分布式 多线程与高并发

AWS 助力贝壳VR看房走出国门,升级全球居住服务新体验

亚马逊云科技 (Amazon Web Services)

AWS

即构实时音视频多中心调度设计

ZEGO即构

搭建网站/APP最全准备攻略

前嗅大数据

小程序 建站 APP发布

如何在数智化时代少走弯路? 这里有100个案例可以借鉴

京东科技开发者

DevOps 云原生

Facebook 大数据模块快速部署和实时更新_QCon_冯翼_InfoQ精选文章