HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

百度万亿流量的转发引擎 BFE 开源了

  • 2019-11-24
  • 本文字数:1424 字

    阅读完需:约 5 分钟

百度万亿流量的转发引擎BFE开源了

BFE(Baidu Front End,百度统一前端)是百度的统一七层流量转发平台。BFE 平台目前已接入百度大部分流量,每日转发请求接近 1 万亿,峰值 QPS 超过 1000 万。在 2019 年百度春晚红包活动中,BFE 平台在超大用户压力、数次流量波峰下平稳运行,保证了春晚红包活动的顺利进行。


作为综合的流量转发平台,BFE 平台集成了以下 4 大功能:


  • 流量接入和转发:支持 HTTP、HTTPS、HTTP/2、QUIC 等多种协议,并支持强大的应用层路由能力

  • 流量全局调度:支持由外网流量调度和内网流量调度共同构成的全局流量调度系统

  • 安全和防攻击:支持黑名单封禁、精细限流和应用层防火墙(WAF)等多种防攻击能力

  • 实时数据分析:支持分钟级的超高维度时序报表


作为 BFE 平台的核心组件,BFE 转发引擎从 2012 年开始研发,并于 2014 年使用 Go 语言完成重构。


由于基于 Go 语言,和业界普遍使用的 Nginx 开源软件相比,BFE 具有以下优势:


  • 研发效率高:Go 语言的开发效率远高于 C 语言(及 Lua),在代码的可维护性方面也有巨大优势。

  • 系统的安全和稳定性高:Go 语言没有 C 语言固有的缓冲区溢出隐患,规避了大量的稳定性和安全风险;另外对于异常可以捕捉,保证程序在快速迭代上线的情况下也不崩溃。


有理由相信,从长期趋势看,基于更高级编程语言的软件系统会逐步取得竞争的优势。CPU 等硬件资源的价格仍会快速下降,而开发人力成本、项目研发风险、系统稳定性/安全性方面会成为更重要的决策考虑。从这方面出发,主要基于 C 语言的 Nginx 会逐步衰落,而类似 BFE 这样的基于更高级编程语言的软件会逐步成为主流。


另外,BFE 在设计中,还特别增加了企业级应用场景的考虑:


  • 转发场景的直接支持:和 Nginx 这样从 Web Server 转型为 Proxy 的进化路径不同,BFE 直接为转发场景设计,从转发模型和转发配置方面更满足转发场景的需求

  • 多租户的支持:在云计算的场景下,多租户复用是普遍的需求。在 BFE 的设计中,内置提供了多租户的支持

  • 结构化的配置:BFE 的配置设计,大量使用 JSON 这样的结构化方式,便于和相关配置管理系统对接

  • 丰富的监控探针:作为一个工业级软件,在 BFE 的设计中充分考虑了线上监控的需求,BFE 程序通过 HTTP 方式向外暴露数千个内部状态变量


为了促进负载均衡技术的交流和发展,BFE 转发引擎于 2019 年夏天正式开源。


https://github.com/baidu/bfe)


BFE 目前已开源并支持以下重要能力:

1、主流网络协议接入

  • 支持 HTTP/HTTPS/SPDY/HTTP2/WebSocket 等

  • 支持 TLS/HTTP/ WebSocket 反向代理模式

2、可扩展插件框架

  • 通过可扩展插件框架,快速定制开发扩展模块,满足业务定制化需求

  • 内置重写、重定向、流量修改、封禁等丰富插件

3、基于请求内容的分流

  • 基于领域专有语言的分流规则,满足复杂业务场景定制化流量转发

  • 支持完备的分流条件原语集,包括基于请求内容(URI/Header/Cookie 等)以及请求上下文(IP、协议、标签、时间等)的条件原语。

4、灵活的负载均衡策略

  • 支持集群级别负载均衡及实例级别负载均衡,实现多可用区容灾及过载保护

  • 内置加权轮询、加权最小连接数策略,基于 IP 或请求内容识别用户实现会话保持


BFE 转发引擎的研发过程,秉承了百度优良的研发传统,经过了多年的技术积累。BFE 已经在百度稳定运行多年,并历经多次大流量的洗礼。以开源贡献社区,是百度技术价值体现的重要方式。希望能借 BFE 开源的机会,与各位同行切磋技术,共建网络接入领域的开源技术生态。


本文转载自公众号 AIOps 智能运维(ID:AI_Ops)。


原文链接:


https://mp.weixin.qq.com/s/qIMh6sL76vcU4TUeTp965w


2019-11-24 23:311418

评论

发布
暂无评论
发现更多内容

手把手教程 | 使用无服务器模板部署机器学习模型

亚马逊云科技 (Amazon Web Services)

AI/ML

利用 Amazon IoT Greengrass 在边缘 DIY 自动浇花系统

亚马逊云科技 (Amazon Web Services)

IoT

“腾源会”成立一周年:助力 40+ 开源项目成长,集结 50+ 位导师大使

腾源会

开源 开源社区 腾源会

Amazon Marketplace上的SaaS架构设计 ——如何支持跨多账户对接

亚马逊云科技 (Amazon Web Services)

AI/ML

在Amazon SageMaker上快速、灵活构建Amazon TensorFlow模型的在线推理服务

亚马逊云科技 (Amazon Web Services)

AI/ML

网易云音乐广告CTR预估模型演进过程

网易数帆

机器学习 CTR 网易云音乐

无监督欺诈检测|基于iForest异常值检测法的反欺诈研究

索信达控股

算法 模型 反欺诈 iForest 金融交易欺诈检测

2022 全栈开发值得关注的技术产品

开源之巅

ide Web 云服务

CRM 和 C4C product category hierarchy的可编辑性控制逻辑

汪子熙

中间件 CRM 28天写作 ERP 12月日更

Dubbo 框架学习笔记十一

风翱

dubbo 12月日更

Amazon SageMaker新玩法——定制你的语音识别模型

亚马逊云科技 (Amazon Web Services)

AI/ML

基于Amazon Machine Learning Bot 的 Named-entity Recognition 快速解决方案

亚马逊云科技 (Amazon Web Services)

AI/ML

使用Amazon SageMaker部署CVAT AI自动图像标注系统

亚马逊云科技 (Amazon Web Services)

AI/ML

手把手教程 | 基于Amazon Kinesis Video Streams实现IP Camera云存项目

亚马逊云科技 (Amazon Web Services)

IoT

实力超越,绝对领先——Amazon SageMaker 在企业 MLOps 平台报告中获得高度肯定

亚马逊云科技 (Amazon Web Services)

AI/ML

语音信号处理7:语音信号的非线性产生模型

轻口味

28天写作 12月日更

2021年的感悟生活

卢卡多多

盘点2021

【12月日更】深度解析redis分布式锁,那些你不知道的秘密!

小梁编程汇

redis 分布式 RedLock redis分布式锁

Amazon SageMaker Data Wrangler 简化数据准备过程,助力机器学习

亚马逊云科技 (Amazon Web Services)

AI/ML

模块七作业

21°Char

如何将您的自定义容器镜像导入Amazon SageMaker Studio Notebooks

亚马逊云科技 (Amazon Web Services)

AI/ML

通过自动关闭Amazon SageMaker Studio中的闲置资源来节省成本

亚马逊云科技 (Amazon Web Services)

AI/ML

自然语言处理实战——巧用 Amazon Comprehend 分析社交媒体数据

亚马逊云科技 (Amazon Web Services)

AI/ML

在亚马逊云科技Marketplace上的SaaS架构设计——如何支持多产品使用单一账户中心

亚马逊云科技 (Amazon Web Services)

AI/ML

虎符上线“圣诞狂欢 没礼不行”活动 邀你瓜分等值66,666 USDT的圣诞礼包

区块链前沿News

区块链 节日 Hoo 虎符交易所 圣诞

在 Amazon Inferentia 上为 PyTorch 自然语言处理应用程序实现 12 倍的吞吐量和低延迟

亚马逊云科技 (Amazon Web Services)

AI/ML

使用Amazon Step Functions Data Science SDK创建基于无服务器架构的工作流

亚马逊云科技 (Amazon Web Services)

AI/ML

直播预告 | 拍乐云与你相约RTSCon2021开发者沙龙

拍乐云Pano

WebRTC RTC

54 K8S之Prometheus介绍

穿过生命散发芬芳

k8s 28天写作 12月日更

使用 Amazon Redshift ML 构建多分类模型

亚马逊云科技 (Amazon Web Services)

AI/ML

Amazon DeepRacer训练日志分析范例与强化学习Reward Function设计

亚马逊云科技 (Amazon Web Services)

AI/ML

百度万亿流量的转发引擎BFE开源了_文化 & 方法_AIOps智能运维_InfoQ精选文章