QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

Google 的二进制编码格式:Protocol Buffers

  • 2008-07-24
  • 本文字数:2081 字

    阅读完需:约 7 分钟

Google 不久前开源了一种数据交换格式——Protocol Buffers。在它语焉不详的名字背后,藏着的是:

  • 一种描述数据格式的 IDL
  • 对 IDL 所描述的格式进行编码的一种二进制编码方案
  • 通过代码生成器实现的数据绑定支持,Google 提供了 C++、Python、Java 实现

它的 IDL 用来描述数据格式,下面是来自Protocol Buffers 项目网站的例子 <pre id="qz4x11">message Person { <br id="qz4x12"></br> required int32 id = 1; <br id="qz4x13"></br> required string name = 2;<br id="qz4x14"></br>  optional string email = 3; <br id="qz4x15"></br>} 要明确指定字段名称对应的序号(称为“tag”),才能在以后变更格式。如果用自动分配的序号,对格式的更改会引起麻烦(比如在中间插入一个新字段)。为什么呢?因为在二进制格式,tag 是用来说明某段字节编码所表示的(协议描述里的)字段的。明确地分配 tag 序号,搭配上忽略未知 tag 的规则,在变更格式的时候就可以从容增加字段而不影响已有字段。 格式描述保存在.proto 文件里,编译成源代码之后使用。Protocol Buffers 发布的时候已经包括了对 C++、Python 和 Java 的支持。对其他语言的支持也正在进行之中,例如Ruby、Erlang、Perl、Haskell 等等。有意增加其他语言支持的人都应该会很高兴有人已经将.proto 文件的语法反向工程成了EBNF

语言支持就是把.proto 文件转换成目标语言的代码,组成映射到.proto 文件所定义格式的一些类。有了语言支持就能从二进制数据中重组出对象,修改里面的字段,然后把对象的状态重新序列化成二进制格式。

一如以往Google 发布新项目的情况, Protocol Buffers 也激起了不小的骚动,占据了不少博客帖子。 Google 的官方博客也解释了开发Protocol Buffers 的原因,里头曾提到XML 用作编码格式效率非常低。这种说法引来了潮水般的博客贴——有些认为Protocol Buffers 意味着XML 的结束,有些认为Protocol Buffers 不如XML。 Ted Neward 对现状做了如下总结

总而言之,如果你想要松散耦合的终端程序,保留最大的灵活性,那就接着用 XML,包装进 SOAP 封包或者符合底层传输(也就是说 HTTP,因为依赖其他传输形式的 REST 还没有真正被定义)要求的 RESTful 封包。 如果你需要二进制格式,Protocol Buffers 是其中一个答案……但 ICE 也是,甚至 CORBA(虽然参与者日少已经使它失去了吸引力)。不要仅仅由于贴上了 Google 的商标,就忽略了对技术优势和劣势的分析。

与 XML 或 JSON 的比较很容易使人忽略 Protocol Buffers 其实是对现有技术的重新实现。除了前面已经提到的,还有一项广泛使用的技术—— ASN.1 也是其竞争对手。ASN.1 虽然已经存在了几十年,却不怎么显山露水。从用 ASN.1 描述的格式名单来看,这是非常奇怪的一件事情,请看看其中的几种格式:

  • X.509 证书(许多系统的 PKI 都使用,包括 SSL)
  • LDAP
  • Cryptographic Message Syntax(CMS)用于电子邮件加密
  • PKCS#1,用于 RSA 密匙
  • 3G 电话网络

ASN.1 的用途广泛;例如,日常的电信通信就用到 ASN.1 编码的数据。ASN.1 基于与 Protocol Buffers 相似的概念——它也用 IDL 描述数据,用编译器为目标语言生成代码。但两者有一处关键差别—— ASN.1 允许多种编码方法,可以根据用途来选择。 Canonical Encoding Rules(CER)是其中的一种编码方式,其强制实行严格的编码规则,这对数字签名来说很关键,因为稍有差异就意味着很大的区别,其他可用的编码方式还有 Packed Encoding Rules(PER) XML Encoding Rules(XER)允许将数据编码成 XML,ASN.1 也就成了与 XML Schema 并列的选项。 Fast Web Services 技术就能把 XML Schemas 映射成 ASN.1,然后用 ASN.1 在端点之间进行编码效率更高的通信。

还有一种技术与 Google 的 Protocol Buffers 相似,那就是 Facebook 的 Thrift ,它的工作原理也差不多(见Protocol Buffers 与Thrift 的逐点对比)。Binary XML 也是一种不太成功的类似技术,它已经在XML 界酝酿了很久,但成功仍然遥遥无期。Erlang 的创造者Joe Armstrong 也在回答关于Protocol Buffers 的问题时提到可以把UBF 用作一种二进制格式直接传输程序字节码,无需解析。

这些技术共同的目标都是提高效率。有人可能觉得在线路上传输的数据量不是问题,因为有数据压缩技术。然而压缩/ 解压缩只是在使用数据前后执行的额外步骤,实际的解析过程中使用的仍然是没压缩的大量数据。对于XML 来说,意味着一次又一次重复地读取同样的元素标签——简直与Protocol Buffers 的数字标签没法比。当然,改善的程度取决于实际的格式。主要由字符串组成的格式效果就没有主要由数字数据组成的格式那么显著。

Mark Pilgirm 也整理了一份对Protocol Buffer 的反响。还有一个值得注意的方面,从Protocol Buffers 身上可以看出一个RPC 系统的蛛丝马迹。虽然目前还没有向大众公开,但在 Steve Vinoski 的博客上有一位 Google 的员工提到,Google 内部确有这样一个 RPC 系统在担当重任。

你是否遇到过出于效率原因而考虑二进制格式的时候?如果是,你是自己搞一套还是找现有的技术?

阅读英文原文: Google Introduces Binary Encoding Format: Protocol Buffers

2008-07-24 21:528385
用户头像

发布了 225 篇内容, 共 67.1 次阅读, 收获喜欢 52 次。

关注

评论

发布
暂无评论
发现更多内容

真香!阿里最新产出分布式进阶实战手册,涵盖分布式架构所有操作

Java你猿哥

Java 架构 Spring Cloud Spring Boot ssm

全网首推!头条大佬手码的164页Elasticsearch核心学习手册,我服了

做梦都在改BUG

Java 搜索引擎 elasticsearch ES

首屈一指,清华大佬首推"中高级Java程序员进阶小册",程序员架构进阶必备

做梦都在改BUG

Java java面试 Java八股文 Java面试题 Java面试八股文

阿里架构师JVM基础到调优笔记,吃透阿里P6小case

做梦都在改BUG

Java 性能优化 性能调优

Nautilus Chain:我们将支持EIP6969

股市老人

北美 2023 被裁员的感悟

HoneyMoose

原来user.dir竟然会影响classpath的值

Java你猿哥

Java tomcat classpath ssm

专业笔记工具:Keep It 激活版

真大的脸盆

Mac Mac 软件 笔记工具

Generative AI 新世界 | 大型语言模型(LLMs)概述

亚马逊云科技 (Amazon Web Services)

机器学习 tensorflow 开源 PyTorch Amazon SageMaker

【Python金融-001】如何快速计算股票的收益?1行代码,高效做T

程序员晚枫

Python 金融 股票

Spring Boot 开发离不开这些注解,快来学习啦!

Java你猿哥

spring Spring Boot ssm spring aop java框架

Nautilus Chain:我们将支持EIP6969

西柚子

一文读懂Java多线程背后的故事

做梦都在改BUG

Java 多线程

Nautilus Chain:我们将支持EIP6969

鳄鱼视界

一文纵览Umi's Friends生态,GameFi浪潮的变革者

鳄鱼视界

对上一年工作中猫腻的总结

HoneyMoose

以后我准备告别String.format()了,因为它不够香!

Java你猿哥

Java 编程 string 格式化 format

Github上获赞59.8K的面试神技—1658页《Java面试突击核心讲》

做梦都在改BUG

Java java面试 Java八股文 Java面试题 Java面试八股文

Maven的依赖作用域和依赖传递

做梦都在改BUG

Java maven 依赖

大神在民间!碰巧在Github发现一个Java面试高分Guide,已跳槽涨20K

做梦都在改BUG

Java java面试 Java八股文 Java面试题 Java面试八股文

来自大佬的洗礼!全网独家的SpringCloud Alibaba学习笔记,太全了

做梦都在改BUG

Java 架构 微服务 Spring Cloud

2023金三银四Java开发岗热门面试题总结

小小怪下士

Java 程序员 面试 金三银四

深度学习入门系列(一):一文看懂 MNIST

U2647

神经网络 机器学习 深度学习 keras

阿里内部总结的微服务笔记,从入门到精通小白也能学的会

Java你猿哥

分布式 微服务 微服务架构 Spring Cloud ssm

简化Mybatis分页操作,让我们来聊聊 PageHelper 及实现原理

Java你猿哥

Java mybatis ssm PageHelper

SpringBoot异步线程,父子线程数据传递的5种姿势

Java你猿哥

Java Spring Boot 线程 ssm 异步

鲨疯了,阿里限时开源的亿级高并发设计实录,Github都为之低头

做梦都在改BUG

Java 系统设计 高并发

Google的二进制编码格式:Protocol Buffers_Java_Werner Schuster_InfoQ精选文章