简介

Protocol Buffers(简称Protobuf)是由Google开发的一种用于数据序列化技术。与传统的XML和JSON相比，Protobuf具有更高的性能和更小的消息体积，特别适用于需要高效数据交换的场景

特点

• 速度快：Protobuf在序列化与反序列化数据时速度极快
• 占空间小：Protobuf序列化后的二进制数据非常小，可节省大量的存储和带宽
• 跨平台：Protobuf支持多种编程语言(常见的几乎都支持)，兼容性好
• 易扩展：使用.proto文件定义数据结构(包括字段类型、默认值和验证规则等)，添加新内容时，也可以轻松做到，不会破坏现有系统
• 简单易用：只需专注.proto数据结构文件的编写，对应的序列化与反序列化代码可自动生成

使用场景

• 分布式系统：各服务之间需要频繁地进行数据交换，Protobuf可以显著提高通信效率
• 存储和持久化：Protobuf能节省很多存储空间，常用于日志记录、配置文件和数据持久化
• 移动应用：在网络带宽和存储空间有限的情况下，Protobuf能更好地提高性能

Proto

proto是protobuf定义数据结构的一种格式，用.proto后缀的文件保存，使用proto编译器可以把对应的proto结构编译为各目标语言的序列化与反序列化代码库

简单的使用模拟

• 使用proto语法(规则)定义我们的数据结构，保存在.proto后缀的文件内
• 使用proto编译器编译.proto文件，指定要编译成目标语言环境(Java、Python等)
• 结果将会生成对应语言的一个代码文件(内包含对应数据序列化与反序列化相关操作的类或函数)
• 接着使用生成的代码文件即可

Proto语法

首先，先看一则消息结构，如下：

• proto3表示使用的proto版本，如不如上指明，编译器会默认为proto2
• message Student表示定义一个名为Student的消息结构
• {}内为消息的字段，采用类型 字段名 = 编号;的形式描述

字段类型

proto的类型主要有三类：标量类型、枚举或复合类型(如其它消息类型)

标量类型

常用的标量类型如下：

上表值给出了C++中对应的类型参考，其它语言亦有与proto对应的类型，具体可自行搜查

默认值：当解析消息时，如果编码的消息不包含某些元素，则访问解析对象中的相应字段将返回该字段的默认值，默认值相关于类型：

对于字符串，默认值为空字符串

对于字节，默认值为空字节

对于布尔值，默认值是false

对于数字类型，默认值是0

对于枚举，默认值是第一个定义的枚举值，它必须是0

枚举

定义一个类型，值为预定义值列表中的一个值

如下，是一个枚举参考：

• 每个枚举都需要一个常量(32位整数范围内)
• 第一个需要为零

保留值：定义完一个枚举后，之后某个时间点可能由于业务需要，要修改其结构，或删除一些项，如果仅是注释掉或直接删除，会导致枚举的常量值不连续，后续其它开发者可以使用这些值新增其它枚举项，如果他们后续又加载相同.proto的旧版本，可能会导致严重的问题(如数据损坏等)

为了防止这种问题发生，我们可以用reserved将这些删除项的常量值声明为保留值，防止后续开发者使用

• reserved后跟保留内容
• 数字表示保留常量
• 字符串表示保留字段名称
• to用于连接连续的一段值
• max表示指定常量数字范围的最大可能值
• 同一个reserved语句中不能同时混合字段名称和数字值

其它消息类型

表示用message定义的其它消息类型

嵌套消息

消息除了一个个定义，还可嵌套定义，如下：

• 在消息内部定义的消息，即为嵌套消息，内部可通过其名称直接使用
• 外部如想使用嵌套消息，可通过_Parent_._Type_的形式引用，如：UserInfo.Avatar

如果想用其它.proto文件内定义的类型，可在文件头使用import文件路径导入指定文件使用

映射

使用关键字map创建、声明，配对键/值字段类型

形式为：map<key, value> name = N;

• key可以是数字或字符串类型(即除了浮点数和 bytes 外的所有标量类型)
• value可以是任何类型，处理另一个map

举例一个映射如下

字段编号

定义消息字段时，必须给每个字段都分配一个编号，数值在1到536,870,911之间

• 给定的数值必须在该消息的所有字段中唯一
• 编号19,000至19,999为Protobuf实现保留，不可用
• 不可使用reserved定义的保留值

建议使用1到15的数字设置常用字段，因为它们只需一个字节进行编码，16之后的数字至少需要两个字节

字段标签

用于声明在定义字段的类型前，起到某种作用

• required：表示字段为必填字段，创建消息时，必须设置该字段的值
• optional：表示字段是可选字段，创建消息时，可设置值也可不设置，消息接收方如可识别，则对应处理，如不可识别则忽略
• repeated：表示该字段可重复0~N个，保留重复值的顺序，即相当于一个数组、列表

保留字段

与上方枚举提到的用法类型，通过reserved定义保留编号和保留字段名称

注释

proto采用与C/C++同样式的注释方法：//或/* ... */

包

为了防止协议消息类型之间的名称冲突，可以在.proto文件中添加可选的package说明符

定义消息类型的字段时可带上包说明符foo.Test bar = 1;

在编译为不同语言时，会做不同处理，如：对于java解析为java中的包，对于C++则解析为名称空间

后言

protobuf使用非常广泛，如很多平台的视频、直播间弹幕流即是使用这种技术传输，如有需要，还可对序列化消息进行gzip压缩，进一步减少消息体积，节省带宽，提高传输速度