百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术分析 > 正文

架构师必懂的——七种序列化机制及技术选型

liebian365 2024-10-24 14:39 20 浏览 0 评论



一、序列化定义

序列化(serialization)就是将对象序列化为二进制形式(字节数组),一般也将序列化称为编码(Encode),主要用于网络传输、数据持久化等;

反序列化(deserialization)则是将从网络、磁盘等读取的字节数组还原成原始对象,以便后续业务的进行,一般也将反序列化称为解码(Decode),主要用于网络传输对象的解码,以便完成远程调用。

二、序列化协议“鼻祖”

大家都懂的第一种序列化协议就是Java默认提供的序列化机制,需要序列化的Java对象只需要实现Serializable / Externalizable 接口并生成序列化ID,这个类就能够通过 ObjectInput 和 ObjectOutput 序列化和反序列化,若对Java默认的序列化协议不了解,或是遗忘了,请参考:序列化详解。但是Java默认提供的序列化有很多问题,主要有以下几个缺点:

  • 无法跨语言:我认为这对于Java序列化的发展是致命的“失误”,因为Java序列化后的字节数组,其它语言无法进行反序列化。
  • 序列化后的码流太大::相对于目前主流的序列化协议,Java序列化后的码流太大;
  • 序列化的性能差:由于Java序列化采用同步阻塞IO,相对于目前主流的序列化协议,它的效率非常差。



三、影响序列化性能的关键因素

  • 序列化后的码流大小(网络带宽的占用);
  • 序列化的性能(CPU资源占用);
  • 是否支持跨语言(异构系统的对接和开发语言切换)。

四、几种流行的序列化协议比较

第一种:XML

(1)定义:

XML(Extensible Markup Language)是一种常用的序列化和反序列化协议, 它历史悠久,从1998年的1.0版本被广泛使用至今。

(2)优点

人机可读性好、可指定元素或特性的名称

(3)缺点

  • 序列化数据只包含数据本身以及类的结构,不包括类型标识和程序集信息。
  • 类必须有一个将由 XmlSerializer 序列化的默认构造函数。
  • 只能序列化公共属性和字段
  • 不能序列化方法
  • 文件庞大,文件格式复杂,传输占带宽

(4)使用场景

当做配置文件存储数据、实时数据转换



第二种:JSON

(1)定义:

JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。它基于ECMAScript (w3c制定的js规范)的一个子集, JSON采用与编程语言无关的文本格式,但是也使用了类C语言(包括C, C++, C#, Java, JavaScript, Perl, Python等)的习惯,简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。

(2)优点

  • 前后兼容性高
  • 数据格式比较简单,易于读写
  • 序列化后数据较小,可扩展性好,兼容性好
  • 与XML相比,其协议比较简单,解析速度比较快

(3)缺点

  • 数据的描述性比XML差
  • 不适合性能要求为ms级别的情况
  • 额外空间开销比较大

(4)适用场景(可替代XML)

  • 跨防火墙访问
  • 可调式性要求高的情况
  • 基于Web browser的Ajax请求
  • 传输数据量相对小,实时性要求相对低(例如秒级别)的服务

第三种:Fastjson

(1)定义

Fastjson是一个Java语言编写的高性能功能完善的JSON库。它采用一种“假定有序快速匹配”的算法,把JSON Parse的性能提升到极致。

(2)优点

  • 接口简单易用
  • 目前java语言中最快的json库

(3)缺点

  • 过于注重快,而偏离了“标准”及功能性
  • 代码质量不高,文档不全

(4)适用场景

  • 协议交互
  • Web输出
  • Android客户端

第四种:Thrift

(1)定义:

Thrift并不仅仅是序列化协议,而是一个RPC框架。它可以让你选择客户端与服务端之间传输通信协议的类别,即文本(text)和二进制(binary)传输协议, 为节约带宽,提供传输效率,一般情况下使用二进制类型的传输协议。

(2)优点

  • 序列化后的体积小, 速度快
  • 支持多种语言和丰富的数据类型
  • 对于数据字段的增删具有较强的兼容性
  • 支持二进制压缩编码

(3)缺点

  • 使用者较少
  • 跨防火墙访问时,不安全
  • 不具有可读性,调试代码时相对困难
  • 不能与其他传输层协议共同使用(例如HTTP)
  • 无法支持向持久层直接读写数据,即不适合做数据持久化序列化协议

(4)适用场景

分布式系统的RPC解决方案

第五种:Avro

(1)定义:

Avro属于Apache Hadoop的一个子项目。 Avro提供两种序列化格式:JSON格式或者Binary格式。Binary格式在空间开销和解析性能方面可以和Protobuf媲美,Avro的产生解决了JSON的冗长和没有IDL的问题

(2)优点

  • 支持丰富的数据类型
  • 简单的动态语言结合功能
  • 具有自我描述属性
  • 提高了数据解析速度
  • 快速可压缩的二进制数据形式
  • 可以实现远程过程调用RPC
  • 支持跨编程语言实现

(3)缺点

对于习惯于静态类型语言的用户不直观

(4)适用场景

在Hadoop中做Hive、Pig和MapReduce的持久化数据格式

第七种:Protobuf

(1)定义

protocol buffers 由谷歌开源而来,在谷歌内部久经考验。它将数据结构以.proto文件进行描述,通过代码生成工具可以生成对应数据结构的POJO对象和Protobuf相关的方法和属性。

(2)优点

  • 序列化后码流小,性能高
  • 结构化数据存储格式(XML JSON等)
  • 通过标识字段的顺序,可以实现协议的前向兼容
  • 结构化的文档更容易管理和维护

(3)缺点

  • 需要依赖于工具生成代码
  • 支持的语言相对较少,官方只支持Java 、C++ 、Python

(4)适用场景

  • 对性能要求高的RPC调用
  • 具有良好的跨防火墙的访问属性
  • 适合应用层对象的持久化
  • 开源的物联网平台使用较多,比如Thingsboard。

其它

  • protostuff 基于protobuf协议,但不需要配置proto文件,直接导包即
  • Jboss marshaling 可以直接序列化java类, 无须实java.io.Serializable接口
  • Message pack 一个高效的二进制序列化格式
  • Hessian 采用二进制协议的轻量级remoting onhttp工具
  • kryo 基于protobuf协议,只支持java语言,需要注册(Registration),然后序列化(Output),反序列化(Input)

五、性能对比图解




分析上图知:

  • XML序列化(Xstream)无论在性能和简洁性上比较差。
  • Thrift与Protobuf相比在时空开销方面都有一定的劣势。
  • Protobuf和Avro在两方面表现都非常优越。

六、选型建议

不同的场景适用的序列化协议:

  • 对于公司间的系统调用,如果性能要求在100ms以上的服务,基于XML的SOAP协议是一个值得考虑的方案。
  • 基于Web browser的Ajax,以及Mobile app与服务端之间的通讯,JSON协议是首选。对于性能要求不太高,或者以动态类型语言为主,或者传输数据载荷很小的的运用场景,JSON也是非常不错的选择。
  • 对于调试环境比较恶劣的场景,采用JSON或XML能够极大的提高调试效率,降低系统开发成本。
  • 当对性能和简洁性有极高要求的场景,Protobuf,Thrift,Avro之间具有一定的竞争关系。
  • 对于T级别的数据的持久化应用场景,Protobuf和Avro是首要选择。如果持久化后的数据存储在Hadoop子项目里,Avro会是更好的选择。
  • 由于Avro的设计理念偏向于动态类型语言,对于动态语言为主的应用场景,Avro是更好的选择。
  • 对于持久层非Hadoop项目,以静态类型语言为主的应用场景,Protobuf会更符合静态类型语言工程师的开发习惯。
  • 如果需要提供一个完整的RPC解决方案,Thrift是一个好的选择。
  • 如果序列化之后需要支持不同的传输层协议,或者需要跨防火墙访问的高性能场景,Protobuf可以优先考虑。

相关推荐

快递查询教程,批量查询物流,一键管理快递

作为商家,每天需要查询许许多多的快递单号,面对不同的快递公司,有没有简单一点的物流查询方法呢?小编的回答当然是有的,下面随小编一起来试试这个新技巧。需要哪些工具?安装一个快递批量查询高手快递单号怎么快...

一键自动查询所有快递的物流信息 支持圆通、韵达等多家快递

对于各位商家来说拥有一个好的快递软件,能够有效的提高自己的工作效率,在管理快递单号的时候都需要对单号进行表格整理,那怎么样能够快速的查询所有单号信息,并自动生成表格呢?1、其实方法很简单,我们不需要一...

快递查询单号查询,怎么查物流到哪了

输入单号怎么查快递到哪里去了呢?今天小编给大家分享一个新的技巧,它支持多家快递,一次能查询多个单号物流,还可对查询到的物流进行分析、筛选以及导出,下面一起来试试。需要哪些工具?安装一个快递批量查询高手...

3分钟查询物流,教你一键批量查询全部物流信息

很多朋友在问,如何在短时间内把单号的物流信息查询出来,查询完成后筛选已签收件、筛选未签收件,今天小编就分享一款物流查询神器,感兴趣的朋友接着往下看。第一步,运行【快递批量查询高手】在主界面中点击【添...

快递单号查询,一次性查询全部物流信息

现在各种快递的查询方式,各有各的好,各有各的劣,总的来说,还是有比较方便的。今天小编就给大家分享一个新的技巧,支持多家快递,一次能查询多个单号的物流,还能对查询到的物流进行分析、筛选以及导出,下面一起...

快递查询工具,批量查询多个快递快递单号的物流状态、签收时间

最近有朋友在问,怎么快速查询单号的物流信息呢?除了官网,还有没有更简单的方法呢?小编的回答当然是有的,下面一起来看看。需要哪些工具?安装一个快递批量查询高手多个京东的快递单号怎么快速查询?进入快递批量...

快递查询软件,自动识别查询快递单号查询方法

当你拥有多个快递单号的时候,该如何快速查询物流信息?比如单号没有快递公司时,又该如何自动识别再去查询呢?不知道如何操作的宝贝们,下面随小编一起来试试。需要哪些工具?安装一个快递批量查询高手快递单号若干...

教你怎样查询快递查询单号并保存物流信息

商家发货,快递揽收后,一般会直接手动复制到官网上一个个查询物流,那么久而久之,就会觉得查询变得特别繁琐,今天小编给大家分享一个新的技巧,下面一起来试试。教程之前,我们来预览一下用快递批量查询高手...

简单几步骤查询所有快递物流信息

在高峰期订单量大的时候,可能需要一双手当十双手去查询快递物流,但是由于逐一去查询,效率极低,追踪困难。那么今天小编给大家分享一个新的技巧,一次能查询多个快递单号的物流,下面一起来学习一下,希望能给大家...

物流单号查询,如何查询快递信息,按最后更新时间搜索需要的单号

最近有很多朋友在问,如何通过快递单号查询物流信息,并按最后更新时间搜索出需要的单号呢?下面随小编一起来试试吧。需要哪些工具?安装一个快递批量查询高手快递单号若干怎么快速查询?运行【快递批量查询高手】...

连续保存新单号功能解析,导入单号查询并自动识别批量查快递信息

快递查询已经成为我们日常生活中不可或缺的一部分。然而,面对海量的快递单号,如何高效、准确地查询每一个快递的物流信息,成为了许多人头疼的问题。幸运的是,随着科技的进步,一款名为“快递批量查询高手”的软件...

快递查询教程,快递单号查询,筛选更新量为1的单号

最近有很多朋友在问,怎么快速查询快递单号的物流,并筛选出更新量为1的单号呢?今天小编给大家分享一个新方法,一起来试试吧。需要哪些工具?安装一个快递批量查询高手多个快递单号怎么快速查询?运行【快递批量查...

掌握批量查询快递动态的技巧,一键查找无信息记录的两种方法解析

在快节奏的商业环境中,高效的物流查询是确保业务顺畅运行的关键。作为快递查询达人,我深知时间的宝贵,因此,今天我将向大家介绍一款强大的工具——快递批量查询高手软件。这款软件能够帮助你批量查询快递动态,一...

从复杂到简单的单号查询,一键清除单号中的符号并批量查快递信息

在繁忙的商务与日常生活中,快递查询已成为不可或缺的一环。然而,面对海量的单号,逐一查询不仅耗时费力,还容易出错。现在,有了快递批量查询高手软件,一切变得简单明了。只需一键,即可搞定单号查询,一键处理单...

物流单号查询,在哪里查询快递

如果在快递单号多的情况,你还在一个个复制粘贴到官网上手动查询,是一件非常麻烦的事情。于是乎今天小编给大家分享一个新的技巧,下面一起来试试。需要哪些工具?安装一个快递批量查询高手快递单号怎么快速查询?...

取消回复欢迎 发表评论: