两种C++序列化方案使用心得(protobuf和boost serialization)

2019-07-3114:17:29编程语言入门到精通Comments1,758 views字数 5323阅读模式

1. 什么是序列化?

程序员在编写应用程序的时候往往需要将程序的某些数据存储在内存中,然后将其写入某个文件或是将它传输到网络中的另一台计算机上以实现通讯。这个将 程序数据转化成能被存储并传输的格式的过程被称为“序列化”(Serialization),而它的逆过程则可被称为“反序列化” (Deserialization)。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

简单来说,序列化就是将对象实例的状态转换为可保持或传输的格式的过程。与序列化相对的是反序列化,它根据流重构对象。这两个过程结合起来,可以轻 松地存储和传输数据。例如,可以序列化一个对象,然后使用 HTTP 通过 Internet 在客户端和服务器之间传输该对象。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

总结文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

序列化:将对象变成字节流的形式传出去。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

反序列化:从字节流恢复成原来的对象。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

2. 为什么要序列化?好处在哪里?

简单来说,对象序列化通常用于两个目的:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

(1) 将对象存储于硬盘上 ,便于以后反序列化使用文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

(2)在网络上传送对象的字节序列文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

对象序列化的好处在哪里?网络传输方面的便捷性、灵活性就不说了,这里举个我们经常可能发生的需求:你 有一个数据结构,里面存储的数据是经过很多其它数据通过非常复杂的算法生成的,由于数据量很大,算法又复杂,因此生成该数据结构所用数据的时间可能要很久 (也许几个小时,甚至几天),生成该数据结构后又要用作其它的计算,那么你在调试阶段,每次运行个程序,就光生成数据结构就要花上这么长的时间,无疑代价 是非常大的。如果你确定生成数据结构的算法不会变或不常变,那么就可以通过序列化技术生成数据结构数据存储到磁盘上,下次重新运行程序时只需要从磁盘上读 取该对象数据即可,所花费时间也就读一个文件的时间,可想而知是多么的快,节省了我们的开发时间。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

3. C++对象序列化的四种方法

将C++对象进行序列化的方法一般有四种,下面分别介绍:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

3.1 Google Protocol Buffers(protobuf)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

Google Protocol Buffers (GPB)是Google内部使用的数据编码方式,旨在用来代替XML进行数据交换。可用于数据序列化与反序列化。主要特性有:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

高效文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

语言中立(Cpp, Java, Python)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

可扩展文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

官方文档文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

3.2 Boost.Serialization文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

Boost.Serialization可以创建或重建程序中的等效结构,并保存为二进制数据、文本数据、XML或者有用户自定义的其他文件。该库具有以下吸引人的特性:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

代码可移植(实现仅依赖于ANSI C++)。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

深度指针保存与恢复。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

可以序列化STL容器和其他常用模版库。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

数据可移植。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

非入侵性。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

3.3 MFC Serialization文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

Windows平台下可使用MFC中的序列化方法。MFC 对 CObject 类中的序列化提供内置支持。因此,所有从 CObject 派生的类都可利用 CObject 的序列化协议。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

MSDN中的介绍文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

3.4 .Net Framework文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

.NET的运行时环境用来支持用户定义类型的流化的机制。它在此过程中,先将对象的公共字段和私有字段以及类的名称(包括类所在的程序集)转换为字节流,然后再把字节流写入数据流。在随后对对象进行反序列化时,将创建出与原对象完全相同的副本。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

3.5 简单总结文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

这几种序列化方案各有优缺点,各有自己的适用场景。其中MFC和.Net框架的方法适用范围很窄,只适用于Windows下,且.Net框架方法还需要.Net的运行环境。参考文献1从序列化时间、反序列化时间和产生数据文件大小这几个方面比较了前三种序列化方案,得出结论如下(仅供参考):文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

Google Protocol Buffers效率较高,但是数据对象必须预先定义,并使用protoc编译,适合要求效率,允许自定义类型的内部场合使用。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

Boost.Serialization 使用灵活简单,而且支持标准C++容器。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

相比而言,MFC的效率较低,但是结合MSVS平台使用最为方便。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

为了考虑平台的移植性、适用性和高效性,推荐大家使用Google的protobuf和Boost的序列化方案,下面介绍我使用这两种方案的心得及注意事项。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

4. 最常用的两种序列化方案使用心得

关于这两种方案的具体使用和示例没什么好写的,因为优秀的参考资料很多,请看后面给出的相关参考资料,这里只给出我使用时的一些心得,方便大家在选择序列化方案时有个正确的参考,避免选择错误,浪费时间。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

4.1 Google Protocol Buffers文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

protobuf相对而言效率应该是最高的,不管是安装效率还是使用效率,protobuf都很高效,而且protobuf不仅用于C++序列化,还可用于Java和Python的序列化,使用范围很广。但在使用过程中要注意两个问题:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

(1)protobuf支持的数据类型不是很丰富文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

protobuf属于轻量级的,因此不能支持太多的数据类型,下面是protobuf支持的基本类型列表,一般都能满足需求,不过在选择方案之前,还是先看看是否都能支持,以免前功尽弃。同样该表也值得收藏,作为我们在定义类型时做参考。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

两种C++序列化方案使用心得(protobuf和boost serialization)
两种C++序列化方案使用心得(protobuf和boost serialization)

(2)protobuf不支持二维数组(指针),不支持STL容器序列化文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

这个缺陷挺大,因为稍复杂点的数据结构或类结构里出现二维数组、二维指针和STL容器(set、list、map等)很频繁,但因为 protobuf简单的实现机制,只支持一维数组和指针(用repeated修饰符修饰),不能使用repeated repeated来支持二维数组, 也不支持STL,因此在选择该方案之前,一定 要确保你的数据结构里没有这些不支持的类型。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

(3)protobuf嵌套后会改变类名称文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

protobuf支持类的嵌套,即在一个自定义类型中可以定义另一个自定义类型,但注意嵌套的自定义类型在经过protobuf处理后生成的类名称并不是你定义的类名称,而是加上了外层的类名称作为前缀,下面举一个简单的例子:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

message DFA {文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

required int32 _size =1;文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

message accept_pair {文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

required boolis_accept_state =1;文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

required boolis_strict_end =2;文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

optional stringapp_name =3;文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

}文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

repeated accept_pair accept_states =2;文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

}文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

那么嵌套中的accept_pair 生成后的类不是accept_pair 而是DFA_accept_pair 。如果不想改类名称,将accept_pair 拿到外面与DFA平行定义即可。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

4.2 Boost.Serialization文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

Boost库是个很庞大的库,功能非常丰富,序列化只是其中的一个小分支,但为了使用Boost的序列化方案,你需要安装整个Boost库,所花费的磁盘空间和时间都很多,同样支持的序列化功能也很强大,既支持二维数组(指针),也支持STL容器,更不需要我们用某种特殊的格式重新定义我们的类结构,其非侵入的性质使得我们无须改动已有的类结构即可序列化,这时非常赞的一个性质。但是由于体积庞大,安装复杂,如果只是简单的序列化,没必要使用该方案,只有protobuf不能满足你的需求时,才应该考虑该方案。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

(1)安装boost库遇到的一系列问题文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

安装boost库本事就是一项很费时的工程,如果期间出现了各种错误,更加耗时耗耐心。我们可以从官网下载Boost库的二进制源码进行安装,安装方法可以参考网络或后面我给出的参考资料。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

安装过程如下:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

首先解压安装包,如果是tar.gz用tar zxvf解压,如果是tar.bz2用tar jxvf解压,解压后进入解压后的目录,依次运行以下命令:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

./bootstrap.sh文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

sudo ./b2 install文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

注:这里没有指定安装路径,在第二个命令可以加入--prefix指定安装目录。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

安装时的注意事项:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

注意1:要用root权限进行安装,否则会在安装过程中报错,提示权限不足。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

注意2:boost库的安装依赖一些环境,通常有Python、bzip2和zlib,它们所在的软件包分别为:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

Ubuntu下:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

zlib1g-dev文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

libbz2-dev文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

libpython2.7-dev (and libpython3.3-dev)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

Fedora/Redhat下:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

zlib-devel文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

libbz2-devel文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

python-devel (and python3-devel)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

这也是安装过程中报错的主要来源。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

报错1:如果Python库不完整,可能会报“ fatal error: pyconfig.h: No such file or directory compilation terminated.”或者“fatal error: patchlevel.h: No such file or directory”错误。解决方法如下:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

Fedora系统:sudo yum install python-devel文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

Ubuntu系统:sudo apt-get install python-dev文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

报错2:报错 “ libs/iostreams/src/bzip2.cpp:20:56: fatal error: bzlib.h: No such file or directory”,解决方案:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

Fedora系统:sudo yum install bzip2-devel文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

Ubuntu系统或Debian系统:sudo apt-get install libbz2-dev文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

通常对于这些错误,在Ubuntu系统下一般可以通过sudo apt-get install libboost-all-dev全部解决,但不一定行得通。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

(2)安装成功后,如果未指定安装位置,那么默认将会安装到/usr/local/lib和/usr/local/include下,那么我们在使用Boost库进行编译时就需要使用-L和-I参数加上具体的lib和include路径,像下面这样:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

g++ -o test boost_test.cpp -I$BOOST_INCLUDE -L$BOOST_LIB -lboost_serialization文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

如果觉得每次都这样很麻烦,那么可以将我们所要用到的lib和include文件加入到环境变量中,像下面这样:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

sudo cp /usr/local/lib/libboost_serialization.* /usr/lib文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

sudo cp -r /usr/local/include/boost /usr/include文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

然后在编译时直接g++ -o test boost_test.cpp -lboost_serialization即可。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

注意:boost下面有两个序列化lib文件:ibboost_serialization.lib 和 libboost_wserialization.lib,那么这两者有什么区别呢?文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

其实'w' 表示使用的是宽字符,例如 wchar_t。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

(3)boost不尽人意的地方文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

基本类型指针很难序列化,例如int *array,官网上是这么说的:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

By default, data types designated primitive by Implementation Levelclass serialization trait are never tracked. If it is desired totrack a shared primitive object through a pointer (e.g. along used as a reference count), It should be wrappedin a class/struct so that it is an identifiable type.The alternative of changing the implementation level of alongwould affect alllongs serialized in the wholeprogram - probably not what one would intend.文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

也就是说如果你想序列化原生类型的指针,需要给其加上struct或class使其变为类类型再序列化,可见有些麻烦,这样的需求往往也很频繁,鉴于序列化机制的实现原理,boost库暂时还不能很好的支持基本类型的指针序列化。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

不能序列化变长数组(variable-sized array),会报错说变长数组不是模板类类型。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

(4)如果需要定义一个对象数组,如定义含有2个元素的class A对象数组,那么必须用A a[2]定义而不能用对象的指针A *a = new A[2]定义,这样序列化a后默认当作一个A对象处理,因此只能存储一个对象的值,后面的不会存储。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

(5)所谓boost很人性的非侵入性质也有一定的条件:如果不想改动原来的类,那么原来的类属性必须是public的,这很容易解释,因为你必须 要能在别处访问到这些属性并定义其序列化方式,当然这也在其它地方暴露了类的结构,具有一定的劣势。这样的条件往往很难满足,因为我们定义的类属性一般都 是private的,如果是这样,且仍想要使用非侵入性质,那么需要在类中添加以下声明来开放访问给 serialization 库:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

friend class boost::serialization::access;文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

这样的方式比让成员public更好。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/ymba/14804.html
  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/ymba/14804.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定