基础知识
json和gob是go语言自带的序列化方式,都在encoding包下面。
go自带的json使用反射机制,效率低。easyjson在解析json数据的时候,并不是使用反射机制,而只针对预先定义好的json结构体对输入的json字符串进行纯字符串的截取,并将对应的json字段赋值给结构体。easyjson提供提供了代码生成工具easyjson -all <file>.go,可以一键生成go文件中定义的结构体对应的解析。
messagepack是一种十分高效的编码方式,在文件头加入“//go:generate msgp”,使用go generate xx.go命令生成文件。
要使用easyjson、msgp(全称message pack)和protobuf需要先安装:
go get github.com/mailru/easyjson
go get github.com/tinylib/msgp
go get github.com/gogo/protobuf/protoc-gen-gogofaster
安装后在$GOPATH/bin下生成easyjson、msgp、 protoc-gen-gogofaster三个可执行文件(如果用的是go1.7及以上版本,go get不会默认执行go install,执行go get后还需要手动执行go install,比如执行go install github.com/mailru/easyjson才会生成easyjson这个可执行文件)。
使用easyjson和msgp需要先写一个go文件,定义好要序列化的结构体。
person.go
执行命令 easyjson -all ./serialize/person.go 会生成person_easyjson.go。
执行命令 go generate ./serialize/person.go 会生成person_gen.go和person_gen_test.go。Person结构体的序列化和反序列化函数就在person_gen.go文件里。
要使用protobuf需要先编写.proto文件,为保证对比的公平性,我们定义一个Doc,它跟Person的字段完全相同。
doc.proto
执行命令 protoc -I=. doc.proto --gogofaster_out=. 会生成doc.pb.go,Doc的序列化和反序列化函数就在这个文件里。
单元测试package serialize
基准测试
在跑基础测试时我们通过-benchmem 把内存的使用情况也输出。
速度 ns/op | 内存开销 B/op | ||
序列化 | json | 982 | 224 |
easyjson | 643 | 720 | |
gob | 5714 | 1808 | |
gogo-protobuf | 114 | 48 | |
msgpack | 311 | 160 | |
反序列化 | json | 2999 | 256 |
easyjson | 951 | 32 | |
gob | 338 | 288 | |
gogo-protobuf | 173 | 32 | |
msgpack | 131 | 32 |
结论:
第一梯队:gogo-protobuf序列化比msgp快2倍多,反序列化相差不多。
第二梯队:easyjson比json的主要优势体现在反序列化方面,快了3倍,序列化快的不多。gob的反序列化比json快了9倍,但序列化却比json慢了5倍多。