Payload字段中的压缩/解压缩方法

thbcc · 2020年09月27日07:21

我从MQ中订阅了来自Chain模块的数据，不是通过Java-SDK获取的。现在尝试用protobuf直接反序列化一直失败。在源码中发现微服务之间的通信数据前8个字节是保留字段，第8个字节才是payload字段，并且数据是先压缩、再protobuf序列化。请问这边的压缩算法具体是什么？源码中还未找到，谢谢！

github.com

citahub/cita-common/blob/develop/libproto/src/autoimpl.rs

// Copyright Rivtower Technologies LLC.
//
// Licensed under the Apache License, Version 2.0 (the "License");
// you may not use this file except in compliance with the License.
// You may obtain a copy of the License at
//
// http://www.apache.org/licenses/LICENSE-2.0
//
// Unless required by applicable law or agreed to in writing, software
// distributed under the License is distributed on an "AS IS" BASIS,
// WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
// See the License for the specific language governing permissions and
// limitations under the License.

pub use crate::protos::InnerMessage_oneof_content as MsgClass;
use crate::protos::*;
use protobuf::{parse_from_bytes, Message as MessageTrait};
use snappy;
use std::convert::{From, Into};

This file has been truncated. show original

rink1969 · 2020年10月14日03:38

压缩算法用的是snappy，代码在 https://github.com/citahub/cita-common/blob/develop/snappy/src/lib.rs
但是不是所有消息都是压缩的，只有消息超过一定大小（CITA_SKIP_COMPRESS_SIZE），压缩才会有收益。

具体调用压缩和解压缩的地方是在 https://github.com/citahub/cita-common/blob/develop/libproto/src/autoimpl.rs#L344
set_content和take_content
它们是Message结构的成员方法。这个Message结构是所有消息序列化之后，又封装了一层。