浮点流无损压缩：块级去相关与熵编码工程实践

在科学计算、时序数据库、物联网传感数据采集等场景中，浮点数据流的高效存储与传输一直是工程难点。与通用文本压缩不同，浮点数据具有 IEEE 754 标准化的二进制表示、相邻数值间的时间相关性以及块内共享的指数位特征，这为设计专用压缩算法提供了结构化切入点。fc 作为研究级浮点压缩工具，通过块级去相关与熵编码的协同设计，在时序与空间数据上实现了较高的压缩率与吞吐量平衡。本文从工程视角出发，剖析块级去相关的原理、熵编码器的选型考量，以及可落地的参数配置建议。

浮点数据压缩的核心挑战

浮点数的 IEEE 754 表示将一个数值拆分为符号位、指数位与尾数位三个部分。以双精度浮点为例，1 位符号、11 位指数、52 位尾数构成了 64 位的完整布局。直接使用通用压缩算法（如 zlib）对浮点二进制串进行处理，效果往往不理想，原因在于通用算法无法感知浮点数的内部结构，无法利用指数位的稀疏性与尾数位的时间相关性。具体而言，传感器采集的连续采样值在物理量上通常呈现平滑变化，相邻采样点的尾数位高位往往相同，仅低位存在细微波动；而同一数据块内的多个浮点数往往共享相近的指数值。这些结构化特征正是专用浮点压缩算法着力利用的核心信息。

通用压缩器的另一个不足在于其基于字节的处理粒度。浮点数的指数位与尾数位在字节边界上并不对齐，一个指数位的变动可能跨越两个字节，导致通用压缩器的字节级统计模型无法准确捕捉这种跨字节的位模式规律。因此，设计浮点专用压缩器时需要以位为处理粒度，构建能够反映浮点数据内在结构的统计模型。

块级去相关：利用时序与空间冗余

块级去相关是浮点压缩的核心策略之一，其基本思想是将一组连续的浮点值组织为块，在块内通过预测或变换消除数值间的相关性，然后将预测误差或变换残差送入熵编码器进行压缩。这一过程的有效性取决于两个关键因素：块内数据的相关性强度与预测模型的准确性。

预测模型的选择

最简单的预测模型是前值预测，即认为当前值等于前一个值，预测误差即为相邻值的差值。该模型实现简单，计算开销极低，但对于变化剧烈的数据（如金融 tick 数据）压缩效果有限。更强的预测模型包括线性预测、多项式拟合以及基于 Lorenz 吸引子的混沌预测。FPC 算法采用了一种称为 Gorilla 的 XOR 模式，对相邻浮点值的二进制表示进行 XOR 操作，利用大多数情况下相邻值仅在低位存在差异这一特点，将 XOR 结果中大量的前导零与尾随零转化为可压缩信息。

另一种常用的去相关策略是块浮点表示。在一个数据块内，首先找到所有浮点数的最大指数值，然后将该指数作为块的公共指数，对每个尾数进行右移对齐。经过对齐处理后，块内所有浮点数的指数位完全相同（均为公共指数），尾数位则保留了原始数据的相对大小关系。块浮点表示特别适用于物理量呈现平滑梯度的场景，如数值模拟的温度场、流场数据。实现时需要额外存储每个块的公共指数值，这部分开销通常很小，因为一个块通常包含数十到数百个浮点值，而公共指数仅需少量字节表示。

块大小的工程权衡

块大小的选择是块级去相关设计中的关键参数。较大的块能够捕捉更长的相关性模式，提高去相关效果，但同时带来两个工程代价：其一是内存占用的增加，压缩与解压缩过程需要缓存整个块的数据；其二是误差传播，在块内任一位置发生错误时，错误会扩散到整个块的解码过程中。对于实时流处理场景，通常建议将块大小控制在 4KB 到 64KB 之间，对应双精度浮点数个数约为 512 到 8192 个。

对于离线批量处理场景（如科学数据集的压缩存档），可以采用更大的块以追求更高的压缩率。实验数据表明，当块大小从 1KB 增加到 64KB 时，压缩率通常呈现先升后趋于平稳的曲线，拐点位置与数据的统计特性相关。实际调优时建议以 2 的幂次为步进，在 1KB、2KB、4KB、8KB、16KB、32KB、64KB 七个档位上测试，取压缩率与吞吐量综合最优的值。

熵编码器：最终压缩的关键一环

经过块级去相关处理后，预测误差或块浮点残差需要通过熵编码器转化为紧凑的比特流。熵编码的理论基础是香农信息论，编码器的目标是以接近数据熵的码长表示每个符号，从而实现压缩。浮点压缩领域常用的熵编码器包括霍夫曼编码、算术编码、区间编码以及近年来流行的非对称数值系统（ANS）编码。

霍夫曼编码的局限与改进

霍夫曼编码是最经典的熵编码方法，其优点在于编解码速度快、实现简单，缺点是码长必须为整数，无法达到理论熵。对于浮点压缩中常见的误差分布，霍夫曼编码的冗余通常在 5% 到 15% 之间。对于追求极致压缩率的场景，这一开销往往不可接受。改进方向之一是使用扩展的霍夫曼编码，对常见的误差模式使用短码，对稀有模式使用负长度的逃逸码加次优编码的组合。

ANS：压缩率与速度的新平衡

ANS（Asymmetric Numeral Systems）是法国数学家 Jarek Duda 提出的新一代熵编码技术，在保持接近算术编码压缩率的同时，实现了与霍夫曼编码相当的编解码速度。ANS 的核心思想是将概率分布映射到一个非均匀的字母表，通过状态转移实现高效的熵编码。Facebook 的 Zstandard 压缩算法正是基于 ANS 技术，在通用压缩领域取得了压缩率与速度的优异平衡。

在浮点压缩场景中，ANS 编码器需要针对预测误差的概率分布进行专门调优。由于预测误差通常呈现以零为中心的长尾分布（多数误差接近零，少数误差绝对值很大），ANS 的参数配置应确保零误差与小误差具有较短的编码长度。实践中推荐使用预训练的误差分布模型初始化 ANS 状态表，在线处理时根据实际数据的统计特性进行自适应更新。

自适应熵编码的必要性

静态熵编码器在整个压缩过程中使用固定的概率模型，无法适应数据统计特性的时变。对于时序数据流，不同时间段的采样率、噪声水平、物理过程动态范围可能存在显著差异，使用静态模型会导致压缩率下降。解决这个问题的主流方案是采用自适应熵编码，即在压缩过程中持续更新概率模型参数。最简单的自适应策略是对每个数据块独立建立统计模型，块间不共享状态；更激进的策略是在块内以滑动窗口方式更新模型参数，实现更细粒度的自适应。

工业级参数配置参考

基于浮点压缩领域的工程实践与学术研究成果，以下参数配置可作为系统初始化的起点。块大小参数建议从 16KB 开始，对于时序数据流可适当降低至 8KB 以改善实时响应，对于静态存档数据可提高至 32KB 以提升压缩率。去相关策略方面，如果数据呈现明显的线性趋势（如匀速运动物体的位置坐标），建议在块浮点对齐之前增加一阶差分处理；如果数据变化剧烈但尾数位相对稳定（如传感器标定后的测量值），建议使用 XOR 模式。

熵编码器的选择取决于吞吐量的具体要求。以解压吞吐量优先的场景（如实时数据可视化），建议使用 ANS 编码器配合 8 位到 12 位的快速路径；以压缩率优先的场景（如数据归档），建议使用区间编码配合更精细的概率估计模型。以压缩比优先的场景，建议采用 ANS 编码器配合块内自适应更新，每处理 1KB 数据更新一次概率模型参数。

监控指标与调优闭环

生产环境中部署浮点压缩模块时，建议监控以下核心指标以建立调优闭环。压缩率定义为原始数据体积与压缩后数据体积的比值，目标值因数据类型而异：时序传感器数据通常可达到 2 倍到 5 倍的压缩率，数值模拟的场数据（温度、压力）可达 3 倍到 10 倍，而随机性较高的金融 tick 数据通常仅为 1.2 倍到 2 倍。吞吐量指标包括压缩速度与解压速度，单位通常为 MB/s 或 GB/s，解压速度通常应达到数据消费速度的 1.5 倍以上以预留缓冲余量。内存占用指标包括压缩模块的峰值内存与平均内存，对于嵌入式或边缘计算场景尤为关键。

当监控指标偏离预期时，调优路径如下：如果压缩率低于预期，首先检查数据块的统计特性是否与设计假设吻合（可通过采样分析块内浮点值的指数分布与尾数变化率），其次考虑更换去相关策略；如果吞吐量不足，首先尝试增大块大小以摊薄固定开销，其次检查熵编码器是否处于快速路径模式，最后考虑使用 SIMD 指令或 GPU 加速。

资料来源

• Floating Point Compression: Lossless and Lossy Solutions (LLNL)¹
• Elf: Erasing-based Lossless Floating-Point Compression (VLDB 2023)²
• ALP: Adaptive Lossless Floating-Point Compression (GitHub/cwida)³

systems