在现代多核系统中，大型归档文件的压缩往往成为性能瓶颈。XZ Utils（原 LZMA Utils）通过多线程 LZMA2 压缩机制，利用块级并行编码（parallel block encoders）和 BCJ（Branch/Call/Jump）滤波器链，提供高效的高吞吐归档解决方案。该机制将输入数据拆分为独立块，每个块由单独线程处理完整滤波器链（BCJ + LZMA2），显著提升压缩速度，同时保持优秀压缩比。
多线程 LZMA2 的块并行核心原理
XZ Utils 的多线程压缩并非对单个 LZMA2 字典进行并行匹配查找，而是将输入流拆分为多个独立 “块”（Blocks）。每个块是一个自包含的压缩单元，包含自己的头部信息（如块大小），支持未来多线程解压。“Multi-threaded compression is enabled with the threads option”，默认单块模式下为单线程，但启用多线程时自动或手动指定线程数，输入按块大小切分，每个线程独占一个块的缓冲区进行并行编码。
具体流程：
- 块切分：根据
--block-size参数（默认约 LZMA2 字典大小的 3 倍，或最小 1 MiB）将输入切分为块。推荐块大小为字典的 2–4 倍，避免块过小导致 LZMA2 窗口利用不足。 - 并行编码：每个线程独立运行滤波器链。首先应用 BCJ 滤波器（针对 x86/ARM 等指令转换相对跳转，提高可压缩性），然后 LZMA2 编码。线程间无依赖，可充分利用多核。
- 流组装：编码后的块序列化成单一 .xz Stream，块头部存储大小信息，便于解压器并行跳读（当前 xz 解压单线程，但格式兼容）。
此设计权衡了速度与压缩比：多块引入少量头部开销（~1-2% 文件大小），但并行度随线程数线性提升。测试显示，在 16 核 CPU 上，使用 8 线程可将压缩时间缩短 5–7 倍，吞吐达数百 MiB/s。
BCJ 滤波器链在并行中的集成
BCJ 滤波器专为二进制可执行文件优化，将分支 / 调用 / 跳转指令的相对偏移转换为绝对值，便于 LZMA2 捕捉重复模式。滤波器链格式为有序列表，如 {bcj=x86, lzma2=dict=64MiB}。
在多线程模式下：
- 每块独立链：每个块可配置相同或不同滤波器链。例如，可执行区用 BCJ+x86 + LZMA2，文本区纯 LZMA2，避免过度滤波。
- 并行无干扰：BCJ 操作限于块内未压缩流，不跨块传播，确保线程隔离。
- 高级用法：使用 liblzma API 的
lzma_block或 xz 的--block-list指定异构块，提升混合数据压缩比。
例如，针对内核镜像（含代码 + 数据），链式 BCJ 可额外节省 5–10% 大小。
可落地参数调优与配置清单
工程实践中，参数选择需平衡 CPU、内存与压缩比。XZ Utils 预设（-0 至 -9）隐含字典大小（4 KiB 至 64 MiB）和匹配查找器，结合多线程使用。
关键参数表
| 参数 | 推荐值 | 说明 | 影响 |
|---|---|---|---|
--threads=N 或 -T N |
0 (auto, ≤核心数) | 线程数，0 为自动检测 | 速度↑，内存↑，开销↑ |
--block-size=SIZE |
64M–256M | 块大小 (MiB)，≥字典 2x | 并行粒度，内存 / 开销权衡 |
-9ev |
-9 (ultra) + e (extreme) + v (verbose) |
最高压缩，LZMA2 dict=64MiB | 比↑，时间↑ |
--memlimit-compress=RAM |
总 RAM 的 50–80% | 压缩内存上限，自动降线程 / 字典 | 防止 OOM |
| 滤波器链 | bcj2=ia64,lzma2=dict=32MiB |
BCJ 变体 + LZMA2 | 可执行文件比↑5–15% |
示例命令
- 通用高吞吐：
xz -T0 --block-size=128M -6 input.tar（中等预设，快速）。 - 极致压缩（带 BCJ）：
xz -T4 --block-size=64M -9 --extreme -c 'bcj=x86,lzma2=dict=64MiB,preset=9' input.exe。 - 内存受限：
xz -T2 --memlimit-compress=4GiB -7 input.large（自动调整）。
监控要点：
- 内存：每个线程 ≈ 3× 块大小 + 编码器状态（~ 字典 1.5x）。8 线程 128M 块需～3 GiB。
- 性能：用
time xz -v观察 MiB/s，目标 >200 MiB/s 压缩。 - 验证：
xz -l file.xz检查块数 / 滤波器；xz -d --threads=0测试解压（当前单线程）。
风险与回滚策略
- 开销：多块文件大 1–3%，若追求最小大小，回滚
-T1。 - 内存超限：自动降级至单线程，监控
dmesg | grep oom。 - 兼容：旧解压器支持单块回退，确保块头完整。
通过上述配置，在 NVMe + 多核服务器上，XZ Utils 可实现 TB 级归档分钟级完成，优于单线程 gzip/bzip2 多倍。
资料来源
- XZ Utils GitHub: https://github.com/tukaani-project/xz
- XZ Man Page: https://tukaani.org/xz/man/xz.1.html
- 相关讨论与基准测试。