Hotdry.
归档
systems-engineering

FractalBits对象存储的数据保护策略：复制与擦除编码的工程取舍

分析FractalBits采用3-way复制而非擦除编码的设计决策，对比MinIO/Ceph的擦除编码实现，探讨高性能小对象存储的数据保护策略选择。

在对象存储系统的演进中，数据保护策略的选择直接决定了系统的性能特征、成本结构和适用场景。近期开源的 FractalBits 对象存储系统提出了一个引人注目的设计选择：在追求极致性能的小对象场景中，放弃了业界常见的擦除编码方案，转而采用传统的 3-way 数据复制。这一决策背后反映了怎样的工程思考？与 MinIO、Ceph 等主流系统的擦除编码实现相比，各自的优劣何在？

数据保护策略的演进：从复制到编码

传统对象存储系统主要面临两种数据保护策略的选择：复制（Replication）和擦除编码（Erasure Coding）。复制策略简单直接，将完整数据副本存储在多台设备上，如 3-way 复制意味着每个对象有三个完整副本。这种方法的优势在于实现简单、读取性能高，但存储效率低下，通常只有 33% 的存储利用率。

擦除编码则通过数学算法将数据分割为 k 个数据块和 m 个校验块，分布在多个存储节点上。只要任意 k 个块可用，就能重构原始数据。以 4+2 配置为例，存储效率可达 67%，相比 3-way 复制提升了一倍。然而，这种效率提升的代价是计算开销的增加和读取延迟的潜在上升。

FractalBits 的复制优先策略

FractalBits 在其架构设计中明确选择了 3-way 数据复制和 6-way 元数据复制。这一决策的核心驱动力来自于其目标工作负载：AI 训练和数据分析中的小对象访问模式。

性能优先的设计哲学

FractalBits 声称能够实现高达 100 万 IOPS 的 4KB 读取性能，p99 延迟约 5 毫秒。在这种性能要求下，擦除编码的解码开销可能成为瓶颈。当客户端请求一个对象时，使用擦除编码的系统需要从多个节点收集数据块并进行解码计算，而复制系统可以直接从最近的副本读取完整数据。

根据 FractalBits 团队的分析，AI 训练数据集中超过 60% 的对象小于 512KB。对于这些小对象，擦除编码的计算开销相对于数据传输时间占比显著增加。在追求单数字毫秒延迟的场景中，即使是微秒级的额外解码延迟也可能影响整体性能。

架构层面的优化

FractalBits 的架构围绕高性能小对象访问进行了深度优化：

  1. 基数树元数据引擎：采用全路径基数树而非传统的 inode 结构，支持高效的目录操作和原子重命名。前缀共享机制减少了内存占用，加速了路径遍历。

  2. Zig 语言数据平面：利用 Zig 的comptime元编程生成优化代码路径，手动内存管理避免 GC 停顿，直接 SIMD 访问加速键值比较。

  3. io_uring 异步 I/O：充分利用现代 Linux 内核特性，支持注册缓冲区和 NVMe IOPoll 等高级功能。

  4. 两层存储架构：NVMe SSD 层处理热小对象，S3 后端处理大对象，实现成本与性能的平衡。

成本效益分析

虽然 3-way 复制的存储效率较低，但 FractalBits 认为在特定场景下，整体成本仍然具有竞争力。其成本模型基于以下假设：

  • 小对象场景中，存储成本通常不是主要开销，API 请求费用和计算等待时间更为关键
  • 通过 BYOC（自带云）部署，用户直接支付云提供商的基础设施费用，避免了中间商加价
  • 高性能减少了 GPU 等待时间，间接降低了计算成本

MinIO 的擦除编码实现

与 FractalBits 不同，MinIO 采用了成熟的擦除编码方案，并在性能和效率之间寻求平衡。

Reed-Solomon 编码优化

MinIO 使用 Reed-Solomon 最大距离可分（MDS）码实现擦除编码，这种编码能够达到理论上的最优存储效率。系统将每个对象分割为数据块和校验块，分布在多个驱动器和节点上。

技术实现上的关键优化包括：

  1. 汇编级优化：MinIO 的擦除编码核心使用汇编语言编写，针对特定 CPU 架构进行优化。
  2. AVX512 指令集利用：支持 Intel AVX512 指令，充分利用现代 CPU 的向量处理能力。
  3. 在线编码：编码过程在数据写入时实时完成，无需额外的后处理步骤。

配置灵活性与存储效率

MinIO 支持灵活的擦除编码配置，用户可以根据可用性要求和存储效率需求选择不同的 k+m 组合。例如：

  • 4+2 配置：可容忍 2 个驱动器故障，存储效率 67%
  • 8+3 配置：可容忍 3 个驱动器故障，存储效率 73%
  • 10+4 配置：可容忍 4 个驱动器故障，存储效率 71%

系统还提供了擦除编码计算器，帮助用户根据工作负载特征选择最优配置。

读写仲裁机制

MinIO 实现了精细的读写仲裁控制：

  • 读仲裁：需要至少 k 个任意类型的块（数据块或校验块）才能读取对象
  • 写仲裁：需要至少 k 个可用的驱动器才能写入对象
  • 防脑裂保护：当校验块数量恰好为驱动器总数的一半时，写仲裁要求 k+1，防止网络分区导致的数据不一致

Ceph 的擦除编码架构

Ceph 作为分布式存储系统的代表，提供了完整的擦除编码池支持，适用于大规模存储场景。

可配置的编码方案

Ceph 支持多种擦除编码算法和配置，默认使用 2+2 配置（k=2, m=2），提供与双副本复制相当的冗余级别。用户可以根据需求创建自定义编码配置文件，指定 k、m 值以及 CRUSH 故障域。

典型的配置选项包括：

  • 4+2 配置：相当于 RAID5，需要至少 4 个主机
  • 8+4 配置：可容忍 4 个 OSD 同时故障，适用于大规模集群
  • 16+4 配置：高存储效率配置，适合冷数据存储

性能与效率的权衡

Ceph 文档明确指出，擦除编码在存储效率上优于复制，但计算开销更大。这种权衡在以下场景中尤为明显：

  1. 冷存储场景：历史数据、备份等访问频率低的数据适合使用擦除编码
  2. 大对象存储：对于大对象，编码开销相对于数据传输时间占比较小
  3. 成本敏感部署：硬件预算有限时，擦除编码可以提供更高的可用容量

硬件要求与优化

Ceph 擦除编码对硬件有特定要求：

  • CPU 资源：编码解码需要足够的 CPU 计算能力，特别是对于高 k 值配置
  • 内存容量：编码过程需要缓冲数据块，内存不足会影响性能
  • 网络带宽：数据块分布在多个节点，需要高速网络连接
  • NVMe 缓存：使用 NVMe 作为缓存层可以显著提升擦除编码池的性能

工程取舍与适用场景分析

性能与效率的频谱

三种系统代表了数据保护策略频谱上的不同点：

  1. FractalBits（性能极端）：针对小对象、高 IOPS 场景优化，牺牲存储效率换取最低延迟
  2. MinIO（平衡型）：在存储效率和性能之间寻求平衡，支持灵活配置
  3. Ceph（效率优先）：面向大规模存储，强调存储效率和可扩展性

选择指南：何时使用何种策略

基于工作负载特征的选择矩阵：

工作负载特征 推荐策略 理由
小对象（<1MB），高 IOPS 复制（如 FractalBits） 解码开销占比高，直接读取副本延迟更低
大对象（>10MB），顺序访问 擦除编码（如 MinIO） 编码开销相对较小，存储效率优势明显
冷数据，成本敏感 擦除编码（如 Ceph） 存储效率是关键，性能要求较低
混合工作负载 分层策略 热数据使用复制，冷数据使用编码
元数据密集型 复制 + 基数树 目录操作频繁，需要高效路径遍历

可落地的配置参数

对于计划实施对象存储系统的团队，以下参数值得重点关注：

  1. 对象大小分布分析

    • 统计工作负载中不同大小对象的比例
    • 识别性能敏感的小对象占比
    • 评估大对象的存储效率需求

  2. 延迟 SLA 要求

    • p50、p90、p99 延迟目标
    • 尾延迟对应用的影响
    • 可接受的编码 / 解码开销

  3. 成本结构分析

    • 存储成本与计算成本的权衡
    • API 请求费用的影响
    • 硬件折旧与云服务费用

  4. 可用性要求

    • 可容忍的故障域数量
    • 恢复时间目标（RTO）
    • 数据持久性要求

监控与调优要点

实施数据保护策略后，需要建立相应的监控体系：

  1. 性能监控

    • 对象级别的读写延迟分布
    • 编码 / 解码操作耗时
    • 网络传输时间占比

  2. 效率监控

    • 实际存储利用率 vs 理论效率
    • 数据压缩与去重效果
    • 元数据开销占比

  3. 成本监控

    • 每 IOPS 成本
    • 每 GB 存储成本
    • 总拥有成本（TCO）分析

未来趋势与演进方向

对象存储的数据保护策略正在向更加智能化和自适应的方向发展：

自适应编码策略

未来的系统可能会根据对象特征动态选择保护策略：

  • 基于访问频率的热度感知编码
  • 基于大小的自适应块划分
  • 基于网络条件的动态冗余调整

硬件加速集成

随着专用硬件的发展，擦除编码的计算开销有望进一步降低：

  • GPU 加速的编码 / 解码
  • 智能网卡上的卸载处理
  • 存储处理器上的实时编码

混合策略优化

结合复制和编码的混合策略可能成为主流：

  • 热数据使用复制保证性能
  • 温数据使用轻量编码平衡效率
  • 冷数据使用高效编码最大化存储利用率

结论

FractalBits 选择 3-way 复制而非擦除编码的决策，反映了对象存储领域一个重要的工程洞察：在特定工作负载下，极致的性能需求可能比存储效率更为关键。这一选择并非适用于所有场景，但对于 AI 训练、实时分析等小对象密集型应用，直接的数据访问路径提供了难以替代的延迟优势。

MinIO 和 Ceph 的擦除编码实现则展示了另一种设计哲学：通过数学优化和硬件利用，在可接受的性能代价下大幅提升存储效率。这两种路径并非互斥，而是代表了不同应用场景下的最优解。

在实际系统设计中，选择数据保护策略需要综合考虑工作负载特征、性能要求、成本约束和运维复杂度。没有一种方案适合所有场景，但理解每种方案背后的工程取舍，能够帮助团队做出更明智的技术决策。

随着工作负载的不断演进和硬件能力的持续提升，对象存储的数据保护策略将继续创新。未来的系统可能会更加智能地适应不同场景，在性能、效率和成本之间找到动态平衡点。

资料来源：

  1. FractalBits 博客文章《Why We Built Another Object Storage (And Why It's Different)》，2025 年 12 月 4 日
  2. MinIO 官方文档《What is Erasure Coding?》，详细介绍了 Reed-Solomon 编码实现和配置选项
查看归档