Hotdry.

Article

Engineering ZeroFS: Userspace Filesystem for S3 as Primary Storage

探讨 ZeroFS 如何将 S3 桶工程化为 POSIX 兼容的主要存储，结合缓存和原子操作，实现分布式应用的 seamless 集成。

2025-09-09systems-engineering

在分布式应用中，将云对象存储如 AWS S3 直接用作主要存储层是一个极具吸引力的工程目标。它能显著降低成本，同时提供无限的可扩展性。但 S3 的对象接口与传统文件系统的 POSIX 语义存在根本差异，导致延迟高、原子性差和一致性问题。ZeroFS 作为一个用户空间文件系统，通过巧妙的架构设计，将 S3 桶转化为高效的 POSIX 兼容存储，适用于数据库、虚拟机和容器等场景。本文聚焦 ZeroFS 的核心工程实践：从观点出发，结合证据分析其缓存机制和原子操作实现，并提供可落地的参数配置和集成清单，帮助开发者在分布式环境中无缝部署。

ZeroFS 的核心观点：S3 作为主要存储的工程可行性

传统文件系统如 ext4 或 ZFS 依赖本地块设备，而 S3 是扁平的对象存储，缺乏原生目录结构、原子重命名和强一致性。ZeroFS 的观点是，通过 LSM 树（Log-Structured Merge-Tree）数据库 SlateDB 作为中介层，可以桥接这些差距，使 S3 表现得像本地文件系统。SlateDB 将文件数据分块存储（256KB 块），元数据和内容统一管理，避免了 S3 API 的直接暴露，从而实现微秒级延迟和 POSIX 兼容。

证据显示，这种设计在实际基准测试中表现出色。例如，在 SQLite 基准中，ZeroFS 的读序操作延迟仅 0.941 微秒，随机读 1.596 微秒，比直接 S3 操作快 4-5 个数量级。这得益于多层缓存：内存块缓存、元数据缓存和可选的本地磁盘缓存。PostgreSQL 的 pgbench 测试进一步证实，ZeroFS 支持 50 个并发客户端，读写 TPS 达 53,041，纯读达 413,436，证明其适用于生产级分布式应用。

在分布式场景下，ZeroFS 支持 NFS、9P 和 NBD 协议，确保跨节点一致性。NFS 提供广兼容性，9P 优化性能和 fsync 语义，NBD 则允许 ZFS 等块设备直接挂载 S3，实现地理分布式池。例如，可以在多个 S3 区域创建镜像 ZFS 池，提供灾难恢复和无限扩展，而无需复杂的数据同步逻辑。

缓存机制的工程实现与证据

ZeroFS 的缓存是性能核心，采用多层策略：内存缓存（默认 0.25GB，可配置至 1GB）、本地磁盘缓存（默认 10GB）和 SlateDB 的 WAL（Write-Ahead Log）缓冲。观点是，这种分层能将 S3 的毫秒延迟隐藏在本地微秒访问中，同时通过 lz4 压缩减少传输量。

证据来自内核编译基准：在 S3 上通过 ZeroFS NBD 卷 + ZFS，16 秒内完成 Linux 内核编译（并行 make -j$(nproc)）。这涉及数千次随机 I/O，而直接 S3 会因 API 开销超时。另一个证据是 ZFS 端到端测试：创建池、提取内核源树并运行 scrub，无错误发生，证明缓存确保数据完整性。

工程上，缓存配置通过 TOML 文件管理。内存缓存使用 LRU 算法，优先热数据；磁盘缓存支持 TRIM/discard，自动释放 S3 空间。风险是缓存一致性：在 NFS 下，写操作报告为 “稳定” 但实际缓冲，若需强耐久性，推荐 9P 协议以触发真实 fsync。

原子操作的工程保障与证据

原子操作是分布式应用的关键，S3 缺乏原生支持（如原子重命名）。ZeroFS 的观点是通过 SlateDB 的 WriteBatch 实现批量原子提交，确保跨文件操作的一致性。例如，重命名文件时，更新 inode 和目录条目在单一事务中完成，避免部分失败。

证据包括 pjdfstest_nfs 测试套件：8,662 个 POSIX 测试全部通过，覆盖权限、所有权和文件操作。ZFS 上的自举测试（ZeroFS 在 ZeroFS 上构建自身）进一步验证原子性：Rust 工具链编译无中断，证明在分布式写下的可靠性。

在分布式 app 中，这意味着容器可以原子部署更新，而不中断服务。参数上，启用加密（ChaCha20-Poly1305）确保原子块加密，密码通过 Argon2id 派生密钥。限制是键结构（inode ID、目录名）不加密，若需隐藏层次，可叠加 gocryptfs。

可落地参数配置

要工程化部署 ZeroFS，以下是关键参数：

  • 缓存配置（[cache] 节）：

    • dir = "${HOME}/.cache/zerofs"：本地缓存路径。
    • disk_size_gb = 10.0：磁盘缓存大小，视 RAM 调整为 5-50GB 以平衡成本。
    • memory_size_gb = 1.0：内存缓存，推荐 0.5-2GB，根据 app I/O 模式。

  • 存储配置（[storage] 节）：

    • url = "s3://my-bucket/zerofs-data"：S3 桶路径，支持 Azure ("azure://container/path") 或本地 ("file:///path")。
    • encryption_password = "${ZEROFS_PASSWORD}"：环境变量注入密码，必填以启用加密。

  • 服务器配置（[servers] 节）：

    • NFS: addresses = ["0.0.0.0:2049"]，启用广兼容挂载。
    • 9P: addresses = ["127.0.0.1:5564"], unix_socket = "/tmp/zerofs.9p.sock"，用于低延迟本地访问。
    • NBD: addresses = ["127.0.0.1:10809"], 用于块设备，connections = 4 以优化并发。

  • AWS 配置（[aws] 节）：

    • access_key_id = "${AWS_ACCESS_KEY_ID}"
    • secret_access_key = "${AWS_SECRET_ACCESS_KEY}"
    • default_region = "us-east-1"，endpoint 若用 MinIO 等兼容服务。

启动命令：zerofs init 生成配置，编辑后 zerofs run -c zerofs.toml。挂载示例（Linux 9P）：mount -t 9p -o trans=tcp,port=5564,version=9p2000.L,msize=1048576,cache=mmap,access=user 127.0.0.1 /mnt/zerofs。

对于 NBD：创建 /mnt/zerofs/.nbd/device（truncate -s 10G），连接 nbd-client 127.0.0.1 10809 /dev/nbd0 -N device -persist -timeout 600 -connections 4。

集成清单

  1. 准备环境：安装 Rust/Cargo（cargo install zerofs），或用 Docker (docker pull ghcr.io/barre/zerofs:latest)。设置 S3 凭证环境变量。

  2. 生成与配置：运行 zerofs init，编辑 zerofs.toml 注入凭证和缓存大小。测试加密：echo "new-password" | zerofs change-password -c zerofs.toml。

  3. 启动服务：zerofs run -c zerofs.toml，确保端口开放（2049 for NFS, 5564 for 9P, 10809 for NBD）。

  4. 挂载与测试：用 mount 命令挂载，运行 dd if=/dev/zero of=/mnt/zerofs/test bs=1M count=100 验证写性能。检查 df -h 和 fstrim /mnt/zerofs 以确认 TRIM。

  5. 分布式集成：为 ZFS 池，连接多区域 NBD：zpool create pool mirror /dev/nbd0 /dev/nbd1。监控：zpool iostat -v，启用 autotrim=on。

  6. 回滚策略：若一致性问题，切换至 9P；缓存溢出时，监控 disk_size_gb 并设置警报。测试原子性：用 pjdfstest_nfs 运行子集测试。

通过这些实践，ZeroFS 将 S3 工程化为可靠的主要存储，适用于高负载分布式 app。未来，可探索快照以增强备份能力。（字数：1028）

systems-engineering