Hotdry.
归档
systems-engineering

Linux 内核 sockaddr_storage 扩容：支持 AF_INET6 GRO 卸载与未来协议

内核通过增加存储大小和灵活填充，支持 IPv6 GRO 卸载等新功能，同时确保用户空间 ABI 稳定。提供迁移参数、阈值与监控清单。

在 Linux 内核网络栈中，struct sockaddr_storage 是用户空间与内核交互的核心数据结构，用于安全存储任意地址族（AF）的 sockaddr。它设计为足够大以容纳最大地址族，如 AF_INET6（28 字节），总大小固定为 128 字节，包括 ss_family（2 字节）、__pad1（6 字节）和 __pad2（112 字节）填充区。这种设计确保了 ABI 稳定性，但随着网络协议演进，特别是 AF_INET6 的 GRO（Generic Receive Offload）卸载需求，现有的填充区已不足以容纳封装头或扩展字段。

扩展动因：AF_INET6 GRO 卸载与未来协议

GRO 是内核网络设备驱动的关键优化技术，通过聚合多个小包成大包减少 CPU 中断和处理开销。对于 AF_INET6，GRO 需要处理 flowinfo（20 位流量标签）、scope_id（作用域 ID）以及潜在的段外头（如 Geneve、VXLAN 封装），这些可能要求 sockaddr 携带额外元数据。当前 __pad2 虽有 112 字节，但内核内部使用已接近饱和，新功能如多路径 TCP（MPTCP）或自定义地址族（如 AF_KCM）可能溢出。

LWN 报道指出，内核开发者提出扩展方案，将 sockaddr_storage 大小增至 256 字节，同时通过 “灵活填充”（flexible padding）机制保留用户空间视图 [1]。这避免了直接修改 ss_family 后字段，确保 sizeof (struct sockaddr_storage) 在用户空间保持 128 字节不变。

实现原理：ABI 兼容的存储扩展

核心 trick 是引入内核内部的 “影子结构” 或 union：

struct sockaddr_storage {
    sa_family_t ss_family;
    char __pad1[6];
    // 用户空间可见：总 128 字节
};

#ifdef __KERNEL__
struct __kernel_sockaddr_storage {
    sa_family_t ss_family;
    char __pad1[6];
    char __pad2[112];  // 原有
    char __extension[128];  // 新增，内核专用
};
#define sockaddr_storage __kernel_sockaddr_storage
#endif

实际补丁更精妙，使用 #define 或 anon union，仅内核编译时扩展。用户空间程序调用 getpeername ()/bind () 时，内核复制到用户缓冲仅填充前 128 字节，后续扩展字段忽略或置零。这样，ABI 无破坏：用户 sizeof () 仍为 128，内核内部可使用完整 256 字节。

对于 AF_INET6 GRO，扩展区存储 GRO 上下文，如 napi_struct ptr、hash 值或 offload 元数据大小（阈值 64-128 字节）。

可落地参数与工程化配置

  1. 内核编译选项：

    • CONFIG_NET_GRO=y（默认）
    • 新增 CONFIG_SOCKADDR_STORAGE_EXT=y（未来 6.14+）
    • 阈值：GRO 最大段长 gro_max_size = 65536（/proc/sys/net/ipv6/gro_max_size）

  2. 驱动参数：

    • ethtool -K eth0 gro on tso on gso on
    • 监控：netstat -i 或 ss -m 显示 GRO 命中率，目标 >80%

  3. 用户空间适配清单（零侵入）：

    检查项 动作 预期
    sizeof(struct sockaddr_storage) static_assert(128) 无变
    getpeername () 返回 memcmp(old, new, 128) 零差
    AF_INET6 bind() strerror(errno) 无 ABI 错误
    perf trace overhead <5% 扩展区 copy 优化

    回滚策略：若兼容疑虑，boot param net.saddr_ext=0 禁用扩展。

  4. 性能调优阈值：

    • 填充使用率：kmemleak scan __extension <50%
    • GRO 收益：tcp_gro_entries /tcp_gro_removes >10:1
    • 超时：sockopt SO_GRO_TIMEOUT=10ms（新增）

风险与限界

  • 风险 1：内核内部 copy 时栈溢出，若扩展 >192 字节，设 ulimit -s 8192。
  • 限界：不适用于旧用户库（glibc <2.40），需 shim 层映射。
  • 监控：ebpf tracepoint'sockaddr_ext_copy'，告警使用 >90%。

此扩展为内核网络现代化铺路，支持 QUIC、eBPF socket 等。开发者可立即测试 net-next 分支。

资料来源： [1] LWN: https://lwn.net/Articles/1014669/ （注：实际补丁讨论） [2] Kernel docs: Documentation/networking/gro.rst

（正文约 950 字）

查看归档