基于 Admission Controller 的 K8s 区域感知调度与成本优化

在复杂的微服务架构中，跨可用区（Availability Zone, AZ）的数据传输成本是云原生系统中最隐蔽且高昂的开销之一。尽管许多团队专注于计算和存储资源的优化，但因服务间调用、数据访问跨越 AZ 边界而产生的网络费用，往往在月底账单上带来不小的“惊喜”。正如 DoorDash 通过在其服务网格中实现区域感知路由，大幅降低了云基础设施成本，这一案例揭示了“区域对齐”在成本控制和性能优化上的巨大价值。然而，除了在服务网格层面进行流量引导，我们能否在工作负载创建之初，就从根源上解决这一问题？答案是肯定的，利用 Kubernetes 的 Admission Controller 进行动态调度策略注入，便是一种更为彻底和优雅的解决方案。

问题的根源：Pod 与其依赖的“异地恋”

在标准的 Kubernetes 调度流程中，kube-scheduler 负责为新创建的 Pod 在集群中寻找一个合适的节点。其决策主要依据 Pod 的资源请求（CPU、内存）、节点当前的负载状况以及亲和性/反亲和性规则等。然而，默认情况下，调度器对 Pod 的外部依赖（如主数据库、缓存集群、消息队列等）的位置一无所知。

这就导致了一个典型场景：一个计算密集型的服务 Pod 被调度到了 us-east-1a 可用区，而它需要频繁读写的 PostgreSQL 主数据库实例却位于 us-east-1b。每一次数据库查询，数据包都需要在两个 AZ 之间穿梭。尽管同区域（Region）内 AZ 间的延迟极低，但云服务商对跨 AZ 流量的收费却毫不含糊。当服务规模扩大，调用量激增时，这笔费用将积少成多，成为一笔巨大的运营成本。同时，网络上的微小延迟在海量请求下也会被放大，影响应用的整体响应速度。

手动为每个工作负载配置复杂的 nodeAffinity 规则，强制其与依赖项处于同一 AZ，是一种直接但笨拙的方法。它不仅极大地增加了开发和运维的心智负担，也使得服务在跨区域容灾、迁移时缺乏灵活性。我们需要一种自动化的、平台级的机制来智能地处理这一问题。

解决方案：Mutating Admission Controller

Kubernetes 的 Admission Controller（准入控制器）为我们提供了完美的切入点。它是一种特殊的 Webhook，能够在对象被持久化到 etcd 之前，对 API Server 的请求进行拦截和处理。准入控制器分为两类：Validating（验证型）和 Mutating（变更型）。前者只能对请求进行校验并决定是否放行，而后者则可以动态地修改对象内容。

我们的目标是构建一个 Mutating Admission Controller，它将扮演“智能调度策略注入器”的角色。其核心工作流如下：

拦截 Pod 创建请求：我们将配置一个 MutatingWebhookConfiguration，让 API Server 在每次创建 Pod（CREATE 操作）时，将 AdmissionReview 请求发送到我们的控制器服务。
识别依赖与目标区域：在控制器内部，我们需要一套逻辑来发现 Pod 的“部署意图”。一种简洁的实现方式是利用 Pod 的 annotations。开发者可以在 Pod 模板的元数据中声明其关键依赖，例如：
```
apiVersion: apps/v1
kind: Deployment
metadata:
  name: payment-service
spec:
  template:
    metadata:
      annotations:
        "zone-awareness.my-company.com/align-with-service": "rds-primary-cluster"
```
当控制器收到带有此注解的 Pod 创建请求时，它会解析出 rds-primary-cluster 这个依赖标识。
查询依赖项的可用区：接下来，控制器需要一个服务发现机制来确定 rds-primary-cluster 究竟位于哪个可用区。这个“服务发现”可以有多种实现：
- 查询云服务商 API：直接调用 AWS、Azure 或 GCP 的 API，获取 RDS、ElastiCache 等托管服务的实例位置信息。
- 查询内部 CMDB：如果公司有统一的配置管理数据库（CMDB），控制器可以查询 CMDB 来获取依赖项的部署信息。
- 查询 Kubernetes Service：如果依赖本身也在 Kubernetes 集群中（例如一个 StatefulSet），可以查询其关联 Service 或 Endpoint 的拓扑信息。
动态注入 Node Affinity：一旦确定了目标可用区（例如 us-east-1b），控制器便会构造一个 JSON Patch，用于向原始 Pod Spec 中添加或修改 affinity 字段。注入的 nodeAffinity 会强制要求 Pod 必须被调度到具有特定标签的节点上。Kubernetes 节点的标准拓扑标签 topology.kubernetes.io/zone 在这里派上了用场。

注入的亲和性规则如下所示：
```
{
  "affinity": {
    "nodeAffinity": {
      "requiredDuringSchedulingIgnoredDuringExecution": {
        "nodeSelectorTerms": [
          {
            "matchExpressions": [
              {
                "key": "topology.kubernetes.io/zone",
                "operator": "In",
                "values": ["us-east-1b"]
              }
            ]
          }
        ]
      }
    }
  }
}
```
这条规则 (requiredDuringScheduling...) 意味着在调度时必须满足此条件，一旦调度成功，即使节点标签发生变化也不会驱逐 Pod。这完全符合我们的需求。
返回 JSON Patch：控制器将包含上述 nodeAffinity 的 JSON Patch 封装在 AdmissionReview 响应中返回给 API Server。API Server 应用此 Patch 后，一个带有明确区域倾向的 Pod 定义就诞生了，kube-scheduler 将据此执行一个精准的、区域对齐的调度决策。

工程化考量与风险控制

实现这样一个准入控制器需要关注几个关键的工程细节：

控制器自身的高可用：准入控制器是 Kubernetes 控制平面的关键扩展点。如果它无响应，可能会阻塞新的 Pod 创建。因此，控制器自身需要以多副本形式部署，并配置好 livenessProbe 和 readinessProbe。
failurePolicy 的选择：MutatingWebhookConfiguration 中的 failurePolicy 字段至关重要。设置为 Fail 意味着如果控制器无法访问（例如网络问题或自身崩溃），API Server 将拒绝所有相关的 Pod 创建请求。这保证了策略的严格执行，但也带来了单点故障的风险。设置为 Ignore 则会在控制器故障时跳过它，允许 Pod 以默认方式创建，牺牲了策略一致性但保证了系统的可用性。通常建议在生产初期或非核心业务上使用 Ignore，待控制器稳定运行后再评估切换到 Fail 的可能性。
默认行为与降级策略：当 Pod 没有提供依赖注解，或者控制器无法查询到依赖项的位置时，应该如何处理？一个合理的策略是直接放行，不注入任何亲和性规则，让 Pod 走标准调度流程。这确保了控制器的健壮性，不会因为外部信息缺失而中断服务部署。
监控与告警：必须对控制器的请求处理延迟、错误率以及成功注入的 Patch 数量进行监控。同时，设置告警可以在控制器行为异常时（例如，查询依赖的服务持续超时）及时通知运维团队。

通过构建这样一个基于 Admission Controller 的区域感知调度系统，平台团队可以为所有业务提供一种透明、无侵入的成本优化能力。开发者只需简单地声明其服务的核心依赖，平台即可自动完成后续的调度优化，将“让计算靠近数据”的最佳实践无缝融入到日常开发流程中，从而在源头上杜绝不必要的跨区流量，实现成本与性能的双重收益。