基于全BGP路由表的实时网络拓扑分析与路由异常检测系统构建

背景与动机

互联网路由系统的安全性长期面临 BGP 劫持（Hijacking）与路由泄露（Route Leak）的威胁。2019 年瑞士 Safe Host 泄露 7 万条路由、2021 年英国 Vodafone Idea 劫持 3.1 万个前缀等事件，均造成大规模流量绕行甚至经济损失。传统检测方法依赖人工分析或基于规则匹配，难以应对海量路由更新的实时处理需求。

全 BGP 路由表（Full Feed）包含约 90 万条 IPv4 前缀与 20 万条 IPv6 前缀的路由信息，是构建实时拓扑感知异常检测系统的关键数据源。本文基于 BEAM（BGP sEmAntics aware network eMbedding）框架，阐述如何从零构建一套可落地的实时 BGP 异常检测系统。

系统架构概览

整个系统由三个核心组件构成：

1. 路由监控器（Routing Monitor）：实时采集 BGP 更新报文，维护各观测点的路由表快照
2. BEAM 引擎：基于 AS 商业关系图学习路由角色嵌入，计算路径差异评分
3. 异常检测器：应用动态阈值与滑动窗口策略，识别并聚合异常事件

┌─────────────────┐     ┌─────────────┐     ┌─────────────────┐
│  BGP Full Feed  │────▶│ BEAM Engine │────▶│ Anomaly Detector│
│ (Route/Updates) │     │(Path Scoring)│     │ (Alert Generation)
└─────────────────┘     └─────────────┘     └─────────────────┘

数据获取：免费全 BGP Feed 接入

实验室环境可通过以下方式获取全 BGP 路由表：

• RouteViews/RIPE RIS：提供历史 MRT 格式 RIB 快照与实时更新流
• BGPStream：CAIDA 开发的实时与历史 BGP 数据分析框架
• Lab Route Server：部分实验性路由服务器提供免费全表 peer

接入参数建议：

• 采集间隔：实时更新流（BGP UPDATE 消息）
• 存储格式：MRT（Multi-Threaded Routing Toolkit）
• 数据窗口：维护 2 小时滑动窗口用于基线计算

AS 语义嵌入：BEAM 模型核心

BEAM 的核心创新在于将 AS 商业关系（Provider-Customer/Peer-to-Peer）转化为可学习的低维向量表示，定义AS 路由角色（Routing Role）。

图构建

基于 CAIDA AS 关系数据集构建有向图 G=(V,E)：

• 顶点 V：AS 节点（约 7.4 万个）
• 边 E：P2C 关系（Provider→Customer 方向）
• P2P 关系表示为双向边

嵌入目标

BEAM 同时优化两个距离函数：

邻近度距离（Proximity）：

p_score(u,v) = (x_v - x_u)^T · ((x_v - x_u) ⊙ l)

层级距离（Hierarchy）：

h_score(u,v) = (x_v - x_u)^T · r

其中 x_u、x_v 为 AS 嵌入向量，l 为邻近度权重向量，r 为层级方向单位向量。

训练配置

训练完成后，任意两 AS 的路由角色差异可量化为：

D(u,v) = |p_score(u,v)| + |h_score(u,v)|

路径差异评分：DTW 算法

对于路由路径变化检测，BEAM 采用 ** 动态时间规整（Dynamic Time Warping）** 计算路径差异分数。

给定原路径 S=⟨v₁,…,vₘ⟩与新路径 S′=⟨v₁′,…,vₙ′⟩，定义递推关系：

DIFF[i,j] = D(S[i],S′[j]) + min(DIFF[i-1,j], DIFF[i,j-1], DIFF[i-1,j-1])

最终路径差异分数为 DIFF [m,n]。

计算复杂度：O (m×n)，典型 AS 路径长度 < 15，单次评分 < 0.05ms。

异常检测策略

可疑路由变化识别

设定动态阈值 thd，基于历史合法路由变化的路径差异分布计算（取 CDF 曲线拐点）：

if path_diff_score > thd:
    flag_as_suspicious()

前缀事件聚合

将同一前缀 (p,p′) 的可疑变化归并为前缀事件，应用滑动窗口（窗口长度 w=2 小时）：

if vantage_point_count_in_window > thv:
    flag_as_anomalous_prefix()

阈值 thv 同样基于历史数据分布确定。

责任 AS 定位

对每个异常前缀事件，计算所有可疑变化的：

• 退出 AS 集：原路径存在但新路径缺失的 AS 交集
• 新增 AS 集：新路径存在但原路径缺失的 AS 交集

若任一集合非空，则其中 AS 被标记为责任 AS。

性能评估与调参

基于 18 个真实世界数据集（含 110 亿条路由通告）的验证结果：

关键阈值参考

• thd 计算：取合法路径差异分数 CDF 的拐点（knee point）
• thv 计算：取单前缀观测点数量 CDF 的拐点
• 滑动窗口 w：2 小时（与 RIB 更新周期对齐）

部署实践 checklist

1. 数据接入

   • 配置 RouteViews/RIPE RIS collector 连接
   • 部署 MRT 格式解析器
   • 建立 2 小时滚动数据缓存

2. 模型训练

   • 下载最新 CAIDA AS 关系数据集
   • 执行 BEAM 嵌入训练（约 10 小时 / RTX 2080 Ti）
   • 验证嵌入质量（Tier-1 AS 聚类、层级分离度）

3. 检测服务

   • 部署路由监控器（trie 结构路由表）
   • 配置动态阈值计算（kneed 算法）
   • 设置告警聚合与责任 AS 关联逻辑

4. 监控运维

   • 建立误报反馈闭环
   • 每月重训练 BEAM 模型（跟随 CAIDA 数据更新）
   • 集成 RPKI 验证状态查询（RIPEstat API）

局限与缓解

AS 关系噪声：即使 20% 关系标签错误，系统仍可检出 17/18 真实异常，误报 < 40 条。

未知 AS 处理：约 0.5% AS 无关系记录，可标记为高风险或依赖 RPKI 验证。

自适应攻击：攻击者需控制≥2 个 AS 并建立数百条虚假关系才能绕过检测，成本极高。

参考资料

• Yin, Q., et al. "Learning with Semantics: Towards a Semantics-Aware Routing Anomaly Detection System." arXiv:2402.16025 (2024).
• CAIDA AS Relationships Dataset: https://www.caida.org/catalog/datasets/as-relationships/
• BGPStream Framework: https://bgpstream.caida.org/
• RouteViews Project: http://routeviews.org/

systems