TimesFM 零样本多变量时间序列预测的 Transformer 实现

TimesFM 是 Google Research 开发的一种解码器式 Transformer 基础模型，专为时间序列预测设计。它通过在 1000 亿真实世界时间点的数据上预训练，能够实现零样本多变量时间序列预测，尤其在长时域预测中表现出色，而无需针对特定领域进行微调。这种方法借鉴了大型语言模型的预训练范式，将时间序列数据视为序列模式，从而在未见数据集上直接生成可靠预测。

TimesFM 的核心架构是一个参数量为 2 亿的解码器式 Transformer，使用补丁（patch）机制将连续时间点分组为令牌（token）。输入补丁长度通常为 32，输出补丁长度可达 128，这允许模型在推理时高效生成长序列预测，避免累积误差。预训练数据包括合成数据和真实来源，如 Google Trends 和 Wikipedia 页面浏览量，这些多样化数据集帮助模型捕捉季节性、趋势和异常等通用模式。在 Monash Forecasting Archive 等基准测试中，TimesFM 的零样本性能接近或超过专为数据集训练的监督模型，如 PatchTST，其几何平均缩放 MAE 指标优于 ARIMA 和 DeepAR。

实施 TimesFM 需要克隆 GitHub 仓库并安装依赖。首先，执行 git clone https://github.com/google-research/timesfm.git 并进入目录，然后运行 pip install -e . 以 editable 模式安装。模型支持 PyTorch 后端，最新版本 2.5 引入了 200M 参数规模、16k 上下文长度和连续分位数预测头。加载模型时，使用 import timesfm; model = timesfm.TimesFM_2p5_200M_torch(); model.load_checkpoint()。编译配置至关重要，例如 ForecastConfig(max_context=1024, max_horizon=256, normalize_inputs=True, use_continuous_quantile_head=True)，其中 normalize_inputs 标准化输入以提升稳定性，use_continuous_quantile_head 启用分位数输出以捕捉不确定性。

对于多变量时间序列，输入应为形状为 (batch_size, sequence_length) 的 NumPy 数组列表。预测调用 point_forecast, quantile_forecast = model.forecast(horizon=12, inputs=[input_series1, input_series2])，其中 horizon 指定预测步长，point_forecast 为点预测，quantile_forecast 包含 10% 到 90% 分位数。工程化落地时，建议设置 force_flip_invariance=True 以处理符号不变性，以及 infer_is_positive=True 假设正值序列如需求预测。监控要点包括输入序列长度不超过上下文限制，避免频率指示器（v2.5 已移除），并使用 fix_quantile_crossing=True 防止分位数交叉。

实际参数调优清单如下：1. 上下文长度：短序列用 512，长序列扩展至 16k，但需权衡 GPU 内存（推荐 NVIDIA A100 或更高）。2. 预测 horizon：上限 1k 步，超过时分段生成以减少误差。3. 归一化：启用以处理不同尺度变量，逆归一化输出时使用输入统计。4. 分位数头：对于风险敏感应用如金融预测，启用 30M 参数头，提供 10 个分位数水平。5. 批处理：批量大小 32-64 以优化吞吐，监控推理时间（单序列 <1s）。回滚策略：若零样本准确率 <80%，考虑少样本微调，但保持预训练权重冻结。

在零售需求预测场景中，输入历史销售数据（多变量包括价格、促销），TimesFM 可零样本预测未来 30 天销量。评估使用 MAE 或 CRPS（连续排名概率分数）指标，与基准比较。若性能不足，检查数据清洗：移除异常值，确保频率一致。扩展到生产环境，集成 Apache Airflow 调度预测任务，结合 Prometheus 监控模型漂移。

TimesFM 的局限包括当前版本暂不支持协变量（如外部天气数据），未来更新将添加 Flax 后端加速推理。总体而言，它 democratizes 时间序列预测，降低从数周训练到即插即用的门槛，为 AI 系统工程提供高效工具。

（字数：912）