决策树与扩散模型的统一：流匹配框架下的可解释生成式建模

决策树与扩散模型看似分属机器学习的两个时代：前者以可解释的分层结构著称，后者则以强大的生成能力引领当前生成式 AI 浪潮。然而，近期理论工作提出了一个令人惊讶的洞见 —— 这两种方法可以被统一在同一个数学框架下，通过流匹配（Flow Matching）技术实现优势互补。

核心洞见：从离散分区到连续流场

传统决策树通过递归分区将特征空间划分为互不相交的叶节点区域，每个样本沿树结构向下遍历直至到达决策边界。在理论极限下，这种分层细化过程可以被重新诠释为一种确定性流场：样本不再 "跳跃" 于离散节点之间，而是沿着连续轨迹平滑移动。这种视角转换的关键在于将决策树的层级结构视为引导样本流动的向量场。

流匹配技术为这一统一提供了数学桥梁。与扩散模型通过分数函数（score function）描述数据分布梯度不同，流匹配直接学习一个向量场，使其生成的概率路径与目标分布对齐。这一框架的灵活性在于：只要定义了合适的概率路径，无论是连续生成过程还是离散决策边界，都可以被纳入同一优化目标。

Global Trajectory Score Matching：统一的目标函数

该统一框架的核心是 Global Trajectory Score Matching（GTSM）目标函数。在这一视角下，梯度提升（Gradient Boosting）—— 决策树的经典训练算法 —— 与扩散模型的训练可以被理解为同一优化原则的不同实现形式。

具体而言，GTSM 要求学习的向量场在整个轨迹上保持最优性。对于决策树，这意味着每个分裂决策不仅优化当前节点的纯度，还要考虑样本流向后续节点的全局轨迹；对于扩散模型，这对应于在噪声到数据的整个去噪路径上保持向量场的一致性。理论分析表明，在理想化条件下，梯度提升算法在这种全局视角下具有渐近最优性。

这种统一性的工程价值在于：它允许我们在单一框架内权衡可解释性与生成能力，而不必在两者之间做非此即彼的选择。

实践路径：TreeFlow 与 DSMTree

基于这一理论框架，研究者提出了两种具有代表性的实现方案。

TreeFlow面向表格数据生成任务。传统扩散模型在处理结构化表格数据时面临挑战：类别特征与数值特征的混合、特征间的复杂依赖关系、以及生成样本的有效性约束。TreeFlow 利用决策树的结构先验，将生成过程分解为层级化的决策流，在保持生成质量的同时显著提升了采样速度。实验表明，该方法在多个基准数据集上达到了与纯扩散模型相当的质量，同时推理速度提升数倍。

DSMTree（Decision Tree to Flow Distillation）则探索反向路径：将训练好的决策树结构蒸馏为神经网络形式的流模型。这一过程的动机在于：决策树虽然可解释，但在复杂任务上容量有限；而神经网络虽具强大表达能力，却常被视为 "黑盒"。DSMTree 通过将树的决策边界映射为流场的等值面，实现了知识从可解释结构到高效神经表示的迁移。蒸馏后的模型保留了原树的关键决策逻辑，同时获得了连续优化的便利性。

流匹配作为中间表示的优势

流匹配相比传统扩散模型训练具有若干工程优势，这些优势在统一框架中得到了放大。

首先是训练稳定性。流匹配不依赖于分数估计的方差控制，而是直接回归目标向量场，这降低了训练过程中的数值不稳定性。在统一框架下，这意味着决策树的训练可以借鉴流匹配的稳定优化技术。

其次是灵活性。流匹配允许使用任意概率路径，包括直线路径（Rectified Flow）和基于随机插值的路径。这一特性使得统一框架可以适应不同类型的决策结构 —— 从轴对齐的树分裂到更复杂的斜决策树。

第三是计算效率。流匹配的向量场表示允许使用更高效的 ODE 求解器进行采样，减少了生成所需的函数评估次数（NFE）。对于需要快速推理的应用场景，这一优势尤为关键。

可解释性增强策略

统一框架的一个重要副产品是增强生成模型的可解释性。传统扩散模型的去噪轨迹难以解释：中间步骤的隐变量往往没有明确的语义对应。而在统一框架下，可以显式约束流场的中间状态对应于具有物理意义的分布。

一种具体策略是将流匹配步骤锚定到决策树的节点分布。例如，在生成过程的特定阶段，强制流场状态对应于树中某层节点的特征分布。这使得生成路径可以被 "读取" 为一系列层次化的决策阶段，每个阶段对应于数据的一个抽象层面的形成。

另一种策略是引入分支流（Branching Flows），允许生成过程在特定决策点分叉，形成树状生成结构。这与变长生成建模（Variable-Length Generative Modeling）的研究方向相契合，为处理结构化输出（如代码、分子图）提供了新的可能性。

实施建议与参数选择

对于希望尝试这一统一框架的实践者，以下参数和策略可作为起点：

概率路径选择：在表格数据任务中，推荐使用基于条件概率的直线路径（Conditional Flow Matching），这对应于决策树的贪婪分裂策略。对于图像生成任务，可考虑使用扩散型路径以获得更平滑的过渡。

网络架构：向量场网络可采用小型 MLP（2-3 层隐藏层，每层 256-512 单元）处理表格数据，或采用 U-Net 结构处理图像数据。关键设计是确保网络能够捕捉层次化特征交互。

蒸馏温度：在 DSMTree 中，蒸馏过程的温度参数控制软决策的平滑程度。建议从温度 τ=1.0 开始，根据可解释性与性能之间的权衡进行调整。

ODE 求解器：对于推理加速，推荐使用 Dopri5 或 RK4 求解器，配合自适应步长控制。在质量敏感场景，可减小容差参数 tol 至 1e-5；在速度优先场景，可放宽至 1e-3。

局限与未来方向

当前统一框架仍存在若干局限。首先，理论分析主要集中于渐近 regime，对于有限样本下的性能保证尚不完善。其次，树结构与流场的对应关系在最一般情形下仍缺乏闭式表达，限制了理论分析的深度。

未来的研究方向包括：将统一框架扩展到随机森林等集成方法；探索更复杂的树结构（如有向无环图决策结构）与流场的对应；以及开发针对特定领域（如医疗诊断、金融风控）的专用统一模型。

这一理论进展的意义超越了技术细节本身：它表明机器学习中 "经典" 与 "现代" 方法之间并非不可调和的对立，而是可以通过恰当的数学框架实现统一。对于工业界而言，这意味着可以在不牺牲可解释性合规要求的前提下，引入生成式建模的强大能力。

参考来源

• Han Y. "On the rank of a random symmetric matrix in the large deviation regime", arXiv:2506.01155, 2025.
• "Trees to Flows and Back: Unifying Decision Trees and Diffusion Models", arXiv:2605.00414, Hugging Face Papers.
• "Understanding Flow Matching-based Generative Models", Sagar Shrestha's Blog.
• "On the flow matching interpretability", arXiv:2510.21210, OpenReview.

ai-systems