在构建现代高级语言的虚拟机（VM）时，即时编译（JIT）技术是实现高性能的关键。一个典型的 VM 会先通过解释器执行代码，同时分析热点函数（Hotspot），然后调用 JIT 编译器将这些热点函数编译成高效的原生机器码。但这里存在一个延迟问题：如果一个函数包含一个执行数百万次的循环，我们是否必须等待下一次函数调用才能享受到编译的成果？答案是否定的，而解决这个问题的核心技术就是栈上替换（On-Stack Replacement, OSR）。
OSR 允许 VM 在函数执行的中途，将执行权从解释器无缝切换到刚刚编译好的原生代码。这对于提升长时间运行的循环（long-running loops）的性能至关重要，因为无需等待循环结束，程序就能立即从解释执行的慢速通道切换到原生代码的快速通道。本文将深入探讨实现 OSR 的核心挑战与工程实践。
为什么需要 OSR？
想象一个运行在解释器中的函数：
def process_large_data(data):
...
for i in range(10_000_000):
...
...
当这个函数被调用时，VM 的性能分析模块会很快注意到 for 循环是代码的热点。于是，JIT 编译器被触发，开始在后台将 process_large_data 函数（或至少是其中的热点循环）编译成原生代码。
编译完成后，问题来了：当前解释器正在循环的第 50,000 次迭代。如果我们什么都不做，解释器将继续执行完剩下的九百多万次迭代，JIT 编译带来的性能优势将被大大浪费。只有当 process_large_data 下一次被调用时，VM 才会直接执行已编译的版本。
OSR 的目标正是解决这一困境。它能够在 JIT 编译完成后，暂停解释器的执行，将当前的状态“移植”到新生成的原生代码中，然后从中断处继续执行。这样一来，即便是首次执行的耗时循环，也能在执行期间获得动态优化的好处。
OSR 的核心挑战：状态迁移
实现 OSR 最困难的部分在于如何处理执行状态的迁移。解释器和编译后的原生代码对执行状态的表示和管理方式截然不同。这种差异构成了实现 OSR 的主要技术壁垒。
状态迁移主要涉及以下几个方面：
-
程序计数器（Program Counter, PC）的映射：解释器通常使用字节码指令指针（Bytecode Instruction Pointer）来跟踪执行位置。例如，它可能指向“循环体开始”的字节码。而原生代码的 PC 是一个指向具体机器指令的内存地址。OSR 必须建立一个从字节码偏移到原生代码地址的精确映射，以确保代码从正确的地方恢复执行。
-
栈帧（Stack Frame）的转换：解释器和原生代码使用结构迥异的栈帧。
- 解释器栈帧：通常结构统一且简单，可能是一个包含所有局部变量、临时操作数和调用信息的对象或内存块。局部变量可能只是一个数组中的某个槽位。
- 原生代码栈帧：由编译器精心优化，布局紧凑。局部变量可能被分配到 CPU 寄存器中以提高访问速度，或者存储在原生栈上的特定偏移位置。某些在解释器中存在的临时变量，在优化后的代码中可能已不复存在。
-
局部变量的迁移：这是最棘手的部分。OSR 必须准确地将解释器栈帧中的每一个活跃变量（live variable）找到，并放置到原生代码栈帧所期望的位置。例如，解释器中 locals[0] 的变量 i，在编译后的代码中可能被分配到了 RSI 寄存器。OSR 代码需要读取 locals[0] 的值，并将其加载到 RSI 寄存器中，然后才能跳转到原生代码的循环体。
实现 OSR 的一种通用方法
尽管具体实现因 VM 而异，但一个典型的 OSR 过程可以分解为以下几个步骤：
1. 触发 OSR
首先，VM 需要一个机制来决定何时发起 OSR。最常见的方法是循环计数器。解释器在执行循环的向后跳转（back-edge）指令时，会递增一个计数器。当这个计数器超过预设的阈值（例如 10,000 次），VM 就认为这个循环是一个热点，并触发 JIT 编译。
在触发编译时，VM 会传递一个特殊的请求，指明这是一个为 OSR 而进行的编译。
2. 生成带 OSR 入口的特殊代码
JIT 编译器在收到 OSR 请求后，除了生成标准的函数入口（当函数从头开始调用时使用）外，还需要生成一个或多个OSR 入口（OSR entry point）。
这个 OSR 入口是一段特殊的“引导代码”（prologue），它的职责不是从头开始执行函数，而是：
- 为新的原生栈帧分配空间。
- 接收从解释器传递过来的状态信息。
- 根据预先计算好的“状态映射表”（State Map），将解释器的局部变量逐个恢复到原生代码期望的寄存器或栈位置上。
- 完成状态恢复后，跳转到循环体中正确的位置继续执行。
3. 状态映射表的构建
在编译期间，编译器必须为可能发生 OSR 的每个字节码位置（通常是循环的起始点）生成一个状态映射表。这个表记录了在该点：
- 哪些局部变量是活跃的。
- 每个活跃变量在解释器栈帧中的位置（例如，
locals 数组的索引）。
- 每个活跃变量在原生代码中的期望位置（例如，是
RCX 寄存器还是 [RBP-16] 的栈地址）。
这个映射表是连接解释器世界和原生代码世界的桥梁。
4. 执行切换
当 JIT 编译完成后，解释器在下一次执行到热点循环的入口时，会发现该循环已经有了一个可供 OSR 的原生版本。此时，它会执行以下操作：
- 调用一个运行时函数，该函数负责处理切换逻辑。
- 将当前的解释器栈帧、字节码指针等信息传递给这个运行时函数。
- 该函数查找并调用对应字节码位置的 OSR 入口。
- 在 OSR 入口代码中，状态被恢复，执行权最终转移到原生代码的循环体。
从此，循环的剩余部分将以最高速度在 CPU 上直接运行。
挑战与权衡
- 复杂性：OSR 的实现非常复杂，需要编译器、解释器和运行时的紧密协作。任何一个环节的错误都可能导致程序崩溃或更难调试的逻辑错误。
- 编译开销：为 OSR 生成额外的入口和状态映射表会增加编译时间和代码体积。因此，VM 通常只为被判定为真正“热”的循环生成 OSR 代码。
- Bailout（逃生）：在某些情况下，OSR 可能无法完成，例如，如果解释器正在执行某些调试相关的特殊操作，而这些状态无法在原生代码中表示。此时，VM 必须能够“逃生”，即放弃 OSR 并继续在解释器中执行。正如
pinaraf.info 的文章中所指出的，正确地处理这些边缘情况是确保系统稳定性的关键。
结论
栈上替换（OSR）是现代高性能虚拟机不可或缺的一项关键技术。它通过在运行时动态地将执行从慢速的解释器切换到快速的原生代码，解决了 JIT 编译的延迟问题，使得长时间运行的代码也能即时享受到优化的成果。虽然实现 OSR 的过程充满了挑战，尤其是在处理状态迁移的复杂性上，但它带来的巨大性能提升证明了这项投入的价值。对于任何有志于构建或理解高级语言虚拟机的开发者来说，掌握 OSR 的原理与实践都是迈向专家之路的重要一步。