在交互式虚拟世界中训练智能代理，需要处理丰富的多模态观测数据，以模拟人类的多感官感知。SIMA 2 作为 DeepMind 的下一代可扩展多世界代理，强调观测编码器的工程化设计，特别是融合 RGB 视觉、深度信息和本体感觉（proprioception）输入。这种多模态融合不仅提升代理对 3D 环境的理解，还支持大规模训练，实现从简单导航到复杂任务的泛化。
传统代理如 SIMA 主要依赖屏幕 RGB 图像和语言指令，但 3D 虚拟世界要求更全面的感知。RGB 提供颜色和纹理细节，深度图捕捉空间结构，本体感觉则包括代理的关节位置、速度和加速度。这些模态的融合是关键挑战：单一模态易导致信息丢失，多模态则需解决对齐和噪声问题。观点上，早期融合（特征级）可保留低级细节，而晚期融合（决策级）更高效；Transformer-based 注意力机制能动态加权模态贡献，实现自适应感知。
证据显示，在机器人学和强化学习中，多模态编码已证明有效。例如，DeepMind 的早期工作使用预训练 ViT（Vision Transformer）编码 RGB，结合 MLP 处理本体数据；在 Unity 模拟环境中，深度图通过 CNN 提取边缘和距离特征。SIMA 的视觉-语言映射可扩展：RGB 和深度嵌入空间对齐，使用 CLIP-like 对比学习；本体感觉作为条件输入注入 Transformer。实验表明，这种融合提升任务成功率 20-30%，特别是在动态环境中，如 Construction Lab 的积木搭建任务中，深度帮助避障，本体确保动作协调。
工程化参数需注重可落地性。首先，编码器设计：RGB 使用 ViT-B/16（维度 768），深度用 ResNet-18（维度 512），本体（假设 28 维关节 + IMU）用 2 层 MLP（输出 256 维）。融合采用跨模态 Transformer：输入序列 [RGB_emb, Depth_emb, Prop_emb]，注意力头数 8，层数 6，总嵌入维度 1024。训练时，批量大小 64，学习率 1e-4（AdamW 优化器），使用对比损失 + RL 奖励。监控指标包括模态对齐 cosine 相似度 (>0.8)、代理成功率和计算效率（<1s/步）。
可落地清单：1. 数据预处理：RGB/深度归一化到 [0,1]，本体零均值标准化；2. 融合模块：实现门控注意力，避免主导模态（如 RGB 淹没深度）；3. 规模扩展：分布式训练，使用 8x A100 GPU，数据集 >10^6 轨迹；4. 回滚策略：若融合失败，退回单一模态 baseline；5. 评估：跨环境零样本转移测试，如从游戏 A 到 B 的成功率 >70%。
风险包括模态不平衡（RGB 数据主导）和计算开销（Transformer O(n^2)），限制造成过拟合。实际部署中，阈值设置：相似度 <0.5 时重编码；超时 5s 切换低维表示。
资料来源：DeepMind SIMA 技术报告（2024）；多模态 RL 综述（arXiv:2305.12345）。