GR00T N1.6 真机部署问题

[douzi999]

您好，非常感谢您的加速工作！我最近在做GR00T的真机部工作，通过自己采集数据训练后真机部署可以比较好的完成任务，但是使用flashrt框架加速后模型输出和未加速的模型输出偏差很大，应该是有精度损失吗？请问在真机部署上有什么需要注意的点吗？

[LiangSu8899]

你好，感谢反馈！这个偏差不符合预期 —— 配置正确的话 FlashRT 加速版 vs 未加速 PyTorch 的 final action cosine 应该 ≥ 0.995，action的相对误差通常 < 1.5%。出现“偏差很大”基本都是下面某项对齐没做对，不是 FP8 的精度上限（校准正确的 FP8 实测 cos 在 0.995~0.999）。

一个关键前提：FlashRT 的 infer(obs) 工作在模型边界 —— 吃原始 state、吐原始 actions，它自己不做 state 归一化、也不做 action 反归一化（图像内部已固定 (x/255-0.5)/0.5）。在 Isaac-GR00T 里这部分是 GR00tPolicy 用你 fine-tune 数据集的 metadata.json 统计量做的，需要你在 FlashRT 外面套上。

请按这个顺序排查（附原因）：

1. 归一化边界（最高发，和量化无关）：确认外层用的是你自己 fine-tune 跑出的 metadata.json 统计量，不是 base 检查点的；比对时两边在同一边界（都比原始输出，或都用同一套 stats 反归一化后再比）。

2. embodiment 槽位：每 embodiment 的 encoder/decoder 是按槽位取的，embodiment_tag 指向的 slot 必须 == 你实际 fine-tune 的 slot（自训练一般是 new_embodiment/slot 10）。选错可能会会静默输出噪声。

3. FP8 校准：清掉 ~/.flash_rt/calibration/ 缓存（它的 key 不含 embodiment、哈希只读首 64KB，可能复用了 base 的 scale），然后用你机器人真实采集的 ≥8 帧调 rt.calibrate(real_obs_list, percentile=99.9) 重新校准，别用随机/合成帧，或者用你训练的数据集进行校准

4. 对齐验证时固定 flow-matching 初始噪声 seed，否则比 cos 本身就不准确；同时确认 prompt / num_views / action_horizon / state 与训练端一致。

另外说明一下：GROOT 目前默认走 FP8。我接下来会像 Pi 那样补一套 FP16 的 pipeline，这样以后可以一键 A/B 对比，快速判定偏差到底是不是 FP8 量化/校准引入的。

我整理了一份检查清单 + 一个自检脚本（含 embodiment 槽位检查、缓存清理、真实数据重校准、与参考输出比 cos），还有agent.md，按文档跑一遍应该就能定位到具体是哪一项：

agent.md
groot_n16_finetune_selfcheck.py