pi0.5的部署问题

[ljj897246256]

您好，我想在thor中使用flashrt部署pi0.5，有个疑问，为啥pi0.5的输出不需要state，我看官方的openpi是需要的

[LiangSu8899]

您好，Pi0.5 的 state 是需要的，不过它在 FlashRT 里不是作为 decoder 的独立 tensor 输入，而是按 OpenPI 的格式离散化后拼进 prompt token 里。

#50 已经修复了 Torch 路径下 state 的传入：如果使用 flash_rt.load_model(...).predict(..., state=state)，或者底层调用 set_prompt(prompt, state=state)，state 会被写入 prompt embedding。

你现在用的是 JAX Thor 路径吗？JAX Pi0.5 Thor 这边代码显式还没有接入 state，我会单独 raise 一个修复分支补齐。

[SanNian21]

您好，我在thor上部署pi0.5，使用的是torch路径，不添加state时model.predict大概在62ms左右，添加了state后变成了200ms左右，请问这样正常吗？

[LiangSu8899]

您好，这个应该是 token 长度变化导致 CUDA Graph 需要重新捕获，带来了额外耗时和 latency 抖动。

我这边在这个 PR/分支里已经做了 fixed-length 的处理：
#94

类似：

flash_rt.load_model(
    ...,
    state_prompt_mode="fixed",
    state_prompt_fixed_max_len=120,  # 按实际 state token 最大长度设置
)

这样使用

想确认一下：你们现在测试的是不是已经更新到这个 PR 之后的代码？如果还在用旧版本，可能仍然会遇到这个问题。建议先同步一下上游最新代码，或者直接基于这个 PR 分支再测一次。

目前的新代码里，这个动态 token 长度导致的 capture 开销应该已经被 fixed 处理掉了，长度开销应该在~1ms是符合预期的。