rl / Engineering

FlashInfer:CUDA Graph hang 排障

两卡最小复现定位 Lamport sentinel 的 FTZ 误判,回移上游修复。

问题与职责

H200、TP=2 的 rollout 在 CUDA Graph 路径卡死,外层表现为 hang 或 RPC timeout。

构建两卡最小复现,通过 eager / Graph、fused / unfused 控制变量定位 Lamport sentinel 的 FTZ 误判。回移上游位级判断修复,并完成模型级 Graph replay 回归。

验证结果

条件 / 指标结果
修复后重复 Graph replayNo observed hang / timeout

完成根因隔离、补丁回移与回归验证。

来源:本人 2026 年 9 月简历与工程记录摘要;以下为所述实验条件下的结果。

此项为实习期间的上游修复回移与验证,不宣称原创上游修复。另行合入的 FlashInfer #5171 是已安装包测试兼容性修复,两者分开记录。

另一个上游贡献

#5171 ↗ · 已安装包测试兼容性修复,已合入;不与本页的回移工作混为一项。