问题与职责
历史 token 构造中的同步与 CPU 往返增加 decode 开销;异步化还需要保证请求恢复、slot 复用等跨 step 状态正确。
在 GPU 侧保留状态,使用 Triton fused-hash 构造输入,并修复请求恢复、slot 复用等跨 step 状态问题。分别验证 TP1 融合路径和 TP2 / TP4 安全路径。
验证结果
| 条件 / 指标 | 结果 |
|---|---|
| TP1 验证与吞吐 | 28 / 28 · +4.99% |
| TP2 安全路径 | 84 / 84 · 0 mismatch · +4.6% |
| TP4 安全路径 | 84 / 84 · 0 mismatch · +3.0% |
形成分 TP 配置的正确性与性能验收。
来源:本人 2026 年 9 月简历与工程记录摘要;以下为所述实验条件下的结果。
TP1 与 TP2 / TP4 不是同一融合路径。多卡结果仅对应已验证的安全路径,不代表所有配置均可直接启用 fused-hash。