training / Engineering

FA3:确定性 SWA 反向调度

缩短 dQ semaphore 依赖链,在原 fused kernel 内调整 ticket 与 reverse scheduler。

问题与职责

长序列、确定性模式下的 SWA backward 出现性能回退。目标是在不破坏逐位确定性的前提下缩短反向传播耗时。

负责问题归因、调度实现和回归验证。使用 Nsys / NCU 定位 dQ semaphore 依赖链,在原 fused kernel 内实现 contributor-relative ticket,并与 reverse scheduler 对齐。

验证结果

条件 / 指标结果
代表 packed shape 的完整 backward6.755 ms → 1.699 ms · 3.98×
2K–12K 测试范围1.59–5.37×
回归覆盖3,601
逐位确定性重复测试1,000

完成 wheel 交付。

来源:本人 2026 年 9 月简历与工程记录摘要;以下为所述实验条件下的结果。

加速针对所列 SWA backward 工作负载,不等于整轮训练或 IQuest-Q1 最终模型的端到端加速。该工作作为实习工程产出展示,不计入上游 PR 合入统计。