Writing
技术文章
工程记录、机制解释与研究笔记。
技术记录
01FA3：确定性 SWA 反向调度缩短 dQ semaphore 依赖链，在原 fused kernel 内调整 ticket 与 reverse scheduler。完整 backward · 3.98×02FC1：计算与通信竞争优化在 4×H200 双 stream 代理上联合调整 NCCL CTA 与 DeepGEMM SM 预算。代理联合耗时 −12.80%03确定性 MoE Router GEMM为小 M decode 接入三级后端，兼顾选核、CUDA Graph 和逐位一致性。Router 耗时 −73.39%04R3：MoE 训推路由一致性打通 vLLM 路由采集、传输与 Megatron 回放，扩展到 128 卡研发验证。路由不一致率 → 005LLMQRT：量化推理 Runtime基于 PyTorch Extension，为 H200 双卡交付 32B 量化推理与 Tensor Parallel。输出吞吐 +76.8%