研究

From Structure to Preference: Token Weighting for Chain-of-Thought Distillation in Large Language Models

Shankui Han, Zhaoyu Li, Weiwen Yuan, Yuyuan Yang, Haoran Feng, Jinke Ren

共同作者。负责模型训练、超参调优与 vLLM TP=4 评测，完成 LoRA / DPO 训练及对照评测。

参与“结构恢复、关键 Token 加权监督、偏好优化”三阶段框架。通过逐 token 扰动教师推理后参考答案生成似然的下降量估计重要性，并将权重用于 SFT 与辅助损失。

OpenReview ↗ · 结果来自在投稿件；当前仅按已投稿展示，不表示已录用。