Back
读论文时顺手记下的笔记
ICML 2026：把 sink 的注意力权重看成门控，注意力头就成了专家，注意力层本就是 MoE；由此解释 head collapse 并用负载均衡损失缓解
paper notes
llm
attention
moe
icml
