Tag #attention

ICML 2026：把 sink 的注意力权重看成门控，注意力头就成了专家，注意力层本就是 MoE；由此解释 head collapse 并用负载均衡损失缓解

转载精简：从 Attention Sink 与 RoPE 的冲突出发，理解 LLM 激活离群值的来源，以及 YaRN、Partial RoPE、NoPE、slash pattern 的成因