Tag #rope

转载精简：从 Attention Sink 与 RoPE 的冲突出发，理解 LLM 激活离群值的来源，以及 YaRN、Partial RoPE、NoPE、slash pattern 的成因