两个context的注意力底底层机制。

一是RoPE旋转位置编码，也就是给所有token位置前后关系加权重的机制。它会因为token数量的巨大相对位置关系复杂，并因此逐渐导致位置关系影响衰减，超长距离 token 之间的位置区分度下降，远距离 token 互相干扰产生幻觉。

第二是SwiGLU激活函数的非线性激活的过程中，因为上下文语义关系的复杂性叠加，可能导致特征处理时产生复合性结构困境，上下文越复杂，模型需要同时处理的语义特征就越多。门控机制虽然可以帮助模型选择重要特征，但它并不能保证所有有用的信息都被完美保留下来，从而影响到了理解准确性。

这就相当于两个人聊天聊久了，从科技聊到了历史，又从历史聊到了经济，然后再往回找科技的时候忘了刚才说啥了，上下文太大，聊杂了。