两个context的注意力底底层机制。 一是RoPE旋转位置编码,也就是给所有token位置前后关系加权重的机制。它会因为token数量的巨大相对位置关系复杂,并因此逐渐导致位置关系影响衰减,超长距离 token 之间的位置区分度下降,远距离 token 互相干扰产生幻觉。 第二是SwiGLU激活函数的非线性激活的过程
两个context的注意力底底层机制。
一是RoPE旋转位置编码,也就是给所有token位置前后关系加权重的机制。它会因为token数量的巨大相对位置关系复杂,并因此逐渐导致位置关系影响衰减,超长距离 token 之间的位置区分度下降,远距离 token 互相干扰产生幻觉。
第二是SwiGLU激活函数的非线性激活的过程