Deepseek V3提出了MLA,用一种非常巧妙的方式压缩了KV Cache,把它们压缩到一个低维向量中,需要时在还原回去,而且利用矩阵运算的交换律,甚至不需要还原回KV,就可以计算attention的结果。
这和传统易学中阴阳八卦,天干地支有异曲同工之妙。
华夏易学以阴阳为基底、八卦干支为压缩符号体系,剥离万物具象,仅凭符号生克推演万事变化。
二者共享一套核心思想:繁象降维编码,简体承载全理,不还原本体,即可完成完整推演。

Deepseek V3提出了MLA,用一种非常巧妙的方式压缩了KV Cache,把它们压缩到一个低维向量中,需要时在还原回去,而且利用矩阵运算的交换律,甚至不需要还原回KV,就可以计算attention的结果。
这和传统易学中阴阳八卦,天干地支有异曲同工之妙。
华夏易学以阴阳为基底、八卦干支为压缩符号体系,剥离万物具象,仅凭符号生克推演万事变化。
二者共享一套核心思想:繁象降维编码,简体承载全理,不还原本体,即可完成完整推演。
