现在上下文长度的问题已经基本被解决了。
大模型上下文,即使搞到1M,就是100万,其实也是不够的。因为随着你的对话长度越来越长,总是要超过的。在智能体执行任务的时候,那个长度就更长了。尤其是长程任务,执行几个小时,甚至几天那种长任务。
有一个办法,就是在智能体里面可以用某种方式进行压缩。因为这个会话里面,大部分的信息都是无用的,你可以把不影响上下文的信息删掉,把重点的信息进行压缩。
没想到,这个方法这么管用。好像也没怎么进行攻关,现在好一点的智能体都可以做到很好的压缩了。这就是计算机工程的魅力,似乎总能找到一些办法,把一些感觉很占资源的操作优化下来。
就像你手机的内存,正常来讲,永远是不够的。那是计算机工程师想了各种优化算法,给优化下来了。
显然,通过压缩进行优化,比让大模型不断增加上下文长度划算。因为显存是很贵的。
但是我估计,大模型的上下文还会继续提升,从100万到150万,到200万。而上下文的压缩优化,还会继续。