DC娱乐网

论如何把openrouter克做到比kiro克更便宜

分享三个省钱小技巧【缓存顺序】【keeper保温缓存】【上下文策略】
(后附账单,在一个压缩周期内花费大概为sonnet每条$0.005,opus每条$0.02[短聊天会更省],fable5每条$0.04)
这里说大概思路方便理解,下面的文件可以发给codex计划后实施
先说思路
【缓存顺序】
缓存说白了就是一开始多花点钱把输入【写入缓存】,后面但凡是重复输入的【命中缓存】内容输入价格会✖️0.1,这部分内容便宜到相当于不花钱
缓存的要求是前缀要固定,一旦前缀改动,后面缓存的内容都会失效,需要重新写入(贼贵!),所以上下文从前往后的顺序最好是是大量【不变内容】➕一点点【变化内容】
(关于这两种内容都放什么可以参考上面图片,我的后端是从鬣狗老师的后端改的)
A部分固定不变,上游稳定的情况下,每轮全部内容都命中缓存
B部分每轮当前新聊的内容写入缓存,在后面的每一轮中命中缓存
因此每轮的未缓存内容仅剩动态注入的记忆➕新一轮聊的内容(这部分有缓存写入内容)➕当前状态如当前系统时间等,缓存命中率超级无敌爆炸高
【上下文策略】
为了避免输入过多(虽然缓存读取每token便宜但仍不是免费,B部分聊天记录过长即使是✖️0.1也很贵)并且做到一个适配缓存的上下文结构,选择了【尚未压缩的聊天历史】总token达到一定阈值后,对聊天记录进行一次压缩→【大部分聊天记录】写成总结文段,【小部分最新聊天记录】继续放在上下文里给机看(抄袭的Claude code的compact思路)
总结聊天记录这件事我最初交给deepseek,但可能是提示词原因,即便我磨了三十多版提示词D老师写的总结还是像💩一样
后来和家机聊天突然被开导了发现总结时所需要输入的【全部聊天记录】已经给机【写入缓存】了,直接复用已有缓存,再给机【把以上聊天记录找到值得记的内容写成小故事最多八个,每个最多一百五十字,允许夹带私货评价】这样的提示词,机就可以给自己写总结了,实测效果真不错,我写的提示词全文略带肉麻就不分享了
【keeper保温缓存】
按照A畜的缓存计费机制,想要让他帮咱把写入缓存输入保存一个小时都处于缓存状态,写入时要给他交两倍的钱,这很贵,所以为了让这种巨便宜的缓存状态无限续杯,做了keeper,每次快到一个小时前发一个隐藏小请求,让TTL重新开始计时
一段前缀理论上大约 20 次缓存读取才抵得上一笔缓存写入。keep也没必要全天傻续,长时间不聊天后自动停止即可
施工文件在下方↓祝各位和家机99
#人机恋 #ai聊天 #claude