我的LLM调一次过缓存一天，钱省疯了
有一天我盯着 API 后台，发现一件事——
同一只票的财报分析，今天调了，昨天也调了，前天也调了。
每次都是差不多的提示词，差不多的回答，每次都在花钱。我算了算，全市场扫一轮，几十次 LLM 调用，真正"新的"大概只有 20%。剩下 80% 在重复花钱。
这就好比你每天走同一条路去上班，但每次都重新开导航、重新算路线。没必要。
于是我给系统加了一个"记忆本"。就是一个 SQLite 小数据库。不复杂。
每次调 LLM 之前，先把问题+场景算一个指纹，去记忆本里翻——上次问过没？
问过，且答案还没过期 → 直接拿，不调 LLM，0 token 消耗。没问过，或过期了 → 调 LLM，答案存进记忆本。
真正花心思的不是这个逻辑，是"过期"怎么定。
不是所有答案都该存一样久：
• 情绪分析 → 5 分钟过期。市场情绪变得快，用旧结论会误导。
• 财报分析 → 24 小时。财报今天跟昨天一样，没必要重复花钱。
• 合规审查 → 7 天。监管规则不是天天改的。

这个差异化设计是我最满意的部分——
该快则快，该省则省，不是一刀切。
最大的直觉不是技术多深，而是知道"什么值得花钱"。
LLM 调用这件事，80% 不值得重复花。
省了多少没精确算，但高峰期大量缓存命中，
API 账单肉眼可见地降下来了。

AI工具实战 产品经理日常 独立开发 AI工作流 LLM大模型 AI工具 AI产品经理 vibecoding