「维护属于自己的上下文」与「保持书写表达」对我来说是比较在意的两件事。但实际上这可能是一件事,通过坚持书写表达本身就是在扩充自己的上下文。
现在不少大模型的上下文宽度都有1M骰垦,而我自己的上下文目前也只有350K上下,很多问题都可以在数轮聊天中得到一些收获,也不会超出大模型的上下文宽度。
大概一周前我做了一件事情,让Agent每天看一遍我维护的上下文,然后提出一个问题。我把这套设计成了一套SKILL并设定了每日的定时任务。所以我每天都可以针对Agent提出的问题进行思考并书写下来。
做这件事有两个出发点。
其一,我觉得平时问AI问题的时候,我们不是对“AI”好奇,而是对我们的问题和答案感兴趣。但如果从“AI好奇人类”的角度出发,AI会问我什么问题从而更加“了解”我呢?AI的提问是基于“对我的好奇心”,虽然这种好奇心幻觉是我给予的,模型本身不会有这样的欲望。但通过一个又一个的问答,我维护的上下文中信息就会越来越详细和精确。
我维护的上下文里面全都是自己书写的文字,有很大一部分还发到了微博上。AI可以针对我表达的文字从中洞察到我的“漏洞”,比如发现我可能回避和隐瞒了什么,比如觉得某个事件我谈的感受还不够明确,比如觉得我某些逻辑在时间线上前后出现了矛盾,又或者什么事情没有做到知行合一。
其二,我觉得这样可以锻炼自己的书写表达。既然之前有可能回避了某些东西,那现在就可以试着直面。把那些被AI抓包的自己不愿书写出来的东西再好好捋清楚。
SKILL本身也包含了上下文维护的工作,这些问答也会注入到自己的上下文中,这样AI提的问题就不会重复。