DC娱乐网

AI记住你屏幕上做了什么,压缩86倍还不用大 把一天的屏幕录制压缩86倍,68毫

AI记住你屏幕上做了什么,压缩86倍还不用大
把一天的屏幕录制压缩86倍,68毫秒跑完。整个编译流程完全没用大模型。

输出字节级一致,每次结果一样,可以缓存。拿这个给AI看,让它回答"这天发生了什么",准确率98.4%。拿同样的录制让LLM直接写摘要,准确率66-80%,差了一截。

现在的AI代理每次开始都是白板——它记录的是用户说了什么,没有记录用户做了什么。把屏幕录制确定性编译成结构化记忆,绕开了这个问题,而且输出是可以机械审计的。

数据来自一个人51天的操作,128,756帧。其中8-9%是可委托的重复动作,识别出来之后,后续重复可以零token回放,不调模型。

我学编程的时候想过游戏回放。游戏录像不存画面,只存操作事件,本地逻辑重建,文件极小。这个研究的思路有点像,对象换成了电脑操作,估计是因为类似的约束:存原始画面太贵。

代码MIT开源,本地运行。作者说欢迎挑剔的问题,单用户语料库和模型估算的分子确实是需要挑剔的地方。
AI记忆 屏幕录制 AI代理 本地AI 效率工具 AI研究