可以把人类记忆分成四层:
AI 也要模仿这个机制,大模型对应的可能是:
把重要信息精简后存在 context 里是实现记忆的一个方式。目前的“超长上下文”只是解决了短期记忆,相当于把它能用的“便签纸”变长了。如果未来 context 窗口足够长,短中长期记忆都有可能实现。
但有个更难的问题:怎么更新模型自身的知识?怎么改参数?这还是个未解难题。
现在的模型是“离线”的,训练好就不变了。这有几个问题:模型不能真正自我迭代,重新训练浪费资源,还会丢掉很多交互数据。 理想情况是什么?模型能在线学习,边用边学,越用越聪明。
但要实现这一点,有个前置条件:模型要知道自己对不对。构建模型的自我评价机制是个难题。
【2026年2月12日】
通过上下文学习似乎是当前架构下的自主进化解法之一。