参数化 Memory 漫谈（纯干货）

Source : mp.weixin.qq.com

（和 LLM 相关的）Memory 是一个被广泛关注和讨论的话题，其中，参数化 Memory 是 Memory 的一个重要分支。但是在众多的谈论中，我发现很多文章对于“参数化 Memory”这个概念的理解并不一致，比如认为“只要训练了一个记忆特化的模型，就归类为参数化 Memory 研究”。甚至在写下这篇文章之前，我也很难系统性地理解参数化记忆的本质是什么、难点如何，以及它和 LLM 的关系如何。因此，本文主要是梳理一些脉络，尝试从头理解参数化，以及理解记忆。故称为：“漫谈”（偏教学向、学习向）。