LLMs的局限
如果要谈及LLMs的局限，我们需要先了解下LLMs的工作原理。
GPT4 是一个巨型的因果归纳器，而不是因果演绎器，它的原理是归纳语句的因果的关系，在上下文语境中预测单词，这种带有概率性质的符号模型，使其具备对这个世界有着模糊的认知。但这绝非智能，且非通往智能的道路。
首先，文字符号作为信道小传输效率高的一种符号学，本身是人类表达的一种很小的模式之一，它在人类历史中也不过短短几千年，比如一段单词"哈"，用不同语气表达都具有不同的含义，但是 llm 是不懂的。另一方面，llm 只能归纳预测下一个单词的行为，使其无法理解人类社会现存的规范和情感，这也就是其胡说八道口无遮拦的原因。
智能
何为智能？智能是一种非常普遍的心理能力，包括推理能力、计划能力、解决问题的能力、抽象思维能力、理解复杂思想的能力、快速学习的能力以及从经验中学习的能力。
谈及智能，有个能力是必须具备的，那就是因果演绎的能力，智能体提供多种感官感知世界，再将世界内化为生产知识，通过知识，又能做出假设然后演绎归纳新知识，而不是单纯接受数据归纳数据。
何以利用LLMs改造世界
但是另外的方面，打工人的不少工作其实就是符号学的运用，比如打代码写稿子，通过 gpt4 可以很好的完成部分跟符号归纳的工作，但是还替代不了人类，因为人类的演绎能力是 gpt4 不具备的，所以我们才只称其为 copilot。
用辩证法的否定之否定来判定，我们要利用 gpt4 的归纳和符号运用能力，而使用人类独有的演绎能力来驾驭它。
变化
2024/06/14 记
LLM已经经过一年多的狂奔了，市面上也出现了诸如RAG、Agent、MLLM等技术突破，以往的观点需要在今天做一个修正。
之前对于LLM是一个因果归纳器的判断其实并没有变，Transformer架构就是学习Token之间的向量关系来预测下一个单词，从而达到压缩语言的作用。在算力的作用下将数据的复杂性迁移到了模型上，这是热力学系统的一次伟大构建过程。这种语言的学习、对概念的抽象，与人类的学习本质其实并无太多差异。
但是对于推理方面，我觉得要稍作修改。之前我认为大语言模型并无推理能力，只是在归纳预测下一个Token。但是随着认识的变化，我改变了这个观点。
推理
推理包括：
（1）对现实的抽象，即概念的转化过程。比如苹果这个单词，就是对现实苹果的抽象
（2）构建概念的关系，包括因果和相关
LLM，甚至可以说所有机器学习算法，都是相关性统计模型。所以LLM应该是具备推理能力，至少在浅层推理上，理解词义并计算下一个单词的模式是可行的，也是符合人类的学习过程的。
人类对于因果的判断实质也是基于概率模型，因果是带方向和概率为100%的相关。所以在演绎方面需要修正之前的判断，至少我觉得LLM叠加Agent的技术，已经可以替代人类部分演绎推理过程。
只是在因果上，对于数学符号的理解和计算上面，LLM缺乏准确度。这也是连接主义和符号主义的矛盾之争。在长期来看二者会并存并在未来融合。
另外假设与演绎的能力LLM也是缺乏的，这很大一部分原因是受限于上下文的能力，这个在未来我觉得是有可能解决的。
至于智能，在某些方面，LLM可以部分实现并比人类做得更好。
一起期待AGI的到来。
References
[1] AI Chatbots Don’t Care About Your Social Norms