知识图谱使LLM能够真正理解

即使我不理解它们，我仍然可以轻松处理Hudum文本中的空格分隔字符串序列：复制它们、计数它们、分发给我的经理、创建新的序列等等。如果我投入时间，我可以找到字符串A通常后跟字符B、C或D的模式。一旦我找到足够多的模式，我就可以自己生成一些看起来非常正常的Hudum字符串序列。这基本上就是早期LLM所做的事情，规模宏大。

例2，“英文”化学文章和蒙古文一样神秘，对我来说至少是这样。我知道标题中的一些单词，像这样：

α-亚甲基内酯的立体电子效应与三级膦的反应及其在有机催化中的应用

但我对作者在谈论什么一无所知。（试试阅读文章本身吧！https://pubs.acs.org/doi/10.1021/acs.joc.3c01223 ）即便如此，我可以以许多不同的方式操作这些字符串，现在我比在蒙古文本中有更多线索来帮助我，但我仍然不能说自己真正理解多少。

同样地，如果我投入时间，我可以找到模式并生产一些非常巧妙且看起来正常的“化学文”字符串，就像那些毫无意义的博客标题生成器会毫不费力地产生数十个标题，即使是关于“tilkit glaxxers”这种无聊话题的。但是我肯定还是无法理解这些“化学文”的大多数字符串！LLM在多种语言上基于回收已见字符串的方式非常擅长这种生成。

例3-现在考虑一个经典且更为正常（对我们而言）的字符串集，来自一项研究人类阅读理解的实验。一组参与者阅读下面的文本，并在事后从记忆中描述他们对情况的理解。这些字符串平淡无奇，语法正确，是日常句子，没有不熟悉的词汇或不常见的句式。因此，作为读者，我们有更多的信息、更多的线索来构建对文本的理解，比我们试图理解蒙古语片段或化学文章标题时的信息要多得多。理解这段文本应该很轻松。

如果气球爆炸，声音就无法传播，因为一切都离正确的地板太远了。由于大多数建筑物往往有良好的隔热设施，关闭的窗户也会阻止声音传播。由于整个过程依赖稳定的电流流动，电线中断也会引发问题。当然，人类可以大喊，但人的声音不够响亮，无法传得那么远。另一个问题是乐器上的琴弦可能断了，这样就不能伴奏了。显然，最理想的情况是距离较近，这样潜在问题就较少。通过面对面的接触，出现问题的可能性也较小。

但是，几乎每个阅读过此文本的人都认为它令人困惑、毫无意义或不连贯，并表示他们无法理解它，即使他们了解所有的词汇并熟悉所有的句式。研究人员在此研究之后的30多年里发现了许多类似令人困惑的文本和情境，其中字符串和其他刺激并不足以理解。

这个案例很有意思，因为在这里我们可以以比以前更复杂的方式处理这些字符串，而且这些方法可以利用我们对语法和语义的知识。但即使如此，普遍共识是，对于这段文本，我们仍然无法达到通常所说的”理解”。

这些是哲学家约翰·塞尔的着名（并且广泛讨论的）1980年的”中文房间论证”的具体例子。他提出的关键观点，以及我在这里想要关注的，就是把字符串传来传去并不等同于理解，也不足以理解。因此，事实上，尽管chatGPT的早期版本可以很好地处理字符串，但它们并不理解任何东西，甚至近似程度也不行。

那么，缺少了什么要素呢？

在所有这些例子中都缺少了某些重要的要素，这些要素使我们认为存在着“真正”的理解，超越了单纯的字符串操作。那是什么？

当我尝试阅读蒙古文（或化学文章）时，即使我能够熟练地组成一系列漂亮的蒙古字符串，我不能将这些字符串与其他事物联系起来，只能与其他字符串联系起来。我根本没有培养出将蒙古字符串与其他事物联系起来的技能或知识（我也无法将其与其他事物联系起来）。

所以，缺少的是我自己内在的东西，而不是字符串中缺少了什么。理解与我对字符串的操作有关。

要理解字符串，我需要能够将它们与世界上的事物（而不是字符串）或我所了解的事物系统地联系起来。在很多研究人类理解的努力中，比如语言学、认识论、符号学和认知心理学等，这正是我们为几个世纪以来对理解的概念化的方式。

将字符串系统地与世界上的事物或我们头脑中的概念联系起来，赋予字符串（或像素、手势或声波）意义，构成了理解。

这种长期以来对理解的概念化表明，人类和人工智能可以通过至少两种方式将惰性字符串转化为认知充盈、有意义的符号。赋予字符串意义并创建理解的这些方法常常被称为“植入”。

基于直接经验的立足点：将字符串与世界中的物体相关联。

我们可以将字符串与某种感官运动经验相关联，例如一系列视觉输入（“掉落”），像素块组成的数组（“Fido”），棒球投手对特定投掷方式所记住的肩膀位置（“滑球”），音高的变化（“小三度”）或节奏（“切分音”）等等。这种立足点有助于解释我们无法有效概念化或描述的经历，比如一朵大丽花的气味或山竹的味道，以及我们从中学到的东西。

我无法将类似“Ногоон”的蒙古字符串与世界中的任何事物相关联，尽管蒙古语读写能力的人能够立刻而轻松地将该字符串与与rgb (0, 128, 0) 相对应的生理感觉联系起来，而在英语中我们称之为“绿色”。这种“字符串-物体映射”基本上就是语义专家所称的“引用”，几乎被普遍认为是意义或理解的关键组成部分，即使它不涉及明确的概念。

字符串在感官运动输入中的这种立足是最近在使用人工智能生成图像标签以及根据书面指令生成图像、视频、音乐和动作方面取得的实践进展的基础。但是，这种实际进展同时也构成了一个重要的理论进步，更接近于人类的理解：人工智能正像人类一样通过感官运动立足将字符串“朱红”理解为一系列RGB像素值。最近的LLM可以将字符串与可能存在于其环境中的事物进行立足，并跨多种模态进行这种操作，这是赋予字符串意义的重要方式之一。

对于人类和人工智能来说，我们通常认为这是一种非常有用但不完整的理解方式，因为我们对被称为“概念”的多个感官经历的概括非常重视。我们不愿意将不涉及概念的过程称为“理解”——这是立足字符串的第二种方式。

认知上的立足点：将字符串与概念相关联。

我们还可以通过将字符串与我们所了解或猜测的事物相关联来进行立足。我不理解“loon”或“teal”是什么意思，除了说它们是某种水鸟。只有当我对水鸟有足够的领域知识时，这才有所帮助。我目前只能将这些字符串在我零零星星的世界知识中进行弱化的立足。而像（英语中的）“mergansers”或（蒙古语中的）“нугас”这样的字符串对我来说几乎没什么用处。

当我试图理解“无色的绿色思想在疯狂地睡眠”，或者“扭曲的贴边鱼在筏上旋转和翻滚”，或者甚至是“Би 4 сарлагтай” （蒙古语），我很容易察觉到将这些字符串连接到连贯的概念结构的困难。将字符串（或其他刺激）映射到概念（以及字符串序列到概念结构的映射）与语义专家所称的“意义”密切相关，被普遍认为是意义或理解的另一个关键组成部分。

为了使基础成为可能，系统需要同时具备字符串和知识。在人工智能中，知识图谱和本体论使得在概念知识上系统地实现了字符串的基础。字符串在概念和知识中的基础是近期实际进展的基础，提高了LLMs的准确性和性能。但这些实际进展也构成了一个重大理论进步，更接近人类理解的一步：人工智能将字符串“vermillion”理解为知识图谱中的一个特定概念（以及定义该概念的“领域”），类似于人类所做的。例如，人工智能将字符串“Jack Nicholson”理解为与Wikidata中节点Q39792相关的事实集合。对于特定的人工智能，这些事实（或概念领域）是“定义”或“Jack Nicholson”概念的组成部分。

通过将字符串和其他刺激与世界中的事物和我们头脑中的概念（以知识图谱的形式进行转录和存储）相关联，人工智能执行的过程现在与人类理解非常相似，理解在人工智能中不再是一个模糊的隐喻，而是一个精确的模型，人类理解的简化副本，详细的人类理解模拟。

当我们对人类和人工智能应用相同的理解标准时，我们会发现这两种理解过程变得难以区分。

当然，人类的理解和认知还有更多，远比此处讨论的要多得多。基于基础的认知强调感知运动输入与概念之间的关系，这是对于在新环境中学习的自主机器人非常重要的领域，但我们在这里没有讨论。”热（情绪）”认知关注情绪如何调节感知和推理，在预测和应对人类在紧张情境中的输入方面将变得有用。当然，理解和认知在不同文化之间存在差异，因此“透视（换位）”和“跨文化认知”是理解的其他方面，最终将成为个性化和辅导系统的关键要素。

知识图谱在使最新一代LLMs能够系统地将字符串、感知运动输入和概念相关联方面发挥了核心作用。知识图谱让我们离能够理解得非常像人类一样的人工智能更近了一步。

__________

PS: 看一下下面的图像。然后再次阅读一遍气球的文字（上面的文字）。这就是这个实验的第二组参与者所做的。你可能会注意到，突然之间 – 一旦我们从图像中获取信息作为“基础” – 同样一组字符串似乎变得完全正常并且易于理解！