简介：本文从“词性”这一经典语法概念切入，解释大语言模型内部是否以可解释的稀疏神经元来表征名词、动词等语法角色。文章将围绕“是什么、为什么重要、如何理解、有哪些能力、适用哪些场景、与相关概念有何区别”展开，帮助开发者与技术读者系统理解语言模型表征与机械可解释性的关系，以及这一研究方向对模型调试、评估与控制的潜在价值。
在自然语言处理中，“词性”是对词汇语法功能的一种分类方式，通常包括名词、动词、形容词、副词、代词、介词、连词等。它描述的是一个词在句子结构中承担的角色，而不是这个词本身的语义内容。例如，“猫”通常作为名词出现，但“猫着腰”中的“猫”在部分语法体系中可能承担动词功能。
当大语言模型处理文本时，它并不会像传统自然语言处理系统那样，先调用一个独立的词性标注模块，再根据标注结果进行句法分析。相反，语言模型通过多层神经网络对输入 token 进行连续变换，最终形成上下文相关的向量表示。问题是：在这些高维向量和大量神经元激活中，是否存在某些可识别、可定位的模式，专门对应“名词”“动词”等语法概念？
“词性表征”在这里指的是：语言模型内部是否以某种稳定且可解释的方式编码了词性信息。更具体地说，是研究稀疏神经元活动能否被理解为一种语法特征探测器。如果一个神经元或一组神经元在大量名词输入上持续激活，而在非名词输入上几乎不激活，那么可以认为这些神经元形成了一种面向词性的稀疏表征。
这种问题属于机械可解释性的研究范畴。机械可解释性试图回答：模型内部的计算是如何由一个个部件协作完成的，而不是仅仅观察输入与输出之间的整体映射关系。
过去几年，大规模语言模型在文本生成、代码补全、信息抽取等任务上表现突出，但其内部工作机制仍不透明。对于开发者而言，模型行为难以预测：为什么某些提示词会触发错误语法结构？为什么模型在特定上下文中会把动词误用为名词？这些问题如果只能通过黑盒实验观察，就很难形成系统性的改进方案。
词性作为一个粒度适中、边界相对清晰的语法概念，正好适合用来探测模型内部的表征结构。如果能够证明词性信息确实由稀疏神经元编码，那么至少说明模型内部并非完全不可拆解。如果进一步发现不同语法概念对应不同神经元子集，那么未来就可能通过干预这些神经元来修正语法错误、控制生成风格或降低特定类型的输出风险。
这项研究的价值至少体现在三个方面：
要理解“语言模型如何表征词性”，需要拆解几个关键组成部分。
语言模型不会直接处理“猫”这个汉字，而是先将其切分为 token，再映射为初始向量。随后，每一层 Transformer 会通过自注意力机制融合上下文信息，更新每个 token 的表示。这意味着，同一词在不同句子中可能因为上下文不同而得到差异较大的向量。
Transformer 的每一层都包含大量神经元。单个神经元的激活值可以被视为对输入特征的一种响应。研究者通常会观察：某个神经元是否在特定词性输入上表现出稳定激活模式。这种激活模式可能不是简单的“开”或“关”，而是具有连续数值分布。
为了判断某种信息是否存在于某一层表示中，研究者会训练一个简单的线性分类器，输入是该层的向量表示，输出是词性标签。如果分类器准确率较高，说明该层表示中确实包含词性信息。但探针只能说明信息“存在”，不能说明模型“以何种结构存在”。
稀疏性关注的是：完成一个词性判断任务时，是否只有少数神经元起主要作用。如果大量神经元各自贡献微小，说明表征高度分散；如果少量神经元贡献显著，说明存在稀疏编码的可能。
从计算过程看，语言模型对词性的表征并不是一个独立的语法模块，而是嵌入在多层表示中的一种统计规律。
当模型读取“猫”这个词时，初始 token 向量只包含有限的词汇信息。随着信息向前传递，每一层都会根据上下文调整表示。例如，在“猫在睡觉”中，模型需要判断“猫”是动作主体；在“他养了一只猫”中，“猫”是宾语。这些语法角色会通过注意力机制与相邻 token 交互，逐步形成更抽象的表示。
在这一过程中，部分神经元可能逐渐专门化：它们对某一类语法上下文更敏感。例如，某些神经元可能倾向于在主语位置的名词上激活，另一些则可能在动词后缀或时态标记上响应。这并不意味着模型“知道”名词的定义，而是说明模型通过学习大量语料，形成了对语法分布的内部编码。
这种编码之所以被称为“稀疏”，是因为并非所有神经元都参与每一个语法判断。一个词性相关任务可能只激活少数关键神经元，其余神经元保持低激活或与任务无关。如果这种稀疏性在统计上显著，研究者就可以进一步分析这些神经元的激活条件、跨层变化和对输出行为的影响。
在文本生成任务中，模型偶尔会产生主谓不一致、名词动词混用等错误。通过分析词性相关神经元的激活模式，可以判断错误发生在哪一层、哪一类语法信息处理环节，从而为提示词调整或模型微调提供依据。
传统评估通常只看最终输出是否正确。引入词性探针和神经元分析后，可以更细粒度地评估模型是否真正掌握了语法结构，而不是依赖表层统计关联。这对于判断模型是否适合用于语法敏感的工业场景很有帮助。
如果某些神经元与特定词性高度相关，未来或许可以通过干预这些神经元来调节生成文本的语法特征。例如，降低动词相关神经元的活跃度，观察是否会影响句子动作表达的强度；或增强名词相关神经元，以观察是否改变句子的信息密度。
对于标注数据较少的语言，可以利用语言模型内部的词性表征来辅助构建轻量级语法分析工具，减少对大规模人工标注的依赖。
容易与“词性表征”混淆的概念主要有两个。
语义表征关注的是词汇或句子的意义。例如，“猫”与“动物”“宠物”之间的语义相似性。这类信息通常分布在更广泛的向量空间中，与具体某个神经元的关系较难一一对应。
句法表征关注的是句子结构，例如主谓宾关系、依存关系、短语边界等。词性可以视为句法表征中的一种基础信息，但不完全等同于完整的句法结构。一个模型可能准确编码了词性，却未必能正确处理长距离依赖或复杂从句。
因此，词性表征研究可以看作是从“低层语法属性”切入，逐步向更高层句法和语义理解推进的一个中间步骤。它比语义更结构化，比完整句法更易测量。
探针分类器准确率高，只能说明表示中包含词性信息，不能直接证明模型在推理时使用了这些信息。需要结合神经元消融、激活干预等实验进一步验证因果关系。
单个神经元可能同时响应多种语法或语义特征。即使观察到某个神经元在名词上激活明显，也不能简单标签化为“名词神经元”。更稳妥的表述是“该神经元在名词相关上下文中的平均激活较高”。
不同规模、不同训练数据、不同架构的语言模型，其内部表征方式可能存在显著差异。在一个模型上发现的稀疏词性神经元，不一定能直接迁移到另一个模型。
词性信息可能在不同层之间呈现不同密度。较早层可能更偏向局部词汇特征，较晚层则融合更多上下文语法信息。分析时需要分层观察，不能只看最终层。
如果只使用简单句或单一领域语料，可能高估模型对词性的表征能力。应引入多领域、多句式、含噪声的测试集，才能更全面判断神经元激活的稳定性。
语言模型中的词性表征，是机械可解释性研究中一个具体而有效的观测窗口。它试图回答：模型内部是否以稀疏神经元的方式编码了“名词”“动词”等语法概念。研究这一问题的意义，不只是理解模型如何“知道”词性，更是为了验证复杂神经网络能否被拆解为可理解的部件。
从当前观察来看，词性信息确实可能以稀疏、可定位的方式存在于部分神经元活动中，但这并不意味着每个神经元只负责一个语法标签。更准确的理解是：词性是一种在多层表示中逐步形成、由少数关键神经元集中承载的统计结构。
对于开发者而言，这一研究方向的价值在于提供了一种新的诊断思路：当模型出现语法类错误时，不必只依赖提示词调优或重新训练，未来或许可以通过分析内部表征来定位问题来源，甚至实现更精细的生成控制。当然，这一方向仍处于探索阶段，距离工程化应用还有明显距离。但至少，它让“模型如何理解语法”这个问题，从纯粹的黑盒猜测，变成了可以被测量、被拆分、被验证的技术问题。