Absolutely freezing, a bit cold：语言模型怎样把形容词和程度修饰语放在同一条强弱轴上

要点

在 5 个开源语言模型（1.7B 到 27B 参数）内部，形容词的强弱程度落在所有标度共享的一个方向上，与它处在标度的正反哪一极分开。程度修饰语也落在这个方向上：甚至在后面的形容词出现之前，slightly、very、absolutely 在自身位置上的状态就已经按语法类别排在这条轴上；加到词前面时，修饰语一方面给词加上自己的基线偏移，另一方面把标度原本的强弱跨度压窄。这个坐标既对应网络语料里的修饰语搭配习惯，也影响模型如何理解新造词，在中文里同样成立，并且直接参与模型后续的生成计算。

• bad → terrible 和 good → excellent 沿同一个方向移动（余弦 0.35–0.46；打乱标签的基线为 0.065）。强词在褒贬极性轴上几乎不向外扩张（仅占总位移的 1–5%），因此每个标度的四个词在平面上接近一个平行四边形。
• 赶在形容词出现之前、直接在修饰语自身的位置读取状态，19 个英文修饰语就已经按“减弱类 < 中等类 < 增强类 < 极量类”排开（5 个模型上 Spearman 相关为 0.69–0.73）。utterly 的位置比 slightly 高出 1.1–1.3 个“一般 → 强”步长。
• 修饰语给新词带来的位移，与它给真词带来的位移顺序一致（Spearman 0.84–0.98）。与此同时，增强类和极量类会缩小一般词与强词之间的间距，但基本保留褒贬间距——这也是为什么 “very scorching” 在强弱轴上的位置反而比单说 “scorching” 更低。
• 几何位置与语料搭配从两侧相互印证：一个形容词跟在 absolutely 后面比跟在 very 后面越频繁，它在轴上的位置就越高（373 对人工标注词对上相关为 0.51–0.55）；反过来，网络语料越偏爱把某个修饰语放在强词前面，经它修饰后的强词落点也越高（19 个英文修饰语上为 0.49–0.59；Qwen 模型上 12 个中文副词为 0.86–0.90）。
• 在仿照幼儿词汇学习研究（Syrett & Lidz 2010）的 LLM 实验里，把新词放在 completely pelgy 而不是 very pelgy 中，会让全部 5 个模型都转向有自然终点的性质（选“透明”而非“高”），对数概率差为 0.23–0.63 nats。
• 用评价性词对学到的强度向量植入 cold，模型的续写会向 freezing 靠拢（消除了 24% 的分布差距，对照约为 0）。植入向量在真实差向量上的投影能直接预测效应大小（秩相关 0.90–0.94）。而且只用英文词算出的向量，拿到中文里植入，效果与中文自身算出的向量相当。

关于形容词强度和程度副词，前人做过不少铺垫：比如用语料模式或修饰语搭配给形容词强度排序（de Melo & Bansal 2013；Ruppenhofer 等 2014），在词向量和 BERT 中寻找强度方向（Kim & de Marneffe 2013；Garí Soler & Apidianaki 2020），以及测量副词怎样沿标度方向移动 BERT 的形容词表征（Lorge & Pierrehumbert 2023）。本文往前推进了四步：

1. 在自回归解码器 LLM 中，仅用形容词对构建出一条共享强弱轴，发现修饰语在形容词出现之前就已经在轴上带有各自的标量值；修饰语的组合效应可以拆成“自身基线位移 + 仅针对强弱维度的压缩”，且中英文修饰语遵循同样的类别顺序。
2. 从对数线性模型的同一个内积出发，在形容词和修饰语两侧同时验证了几何位置与网页搭配统计的吻合，且这一关系无法用词频或修饰语大类来解释。
3. 将发展心理学里的 Syrett–Lidz 幼儿新词推断实验搬到了 LLM 上，并与极端形容词和闭合标度形容词的几何区分对应起来。
4. 完成了因果干预检验：沿强弱轴植入向量会改变生成行为，一阶投影公式能预测改变的幅度，且英文学到的向量可以直接跨语言作用于中文。

文中所有主检验均做了预注册，运行前用 SHA-256 冻结了文件哈希；探索性与事后补充分析在正文中标出。全部预注册检验及其结果列在文末附录。

1. Good、excellent、bad、terrible

cold 和 freezing 描述的是同一种性质，只是程度一轻一重。语言学家把这类可分级形容词排成标度：一极是 good – excellent，另一极是 bad – terrible。其中 excellent、terrible 这类极端形容词在搭配习惯上和普通形容词很不一样（Paradis 2001；Morzycki 2012）：它们排斥 very（很少说 “?very freezing”、“?very excellent”），却能自然地接在 absolutely 后面（“absolutely freezing”）。而且这种极端性在正反两极是对称的——terrible 的极端程度不亚于 excellent。

过去十多年里，NLP 研究者用不同方式挖掘过这种结构。基于模式的方法靠 “good but not great” 这类短语（de Melo & Bansal 2013）或前置修饰语分布（Ruppenhofer 等 2014）来给形容词排出强弱；基于向量的方法把强度看作词向量空间里的平移（Kim & de Marneffe 2013）；在 BERT 中，极端词与一般词的平均表征差可以给出一个方向，用来给新的标度排序（Garí Soler & Apidianaki 2020）。

程度修饰语则有另一条研究脉络。Cliff（1959）最早把 very、slightly 这类副词建模为形容词意义的乘数。Paradis（1997）按能搭配的形容词，把英文程度修饰语分为减弱类、中等类、增强类和极量类。形式语义学把它们写成作用在形容词标度上的函数（Kennedy & McNally 2005），组合分布语义学则把它们看作词向量上的算子（Baroni & Zamparelli 2010；Socher 等 2012）。在儿童语言习得中，30 个月大的幼儿已经能借助 completely 与 very 的差别来推断一个陌生形容词的意思（Syrett & Lidz 2010）。

这篇文章顺着下面的线索，依次回答六个问题：

1. 形状（第 2 节）：模型内部把形容词标度排成了一条从 terrible 到 excellent 的单维带符号直线，还是拆成了“极性”和“强度”两个独立坐标？
2. 修饰语（第 3 节）：slightly、very、absolutely 本身是否也落在这条轴上？它们加到形容词前面时，对表征做了什么几何变换？
3. 用法（第 4–5 节）：残差流里的几何位置，与人们在网页上怎样搭配“修饰语 + 形容词”一致吗？这条轴刻画的又是哪一种意义上的“到顶”？
4. 学习（第 6 节）：面对从未见过的新形容词，模型能否像幼儿一样，借助前面的修饰语推算出它的语义类型和强弱？
5. 使用（第 7–8 节）：网络下游的层真的会读取这条轴来生成文本吗？能否直接从几何投影算出编辑后行为会改变多少？
6. 范围（第 9–10 节）：中文形容词用的是不是同一条轴？这条轴又是在网络的哪一部分构建出来的？

实验覆盖 5 个自回归解码器模型：4 个基座模型（Qwen3-1.7B-Base、Qwen3-8B-Base、Llama-3.1-8B、Mistral-7B-v0.3）和 1 个后训练模型（Qwen3.8-27B）。除跨层分析外，所有结果都读自中间层 L* = round(3N/7)，其中 N 为模型层数。词的表征取它最后一个 token 处的残差流状态，在 6 个简短问答模板上取平均。核心词表包含 23 个标度 × 4 个词：16 个评价性标度（如 good / excellent / bad / terrible）和 7 个非评价性标度（如 big / huge / small / tiny）。样本外检验采用 Cocos 等（2018）汇集的人工排序集，从中取出不与核心词重叠的 527 对“弱 → 强”词对。

修饰语部分包含按 Paradis 四类划分的 19 个英文程度修饰语（外加 almost、nearly），以及按汉语常见的四个量级（低量、中量、高量、极量）划分的 13 个中文程度副词。中文词表有 16 个标度 × 4 个词（10 个评价性、6 个非评价性）。为了避免构词混淆，每个中文强词都选用单一词汇形式：固定成语（如“至关重要”）、朱德熙（1956）意义上的状态形容词（如“冰冷”），或词汇本身就强的词（如“狂喜”），不使用“很 + X”。语料共现统计来自 100 万篇英文网页和 160 万篇简体中文网页。词汇学习部分构造了 24 个新形容词，第一个正是 Syrett 和 Lidz 当年用过的 pelgy。

2. 两个坐标：极性与强度

在全部 5 个模型中，从 good 到 excellent 的位移向量，与从 bad 到 terrible 的位移向量指向大致相同的方向。模型把“在哪一极”和“有多强”存成了两个分开的坐标。

对每个标度 d，记 A₀、A₁ 为一极的一般词和强词（good、excellent），B₀、B₁ 为另一极（bad、terrible）。把两极各自的增强向量 d_A、d_B 拆成共同部分 m 和极性差异部分 g：

参考轴一律用留一法构造，剔除当前标度 d：强度轴 u 取其余 22 个标度共同部分 m 的平均方向；极性轴 p 取同类型其余标度“好减坏”对比的平均方向。记沿强度轴的推进量为 M = m·u，沿极性轴额外向外扩张的量为 O = g·p。

关于标度的几何结构，两种假说给出截然相反的预测：

几何图景	两极强词是否都沿 u 同向移动？	极性外扩比 O / M
带符号直线：terrible 是把 bad 推向更负	否：d_A 与 d_B 方向相反	大
双坐标分解：极性 + 强度	是：cos(d_A, u) > 0 且 cos(d_B, u) > 0	接近 0

实测数据清楚地落在了第二种图景上：

模型	cos(d_A, u)	cos(d_B, u)	O / M [95% 区间]
Qwen3-1.7B-Base	0.44	0.38	0.047 [0.008, 0.089]
Qwen3-8B-Base	0.46	0.39	0.013 [−0.020, 0.046]
Llama-3.1-8B	0.39	0.35	0.045 [−0.002, 0.087]
Mistral-7B-v0.3	0.42	0.39	0.052 [0.005, 0.103]
Qwen3.8-27B	0.43	0.37	0.041 [−0.013, 0.090]

把 92 个词随机打乱重排到网格上 1,000 次，余弦值的 95 分位仅为 0.060–0.068。两条预注册判据在 5 个模型上全部成立：两极余弦均显著高于零分布，且 |O / M| ≤ 0.5。

写成加性模型会更直观：

极性 σ 和强度 t 以相加的方式进入残差流，因此一个标度的 4 个词张成一个平行四边形：h(A₁) − h(A₀) ≈ h(B₁) − h(B₀)。{一般, 强} × {A 极, B 极} 这个 2 × 2 网格的乘积结构在残差流里保持完好，正好对应语言学里“极端性跨极对称”的现象。

仔细看图 1，还能注意到几个次要的几何细节：评价性标度的强词对在好—坏轴上比一般词对稍微宽 6–17%，非评价性词对宽度则保持不变（0.87–1.00）；负极沿 u 向上的位移略小于正极，为正极的 79–88%。虽然差异项 g 的范数有 m 的 74–78%，但它几乎不落在共享极性轴上，主要反映各标度、各词特有的局部差异。

另外两项是看到图 1 后补算的事后检查：一是强度位移相对于极性轴的倾角，评价性标度在 −5° 到 +1° 之间（接近矩形），而非评价性标度向“量多”的一极（big、hot、loud）微倾 3–11°（一般平行四边形）；二是共享强度方向与共享的褒贬轴、“量多 → 量少”轴近似正交（余弦 −0.16 到 0.11），big → huge 与 cold → freezing 的对齐程度和它与 hot → scorching 的对齐程度完全一致（均为 0.15–0.20）。

3. 修饰语在同一条轴上

把程度修饰语（如 slightly、very、absolutely）加到形容词前面时，残差流里会发生两件事：修饰语先给词加上它自带的基线位移，同时把形容词标度原本的强弱跨度压窄。这个基线位移在形容词出现之前，就已经体现在修饰语自身的位置上。按从左到右的自回归解码，当模型刚读到“…described it as absolutely”时，后面的形容词还没出现，但此时 absolutely 在强弱轴 u 上的投影就已经比停在“described it as”时高出 0.64–0.88 个步长。

我们先看修饰语作用在真实形容词上之后的效果。对每个修饰语 m 和 92 词网格中的每个词 w，我们在同样的 6 个模板里读取“m w”在形容词位置上的状态，测量修饰语把词沿强弱轴推了多远（构造 u 时照例剔除该词所在的标度，单位取该标度从一般词到强词的一步 Δ）。一个修饰语的作用可以用两个量概括：它把标度中点移动了多远（基线位移 s），以及它把一般词与强词之间的间距缩小了多少比例（压缩率 κ）。经它修饰后，一般词和强词分别落在：

这里 Δ ≈ 1 是该标度原本从一般词到强词的一步。修饰语的语法类别在计算任何状态之前就已经锁定：19 个英文修饰语沿用 Paradis（1997）的四类，13 个中文副词按四个量级划分（图 2）。

图 2 显示了两条规律：

• 位移严格遵循语法量级。 英文四类修饰语的位移依次排开：减弱类（−0.15 到 −0.03 步）< 中等类（−0.06 到 +0.07）< 增强类（+0.03 到 +0.30）< 极量类（+0.09 到 +0.36）。类别与位移的秩相关在 5 个模型上达到 0.78–0.91（置换 p ≤ 0.0002）；中文副词在 Qwen 模型上为 0.89–0.93，在 Llama 和 Mistral 上为 0.71–0.79。
• 减弱类确实把词往负方向拉。 4 个英文减弱类修饰语在 5 个模型上都给出负位移：平均 −0.07 到 −0.12 步，95% 上界均低于 −0.05。中文副词里的“稍微”在 3 个 Qwen 模型和 Llama 上同样把词往下拉（−0.05 到 −0.11；单个副词，描述性统计）。这说明强弱轴是有符号的：往上走是增强，往下走是减弱。

修饰语自身的基线值。 在单向自回归模型里，“…described it as absolutely”在 absolutely 处还看不到后面的形容词，这里的状态完全由前文和修饰语自身决定。我们在上一轮实验之后预注册了两项后续检验：一是直接把模板在修饰语处截断，读取修饰语自身状态在强弱轴 u（仅由形容词对构建）上的投影；二是把每个修饰语放到第 6 节那 24 个新造形容词前面——这些新词本身没有任何库存强度，修饰语给它们的位移只能来自修饰语自己。

模型	自身基线值与类别	新词上的位移与真词上的位移	自身基线值与真词上的位移
Qwen3-1.7B-Base	0.73	0.98	0.91
Qwen3-8B-Base	0.72	0.97	0.87
Llama-3.1-8B	0.70	0.98	0.91
Mistral-7B-v0.3	0.73	0.96	0.96
Qwen3.8-27B	0.69	0.84	0.85

表中列出了 19 个英文修饰语上的 Spearman 相关系数，所有置换检验均满足 p ≤ 0.0012。可以看到，在形容词出现之前，修饰语本身就已经在强弱轴上排好顺序。以 Qwen3-8B 为例，相对于停在修饰语之前的模板，slightly 落在 −0.12 步，very 在 −0.03，absolutely 在 +0.76，utterly 在 +1.12；跨模型看，极量类平均比减弱类高出 0.73–0.92 步。在 Qwen 模型上，中文副词的自身基线值与真词位移的相关为 0.64–0.81。

当修饰语加到新造词前面时，增强类和极量类依然能打出真词上 0.5–1.0 倍的位移，而且排序几乎一致。这证实基线位移确实是修饰语自己带来的：即便后面的词本身不带任何强度，修饰语也会把自己的那份值加上去。相反，减弱类几乎推不动新词——毕竟一个词得先有强度，才谈得上被削弱。

只压缩强弱，不压缩极性。 修饰语的第二个动作是压缩。增强类和极量类会缩小一般词与强词之间的间距（增强类 κ = 0.21–0.39，极量类 0.12–0.24），但同一批词的褒贬间距却基本保持不变。在 12 个英文增强/极量修饰语中，有 11 个（除 perfectly 外）对褒贬间距的改变不超过 8%，而且在全部 5 个模型上对强弱的压缩都大于对褒贬的压缩。在 Qwen 模型上，每个中文高量、极量副词对强弱的压缩也同样大于对褒贬的压缩（两者之差的 95% 下界均在 0.20 以上；事后分组）。只有减弱类是个例外，在多数模型上同时压缩两种间距：“a bit good” 和 “a bit bad” 比 “good” 和 “bad” 靠得更近。

基线加成与标度压缩的叠加。 记 x 为词原本在轴上的位置，修饰后的新位置就是：

其中基线值 s 来自修饰语，压缩率 κ 则按比例削减词原有的强度。这个简单的线性关系刚好解释了为什么 “very excellent” 听着别扭而 “absolutely excellent” 很自然：very 的基线值小（+0.03 到 +0.11 步）、压缩率大（24–37%），所以它能抬高一般词 hot，但遇到原本就已经很高的 scorching 时，压缩折损超过了基线加成，反而把 “very scorching” 往回拽了 0.06–0.10 步；而 absolutely 的基线值大（+0.17 到 +0.29）、压缩率小（13–16%），无论接一般词还是强词都会继续往上抬。

越罕见的增强词，推动的步幅越大（探索性）。 心理语言学研究发现，人们会把更少见、表达成本更高的增强词理解得更强烈（Bennett & Goodman 2018）。模型里的表现如出一辙：extremely、incredibly、terribly、remarkably 在网页语料中比 very 少见 11–155 倍，而在每个模型上它们推动形容词的步幅却是 very 的 2.5–4.9 倍。在 6 个增强词内部，位移与稀有度的秩相关为 0.54–0.83；把增强类和极量类合起来并控制类别后，偏相关仍有 0.45–0.64。

中文状态形容词与“很”的虚化。 朱德熙（1956）指出，状态形容词本身已带高程度义，一般不受“很”修饰。我们选的 32 个中文强词里，有 6 个属于典型的状态形容词（冰冷、滚烫、漆黑、飞快、慢吞吞、湿透）。事后单拿出来看，“非常”只能把这 6 个词移动 −0.07 到 +0.04 步，却能把它们对应的一般词（冷、热、昏暗、快速、缓慢、潮湿）抬高 0.15–0.25 步。而在修饰语自身的位置上，“很”在每个模型里都落在低量、中量副词一带甚至更低（−0.91 到 −0.17 步；相比之下“极其、极为、极度”为 +0.47 到 +0.91 步）。这与汉语语法学界把谓语位置的“很”分析为语义基本虚化、仅用作形容词原级标记的观点一致（Grano 2012）。

近似副词绕开强弱轴。 almost 和 nearly 在强弱轴上最多只把词移动 0.11 步，对强弱间距的压缩也不超过 10%；它们压缩的是褒贬极性间距（幅度为 8–29%）。在网页共现计数里，它们主要搭配 identical 这类闭合标度的端点词（详见第 5 节）。

4. 几何与用法从两侧一致

残差流里的这条强弱轴，跟日常文本里人们怎样使用修饰语紧密吻合。从形容词一侧看，一个词跟在 absolutely 后面比跟在 very 后面越频繁，它在轴上的位置就越高；从修饰语一侧看，网络语料越偏爱把某个修饰语放在强词前面，经它修饰后的强词落点也越高。

这两件事其实是同一个内积的一体两面。在文本的对数线性模型（Arora 等 2016）中，词 w 出现在修饰语 m 后面的概率由词向量 v_w 与语境向量 c_m 的内积决定。固定一强一弱两个修饰语、让形容词变化，读出来的就是形容词一侧；固定一强一弱两个形容词、让修饰语变化，读出来的就是修饰语一侧：

如果模型在预训练中吸收了这些共现统计，前者就会体现为词在某个方向上的投影，后者则会体现为修饰语在增强向量上的投影。当然，这个推导针对的是简化的对数线性向量；中间层的残差流是否满足这一规律，仍要由实验数据决定。

4.1 形容词一侧

我们在包含 1,048,581 篇文档的 FineWeb 分片中，统计了每个形容词直接跟在各个修饰语后面的次数（转小写，只统计直接相邻）。下面是几个典型词的原始共现频次：

词	absolutely	utterly	truly	very	really	too	pretty	extremely
good	12	0	121	20,320	10,213	2,137	8,420	400
excellent	19	1	102	84	140	8	19	14
cold	1	1	5	760	209	795	84	175
freezing	19	3	0	0	3	1	0	1
incredible	214	5	85	15	96	6	155	1

仿照 Ruppenhofer 等（2014）用“端点修饰语对比普通修饰语”给形容词强度排序的做法，我们比较极端修饰语集合 E = {absolutely, utterly, truly} 与普通标量修饰语集合 S = {very, really, too, pretty, extremely} 的共现对数比，定义每个词的修饰语偏好 r(w) 及词对差值 Δr：

集合 E 和 S 来自此前对 92 词网格的语料分析，在接触人工标注词对之前就已经固定。因此，在人工排序词对上测试时，无论是强弱轴 u 还是指标 Δr，都属于纯粹的样本外泛化检验。

在两个词的修饰语共现总数均不少于 10 次的 373 对人工词对上，语料统计与模型几何高度一致：单看网页语料，人工标为更强的词确实更偏向 absolutely 一族（平均 Δr = 1.09 [0.87, 1.32]，69% 的词对为正）；放到模型里，词对差向量在强度轴 u 上的投影与 Δr 的秩相关在 5 个模型中达到 0.51–0.55（随机打乱 Δr 的 95 分位仅为 0.09）。即便控制两个词的对数词频比，偏相关依然保持在 0.45–0.49（95% 区间下界均 ≥ 0.36）；如果直接看单个词在 u 上的投影与自身 r(w) 的相关，系数达到 0.62–0.67（控制词频后为 0.57–0.63）。

作为对照，那些被人工标为强度相同、但词频相差至少 2 倍的词对，其平均 Δr 只有 0.09，接近 0——说明修饰语偏好追踪的确实是语义强度本身，而不是词频高低。

4.2 修饰语一侧

反过来从修饰语一侧看：对每个修饰语，我们测量网络语料有多偏爱把它放在 46 个强网格词前面（相对于 46 个一般网格词），并扣除这些形容词本身的基础词频 U（中文为 32 个强词和 32 个一般词）：

式中 C_m 是修饰语紧挨在网格词前的共现次数，U 是这些词本身的出现次数。预注册协议选定的几何预测量，是经该修饰语修饰后强词落点的位置 d_strong（即图 2 的青点）。部分原始计数如下：

词	slightly	very	extremely	absolutely	utterly
hot	10	1,187	247	3	1
scorching	0	4	1	5	1
cold	12	760	175	1	1
freezing	0	0	1	19	3

词	稍微	很	非常	十分	极其
热	22	2,860	354	16	1
滚烫	0	2	1	2	0
冷	13	3,020	194	17	0
冰冷	1	35	17	23	12

在 19 个英文修饰语上，强词落点与语料偏好的秩相关在 5 个模型中为 0.49–0.59（置换 p ≤ 0.017）；在 12 个中文副词上，Qwen 模型的相关达 0.86–0.90（Llama 和 Mistral 为 0.77–0.85）。如果改为先在每个标度内部算对数几率再跨标度平均，避免 very good 这类高频搭配主导权重（探索性分析），英文的相关系数会进一步升到 0.65–0.71（p ≤ 0.0016）。即便控制语法类别，在同类修饰语内部做偏相关，系数仍有 0.39–0.63。

中英文在强弱两端表现一致：absolutely、utterly 与中文的“极度、极其”在模型里把强词推得最高，在网页语料里（扣除形容词自身频率后）也最常出现在强词前；相反，very 与中文的“稍微、挺”会把强词往回拉，而在网页里它们几乎只用在一般词前（例如 very 出现在一般网格词前 91,394 次，出现在强网格词前仅 1,559 次）。perfectly 在英文里是个特例：模型在几何上把它归入极量类，但日常语料里人们多把它用在一般词前（如 “perfectly fine”、“perfectly good”）。

4.3 超出词频的强度

强词在自然语言里通常更低频（比如 huge 比 big 少见）。在对数线性模型中，词频会直接通过词向量本身进入表征，因此几何里混入一部分频率信号并不意外。在 92 个核心词上，u 上的投影约有五分之一来自词频，但模型在下游实际读取并起作用的，是剥离词频后的强度部分。三项预注册检验把两者拆得很清楚：

1. 强度相同、频率不同的对照词对。 31 对人工标为强度相同、但频率相差至少 2 倍的词对，在 u 上的投影差只有 0.05–0.09。按核心词的频率差折算，词频最多解释 92 个核心词投影的 18–25%（95% 上界 ≤ 0.33）。
2. 控制词频后的修饰语偏好。 第 4.1 节控制对数词频比后的偏相关仍有 0.45–0.49。在强词不比弱词低频的 145 对人工词对中（图 3 青点），相关系数仍达 0.49–0.52；这批词对里，偏爱 absolutely 的词在 u 上投影为 +0.02 到 +0.06，其余词为 −0.07 到 −0.10。
3. 只有强度部分起因果作用。 把平均的“常见 → 少见”差向量缩放到与强度向量相同的范数，用第 7 节同样的方法植入模型，只能消除 0.01–0.03 的分布差距，而强度向量能消除 0.28。

5. 极端词与闭合标度端点

同样是“到顶”，exhausted 和 complete 并不是一回事：前者是在开放标度上累到了超常的极点，后者则是走到了一个自带终点的闭合标度的尽头。强弱轴 u 编码的是前者：tired → exhausted 这类极端词对与 u 的对齐程度，约是 partial → complete 这类闭合端点词对的 4 倍（平均余弦 0.36–0.42 对 0.09–0.11）。

语言学上对这两类词界限分明。极端形容词（exhausted、enormous、hilarious）超出了开放标度上的常规范围，常与 absolutely 搭配（Morzycki 2012）；最大标准形容词（identical、certain、asleep、extinct）位于闭合标度的端点，常与 completely、almost、half 搭配（Kennedy & McNally 2005）。Paradis（1997，2001）同样区分极端形容词和极限形容词，只是在她的框架里两者都算“有界”，也都不接受 very。如果模型内部只有一个笼统的“到顶”方向，两类词对沿 u 的位移应当差不多。

为了检验模型是否把两者分开，我们在计算任何计数或状态之前，预先在核心网格词之外各固定了 24 对，直接测量每对的差向量与 u 的余弦：

指标	极端词对（tired → exhausted）	端点词对（partial → complete）
与 u 的余弦，5 个模型	0.36–0.42	0.085–0.106
随机重标签基线的 95 分位	0.07–0.08	0.04–0.05
模型自身的修饰语偏好，强词减弱词（absolutely 类对 completely 类的对数几率）	+1.0 到 +1.7	−1.1 到 −1.2

在每个模型中，两组之差的 95% 区间都落在 0.20 以上。词频解释不了这一差异：虽然极端词比配对的一般词低频约 6 倍而端点词没有这么大的频率差，但在匹配相同词频差的条件下（事后检查），端点词对在 u 上的余弦依然低 0.20–0.22。24 对极端词对全部高于 0.22；端点词对中则有 5 对为负值，例如 comparable → equal 和 translucent → transparent。

模型自己在给修饰语打分时，也同样把两类词分开。我们在 “It was / They were / Everything was / She was” 加修饰语之后给每个词计算对数概率。以下是 Qwen3-8B-Base 在 “It was” 框架下的原始对数概率：

log P(word | "It was <modifier>")  absolutely utterly  very   completely almost  half
tired                               -11.84    -10.50   -8.56  -11.79    -13.40  -12.42
exhausted                           -10.44     -8.31  -12.22   -8.66    -12.82  -12.00
funny                                -8.42     -8.66   -5.39  -10.03     -6.06  -12.13
hilarious                            -5.46     -5.57  -10.80   -8.21     -8.38  -15.28
similar                             -11.39    -11.26   -6.00  -11.05     -9.98  -14.23
identical                            -8.97     -9.10  -13.70   -9.32     -6.79  -13.52
sleepy                              -13.29    -12.75  -10.04  -13.52    -12.50  -13.10
asleep                              -14.45    -12.56  -15.53  -11.60    -11.48  -10.33

表中的四个一般词都最偏向 very；而在强词一侧，hilarious 偏向 absolutely，identical 偏向 almost，asleep 偏向 half。exhausted 是个跨界词：在模型里接 completely 和接 utterly 的概率几乎相当，网页语料也是如此（“completely exhausted” 74 次，“absolutely exhausted” 25 次）。在全部 96 个词上，模型偏好与网页语料偏好的 Spearman 相关达 0.75–0.79。

网页语料的共现计数清楚展示了两类词的异同：它们都排斥 very（“very tired” 341 次对 “very exhausted” 18 次；“very similar” 4,114 次对 “very identical” 4 次），但真正区分它们的是 almost 和 half——语料中有 “almost identical” 596 次、“nearly identical” 410 次、“half asleep” 104 次，而极端词前面几乎为 0。

闭合端点词对在表征空间里也有自己的结构：它们的差向量彼此对齐（留一余弦 0.20–0.24，基线 0.065）。事后把强弱轴 u 的分量投影掉之后，端点词对在剩余空间里依然保持一致（0.19–0.22），而极端词对在剩余空间上只有 0.05。简言之，极端词对的差基本落在 u 上，而端点词对则是“一点点 u 分量 + 端点词对共有的方向”。这与第 3 节修饰语一侧的结果正好呼应：almost 和 nearly 几乎不沿 u 移动词，而在语料里它们专门搭配闭合标度端点词。

6. 借助修饰语理解新词

第一次听到“the jar is completely pelgy”，你会怎样猜 pelgy 的意思？30 个月大的幼儿已经懂得利用这一线索：completely 提示这个新词描述的是有自然终点的性质（Syrett & Lidz 2010）。我们在 5 个语言模型上复现了这一设计，发现模型同样会借助前置修饰语推断新词的标度类型与强弱。

在 Syrett 和 Lidz 的原版实验里，实验员先让儿童看一个同时具备两种性质的物体（例如一个既高又透明的容器），并用 completely 或 very 加一个新造形容词来描述它；接着把两种性质拆到两个物体上（一个高但不透明，一个透明但不高），结果听到 completely 的儿童显著更多地注视具有自然终点性质（透明）的物体，而听到 very 的儿童则偏向开放性质（高）。

我们的文字版实验在提示词里直接写出物体的两种性质。我们造了 24 个以 -y 结尾的新形容词（第一个就是 Syrett 和 Lidz 用过的 pelgy），其中 21 个在 1,048,581 篇的网页分片里从未出现，另外 3 个最多出现 3 次。每个词搭配 8 个物体，每个物体各有一个开放标度性质和一个闭合标度性质，例如罐子（高 / 透明）、毛巾（重 / 干）、水池（深 / 空）。提示词如下（以 very 为例）：

Look at this jar. The jar is tall and clear. The jar is very pelgy.
Q: Does pelgy mean tall or clear?
A: It means

我们读取回答位置上 log P(闭合性质) − log P(开放性质)，在两种性质提及顺序和两种选项顺序上取平均，再比较 completely 条件相对于 very 条件的偏移量：

模型	completely − very（nats）[24 个词的 95% 区间]
Qwen3-1.7B-Base	0.63 [0.52, 0.75]
Qwen3-8B-Base	0.31 [0.25, 0.37]
Llama-3.1-8B	0.23 [0.20, 0.25]
Mistral-7B-v0.3	0.37 [0.33, 0.41]
Qwen3.8-27B	0.61 [0.54, 0.68]

在全部 5 个模型中，very 与不加修饰语的裸词条件得分相近，而换成 completely 后，所有模型都转向有自然终点的性质。如果换成标记开放极端词的 absolutely，它在 5 个模型中的 4 个上（除 Qwen3.8-27B 外）表现都与 very 相近，说明终点读法确实来自 completely 对闭合标度的专门指向，与第 5 节的几何区分吻合。在 Qwen3-1.7B 上，换一个修饰语直接让贪心解码的首选答案翻转（下方列出下一 token 概率及未经编辑的 8-token 贪心续写）：

very pelgy        ' tall' 0.338   ' clear' 0.305   →  ' tall.<|endoftext|>Human: Given the question'
completely pelgy  ' clear' 0.463  ' tall' 0.122    →  ' clear.<|endoftext|>Human: Given the question'

从上下文修饰语推断新词强弱。 如果先给模型读 4 个句子，里面每次出现 pelgy 都跟在 absolutely、downright 或 positively 后面（如 “In July the attic gets absolutely pelgy…”），再问它这个词更接近 hot 还是 scorching，全部 5 个模型都会比读完带 very、really、pretty 的段落更偏向强词 scorching，对数概率高出 0.07–0.55 nats。这当中固然包含整段话里强修饰语带来的语境效应；如果以“段落里改用另一个新词、最后仍问 pelgy”做对照（事后检查），真正绑定到该新词自身上的净效应在 4 个模型里仍有 0.03–0.16 nats。

看一个直观的例子：读完一段关于餐馆、音乐会和旅行的短文后，直接问 Llama-3.1-8B 文中的新词是什么意思，模型会顺着它在段落里见过的修饰语来给新词下定义（贪心解码 24 个 token，截取到第一个完整回答）：

absolutely 类段落  ' "excellent" or "great." It is often used to describe something that is very enjoyable or satisfying.'
不加修饰语          ' "very good" or "excellent."'
very 类段落        ' "pleasant" or "enjoyable."'

注意后两行的对比：与不加修饰语相比，very 类段落反而把新词的释义从 “very good / excellent” 往温和的方向拉到了 “pleasant / enjoyable”，正好对应第 3 节里 very 把强词往回拉的压缩效应。

我们还检查了这股强度在表征里落在哪里。事后检查显示，在短文中每次出现 “absolutely pelgy” 处，新词在强弱轴 u 上的状态比同一句里不带修饰语的 pelgy 高出 0.13–0.29 步，比随机方向高出一个数量级以上，且与第 3 节单句测试的位移（0.12–0.29）一致。在预注册的钉死（clamp）检验里，在每次出现处仅仅把方向 u 上的这一个坐标钉回裸词的值，就会消掉整段话对最终强弱判断效应的 8–16%；把这段位移加到不带修饰语的短文上，能复现 9–23%；而同样处理 20 个随机正交方向中的任何一个，影响最多只有 1.4%（95 分位）。

7. 模型使用这条轴：植入一个更强的词

为了验证模型在生成下文时是否真的读取并依赖这条强弱轴，我们做一个因果植入实验：把从 good → excellent 这类评价性词对学到的强度向量植入到非评价性词 cold 上。结果模型在接续文本时表现得明显更像刚读过 freezing——在全程没有接触过任何包含 freezing 的文本的情况下，消除了两者之间约四分之一的生成分布差距。

植入方法。 取源词 s（如 cold）和比它强一级的同标度目标词 t（如 freezing）。记 Δ 为第 L 层上其余标度的平均增强向量（绝不使用 t 自身所在的标度）。我们在输入 embedding 表中新增一行可训练向量 e，冻结整个神经网络，只优化这一个新 token 的嵌入 e，使它在源词 s 的 36 处短句语境中到达第 L* 层时的状态逼近“源词状态 + αΔ”（步长取 α = 2，不使用目标词的任何语境）：

评估指标。 在 80 段包含目标词 t 的留出 FineWeb 自然文本中，把 t 分别替换成源词 s 或刚才训练出的植入 token，比较其后连续 8 个位置的下一 token 预测分布与原句（保留 t）分布之间的 KL 散度。差距弥合度（Gap Closed，简称 GC）衡量植入 token 帮源词消除了多少比例的散度差距：

GC = 0 表示毫无改善（与直接用源词一样），GC = 1 表示后续预测分布与真实目标词完全无法区分。

植入的向量（α = 2）	植入对象	GC，Qwen3-8B [95% 区间]	GC，Qwen3.8-27B [95% 区间]
强度，其他全部标度	全部 92 个词	0.283 [0.23, 0.34]	0.277 [0.22, 0.33]
强度，只用评价性标度	28 个非评价性词	0.244 [0.18, 0.31]	0.244 [0.19, 0.31]
强度，只用非评价性标度	64 个评价性词	0.235 [0.17, 0.31]	0.232 [0.17, 0.30]
频率方向，范数相同	全部 92 个词	0.025 [0.00, 0.05]	0.013 [−0.02, 0.05]
重标签对照（平均）	对应词集	−0.02 到 0.03	0.00 到 0.04

从表中可以看到，哪怕完全只用评价性标度算出强度向量，再去植入 28 个非评价性词，依然能保留完整强度向量 93–94% 的效果（GC 均为 0.244）；反方向的跨类迁移同样成立（GC 为 0.232–0.235）。作为参照，用同样方法植入褒贬极性向量（good → bad）可消除 0.47–0.50 的差距；而等范数的纯词频方向与打乱标签对照，GC 都在 0 附近。

看几条 Qwen3-8B 在提示词 “Honestly, the whole experience was {x}” 下的真实贪心续写（解码 12 个 token，原文未做删改，仅截取前约 60 个字符）：

cold → freezing   源词 cold              ' and impersonal. I was not given a chance to explain'
                  植入（只用评价性）     '. I was so cold that I was shivering. I'
                  重标签对照           ' and impersonal. I was told that I would be able'
hot → scorching   目标词 scorching       ' hot. I was sweating like a pig in a poke,'
                  源词 hot               ' garbage. I was so excited to try this place because it'
                  植入（只用评价性）     '. I was sweating like a pig, and my heart was'
                  频率向量             ' and cold. I was so excited to see the movie,'
big → huge        频率向量             ' and small. I was a little nervous about the whole thing'

源词 cold 在该句式下默认走比喻义（“cold and impersonal”），植入评价性强度向量后直接变成了冻得发抖（“so cold that I was shivering”）；源词 hot 原本接俚语 “hot garbage”，植入后则变成了与目标词 scorching 一致的 “sweating like a pig”。相比之下，词频向量只会把词义弄混：把 hot 续写成 “hot and cold”，把 big 续写成 “big and small”。

用法的变化大于词身份的变化。 为了检验植入是否只是改写了这个 token 代表的词，我们让模型直接复述它。问模型 “…the visit felt {x}. How did the visit feel? A: It felt” 时，Qwen3-8B 中植入评价性强度向量后的 big 给出的下一 token 概率如下：

源词 big            ' big' 0.854   ' huge' 0.016
植入（只用评价性） ' big' 0.207   ' like' 0.142   ' huge' 0.111   ' gigantic' 0.098

植入后的 token 明显向 huge（0.111）和 gigantic（0.098）分流，但排第一的依然是源词 big 自己（0.207）。在全部 92 个词格上，复述回答直接翻转为目标词的比例为 21–26%（且几乎都发生在“强 → 弱”方向上）。这说明沿强弱轴做编辑主要改变了该 token 在下游语境中的组合用法，而模型对它原本叫什么名字的记忆变化较小。

8. 几何能预测编辑的效果

跨类别植入能保留八九成的效果，词频向量却几乎无效，这些效应的大小都可以直接从植入层的几何投影算出来：植入向量沿着真实目标差向量投过去的分量有多大，下游行为就改变多少（差距弥合度 GC ≈ 0.76 × 投影比例，10 个实验条件上的秩相关为 0.90–0.94）。相反，如果用欧氏距离去衡量“植入后离目标词有多近”，给出的预测反而是反的。

对每个目标格 k，记植入层上目标词与源词的真实差向量为 Tₖ = h(目标) − h(源词)，实际植入的向量为 Dₖ。在看下游拟合结果之前，我们先算出了两个纯几何候选预测量：

π 是一阶线性投影，衡量真实位移沿其自身方向被覆盖的比例；q 是二阶欧氏距离缩减率，衡量欧氏距离平方被消除的比例（相当于假设残差流里的每个方向同等重要）。

把 π 和 q 与实测的差距弥合度（GC）对照，结果非常清楚：

• 跨类迁移比例可直接由 π 算出。 只凭几何投影 π 预测，仅用评价性标度算出的向量应用到非评价性词上时，应保留完整向量效果的 0.99–1.00，实测保留了 0.93–0.94；反方向（非评价性 → 评价性）几何预测保留 0.81–0.84，实测为 0.80–0.81。
• 跨条件与逐词排序。 在全部 10 个条件（三种强度向量、各自的重标签对照、以及词频向量）上，π 与 GC 的秩相关在 Qwen3-8B 中为 0.94，在 Qwen3.8-27B 中为 0.90，合并拟合为 GC ≈ 0.76 π + 0.005。即便细化到 92 个单独的词格上，逐词相关依然清晰（0.67 和 0.61）。
• 欧氏距离指标 q 在所有条件下均为负值（−0.04 到 −0.90）。 按欧氏距离算，植入后的 token 总体上反而比源词离目标词更远了，但它们在生成下文时的行为却实实在在地向目标词靠拢了。

“欧氏距离变远、生成行为反而更近”，说明网络下游读取残差流时，对不同方向的权重差别很大。在二阶近似下，微小状态扰动 δ 引起的输出分布散度是一个二次型 KL ≈ ½ δᵀ F δ，其中 F 是下游所有层计算的 Fisher 信息矩阵；只有当 F 近似为单位阵时，欧氏距离指标 q 才是合理的预测量。这与我们此前在从头训练的小型合成模型中观察到的现象一致（未发表）：表征结构在下游读出度量下很干净，在原始欧氏距离下则显得模糊。

图 6 里唯一偏离直线的词频向量，正好展示了读出度量的作用。在欧氏内积下，词频向量有一个小的正 π，预测效果为强度向量的 22–25%，但实测只有 5–9%。如果我们把点积替换成下游输出分布的 Fisher 信息度量 F，重新计算 π：

这里 F_k 用穿过整个网络的中心差分估计，语境与前面相同（每个词 80 段留出文本；在 Qwen3-8B 上用 fp32 计算，logit lens 度量则覆盖两个模型）：

频率向量与强度向量的效应比值	欧氏 π	Fisher π_F	logit lens π	观测 GC 比值
Qwen3-8B-Base	0.25	0.006	0.024	0.088
Qwen3.8-27B	0.22	—	0.084	0.047

一旦换用 Fisher 度量，词频向量与真实差向量的重合几乎完全消失（从 0.25 降至 0.006）——它在欧氏空间里的那点重合，恰好落在网络后续部分几乎不读取的方向上。计算成本低得多的 logit lens 度量在两个模型上给出了同样的修正。

此外，我们还验证了单点激活替换（single-site patch）：只在前向传播到中间层、目标词所在的那一个位置上，把状态直接替换成 h − T + αD，再测量真实的下游散度。单点替换准确重现了输入端植入观测到的差距弥合度：10 个条件上的秩相关达 0.99（8B）和 0.93（27B），平均绝对误差仅 0.05–0.07。由于替换整个词的步长已经超出了局部二阶展开的适用范围（二阶近似 ½ TᵀFT 只有精确散度的三分之一），在这个尺度上，直接做单点精确替换是最准确的预测手段。

9. 中文里是同一条轴

中文形容词内部同样存在一条共享的强弱轴，而且在多语言模型的中间层里，它和英文的强弱轴大体就是同一个方向：完全用英文词学到的方向 u，直接拿来测中文词对，在 3 个 Qwen 模型上能达到中文内部对齐度的 85–90%，在以英文为主的 Llama 和 Mistral 上也有 63–72%。

汉语语法里早就有一套与英文 absolutely / very 对应的经典区分。朱德熙（1956）在《现代汉语形容词研究》中把形容词分为简单形式（性质形容词，如“冷、黑”）和复杂形式（状态形容词，如“冰冷、漆黑”）：状态形容词本身已带高程度义，一般不受“很”修饰。我们的 16 个中文标度（见第 1 节）严格把简单的一般词与词汇本身就强的状态词或成语配对，强词从不使用“很 + X”。

先看中文网页语料里的搭配规律。在 167,328 篇简体中文网页中（取自第 4 节所用 FineWeb-2 分片的前 200 个行组，经 jieba 分词），强词前面出现普通程度副词（很、非常、十分……）的比例大幅下降：

一般词	带程度副词的比例	强词	带程度副词的比例
冷	12.7%	冰冷	0.5%
高兴	27.4%	狂喜	0%
好吃	24.9%	美味	4.0%

在全部 32 个中文“弱 → 强”词对中，有 27 对遵循这一趋势，对数几率平均下降 −1.86 [−2.39, −1.34]；反过来，强词前面接“简直 / 完全 / 绝对”的比例则明显更高（+1.48 [1.00, 1.97]）。

再看中间层 L* 的几何对齐。我们在同一层提取每个中文词对的增强向量（如 冷 → 冰冷），分别与两个参考方向比较：一个是纯英文方向 u（为了避免直译词对泄题，测试 大 → 巨大 时会先把英文里的 big → huge 从 u 中剔除）；另一个是其余中文标度的平均增强向量。

模型	中文增强向量 · 英文 u	中文增强向量 · 其余中文方向	比值	随机基线 95 分位
Qwen3-1.7B-Base	0.238	0.271	0.88	0.049
Qwen3-8B-Base	0.231	0.272	0.85	0.045
Qwen3.8-27B	0.248	0.274	0.90	0.047
Llama-3.1-8B	0.194	0.271	0.72	0.039
Mistral-7B-v0.3	0.155	0.248	0.63	0.035

预注册检验在 3 个 Qwen 模型上判定两件事：中文增强向量是否共享一个方向，以及它们是否显著高于基线地落在英文 u 上。两项在 3 个 Qwen 模型上全部成立，在 Llama 和 Mistral 上也同样成立（表中“比值”一列是在看到前 4 个模型的数据后计算的描述性统计）。与此同时，“极性 × 强度”的平行四边形结构在中文里同样成立：正反两极的强词都沿共享的中文强度方向移动（余弦 0.24–0.30，基线 0.07），而在极性轴上的额外外扩仅占这一位移的 7–12%。

这种跨语言对齐和英文方向一样，是由网络在中间层自己构建出来的。在输入 embedding 层，中文增强向量与英文 u 的余弦只有 0.005–0.036；到了中间层达到峰值（0.15–0.27），再往输出层又重新回落（图 7）。

跨语言植入。 我们在 Qwen3-8B 和 Qwen3.8-27B 上把第 7 节的植入检验搬到中文里，覆盖全部 64 个中文词格（往强词方向 32 个，往弱词方向 32 个）。每个词格分别植入两种向量：一种是其余中文标度的平均增强向量；另一种只用英文词计算（同样剔除与目标直译对应的英文标度）。两种向量都没有接触过任何包含目标词的文本，最后统一在每个目标词 80 段中文留出网页上评估差距弥合度（GC，括号内是对词格重采样得到的 95% 区间）：

植入的向量（α = 2）	Qwen3-8B	Qwen3.8-27B
中文增强向量（其余标度）	0.17 [0.11, 0.22]	0.17 [0.12, 0.22]
只用英文词	0.17 [0.10, 0.24]	0.18 [0.13, 0.23]
重标签对照（中文）	−0.02	0.01
重标签对照（英文）	−0.03	0.01

可以看到，只用英文词学到的强度向量，在中文自然文本上取得的效果（0.17 和 0.18）与中文自身算出的向量完全一致。两项预注册检验在两个模型上全部通过：英文向量的差距弥合度至少达到 0.10 且高于对照至少 0.10；中文向量至少达到 0.15 且高于对照至少 0.10（在运行前，我们曾在预注册协议里把跨语言植入这一项保守地标为“不确定”）。而且两种向量在哪些中文词格上起效也高度吻合：逐格秩相关达 0.65–0.68（事后计算）。

下面列出 Qwen3.8-27B 在两个预设展示格上的原始输出（贪心解码 16 个 token；“…”表示截断，⏎ 表示换行）。第一段的提示词是“老实说，那里的一切都{x}”，源词是“昏暗”，目标是“漆黑”：

源词 昏暗          '而模糊，但有一样东西却清晰得令人不安：那是一幅…'
目标 漆黑          '一片，只有那盏灯，在黑暗中发出微弱的光。⏎⏎“你…'
植入，英文向量      '，只有那盏灯，在黑暗中发出微弱的光。⏎⏎“你来了…'
植入，中文向量      '而模糊，但有一样东西却清晰得令人不安：那是一幅…'
重标签对照        '而模糊，但有一样东西却清晰可见：一个男人，一个瘦…'

植入纯英文向量之后，模型的中文续写直接变成了与目标词“漆黑”一致的句子（“只有那盏灯，在黑暗中发出微弱的光”）。

第二段要求模型复述那个词，提示词是「问：她在信里写道，那次拜访感觉“{x}”。那次拜访感觉怎么样？⏎答：“」，把英文向量植入在“冷”上：

源词 冷            '冷' 0.527                    '冷”这个词，在中文语境里，往往不只是指温度，更像…'
植入，英文向量    '冰冷' 0.055   '冷' 0.040     '冰冷”这个词，我认为是她自己的感受。她可能觉得，…'

模型复述出来的词从“冷”变成了“冰冷”（以 0.055 对 0.040 的小幅优势胜出）。在全部中文复述测试格中，首选答案翻转为目标词的比例占 16–28%，对照为 8–17%。文中展示的这 8 个中英文例子均在运行前预先选定。

10. 网络从微弱的种子构建这条轴

共享强度方向在输入 embedding 层里非常微弱。分解结果显示，网络读取了输入嵌入里这个微弱的线性种子，并主要通过前半程的 MLP 子层把它放大写入残差流。

由于 Transformer 的残差流是纯加法结构，两个词在第 L 层的状态差可以精确拆解为输入 embedding 项加上途经的每个子层输出项：

把等式右边的每一项投影到共享方向 u 上，就能看清是谁写入了共享部分。我们在 fp32 精度下钩取了每个子层，各部分加回后的数值误差在 2 × 10⁻⁹ 以内（27B 模型为 bf16，误差在 1.2 × 10⁻⁵ 以内）。

模型（L*）	跨标度对齐，embedding → L*	评价性与非评价性，embedding → L*	MLP 写入的份额
Qwen3-1.7B-Base（12）	0.051 → 0.176	0.039 → 0.144	0.58（注意力 0.42）
Qwen3-8B-Base（15）	0.020 → 0.182	0.017 → 0.155	0.92
Llama-3.1-8B（14）	0.025 → 0.136	0.020 → 0.109	0.90
Mistral-7B-v0.3（14）	0.030 → 0.161	0.026 → 0.134	0.89
Qwen3.8-27B（27）	0.018 → 0.155	0.015 → 0.128	0.86

表中的“对齐”指不同标度的增强向量之间的平均余弦（随机重标签下其 95 分位约为 0.009，跨类型一列为 0.012）。从中可以看到四个清楚的特征：

• 从输入层到中间层，跨标度对齐度放大了 3–9 倍。 评价性与非评价性的平均强度方向在 embedding 层余弦仅为 0.22–0.36，到了第 L* 层则升至 0.58–0.69。
• 主要由 MLP 子层写入。 在 4 个较大的模型中，MLP 写入了共享分量的 86–92%；只有最小的 Qwen3-1.7B 有 42% 来自注意力层（其中很大一部分集中在一个注意力头上）。
• 去掉贡献最大的一段，对齐大部分仍在。 在此前一个词表较小的实验里，7–8B 模型中贡献上升最多的那段连续 4–5 层占了上升的 47–73%，但对这段的 MLP 做均值消融，中间层的跨标度对齐度只下降 0.01–0.05。
• 后续层确实在读取输入 embedding 里的微弱种子。 如果在输入端只把 28 个非评价性词的 embedding 沿共享方向做镜像反射，这个翻转传到第 L* 层时仍保留了输入端初始幅度的 0.35–1.37 倍；而假定后续网络忽略该方向的被动预测只有 0.00–0.05。

11. 相关工作

NLP 中的标量形容词。 早期研究通过词汇模式（de Melo & Bansal 2013）或词向量间的偏移（Kim & de Marneffe 2013）给形容词强度排序。Ruppenhofer 等（2014）按形容词接受端点修饰语（absolutely、completely、almost）相对于普通修饰语（very、rather）的偏好比例来排序强度；本文第 4.1 节采用了这一统计量的变体，而第 5 节进一步表明，模型内部其实把他们归在一起的端点修饰语集合拆成了开放极端词和闭合端点词两类。Cocos 等（2018）从复述数据中学习形容词强度，本文样本外检验使用的正是他们汇集的人工排序集（合并了他们自己的众包标度与 de Melo & Bansal 2013、Wilkinson & Oates 2016 的标度）。Garí Soler & Apidianaki（2020）在 BERT 中用“极端词减一般词”的表征差构造强度方向，并在 Garí Soler & Apidianaki（2021）中用多语言模型把排序任务扩展到法语、西班牙语和希腊语。与本文第 4、5 节最接近的是 Samir、Beekhuizen & Stevenson（2021）：在 word2vec 类模型中，已知极端形容词的质心能在控制词频的条件下跨领域识别新的极端形容词；他们还将 Morzycki 的修饰语测试转化为语料分类器（对比 absolutely、totally、downright 与 almost、slightly、very），指出 totally identical 这类跨界搭配会模糊边界，并借此考察副词怎样演化出强化用法。近两年，Lin、Altshuler & Pierrehumbert（2024）用探针检验了 LLM 中的标量形容词知识，Liu、Xiang & Ding（2023）则通过自然语言推理题测试形容词标度。本文在此基础上补充了自回归 LLM 中的“极性 × 强度”正交分解、强弱轴与修饰语共现统计在形容词与修饰语两侧的双向吻合，以及中英文上的因果生成干预。

程度语义学。 Paradis（1997，2001）按所能搭配的修饰语，把可分级形容词分为普通标量词、极端词和极限词三类，并将后两类统归为“有界”标度。Kennedy & McNally（2005）将 completely 这类比例修饰语与闭合标度绑定；Morzycki（2012）则用专属修饰语（absolutely、downright）以及正反两极的对称性来界定开放标度上的极端形容词。我们的修饰语偏好指数可以看作其诊断标准的语料近似，第 5 节则直接检验了模型对极端词与闭合标度端点词的区分。中文方面，朱德熙（1956，《现代汉语形容词研究》）区分形容词的简单形式（性质形容词）和复杂形式（状态形容词），指出后者本身已带高程度义且不受“很”修饰；Grano（2012）则把谓语位置的“很”分析为语义基本虚化、仅用于标记原级的成分。

程度修饰语与词汇学习。 Cliff（1959）最早把程度副词建模为形容词意义的乘数；Quirk 等（1985）和 Paradis（1997）确立了英文程度修饰语的分类体系，本文第 3 节沿用了 Paradis 的减弱类、中等类、增强类和极量类。Ruppenhofer 等（2015）按副词对形容词强度的缩放效应给副词排序，Bennett & Goodman（2018）证明越罕见、表达代价越高的增强词会被理解得越强。组合分布语义学把修饰语建模为作用在词向量上的函数或矩阵（Baroni & Zamparelli 2010；Socher 等 2012）。与本文第 3 节最接近的是 Lorge & Pierrehumbert（2023）：他们考察了 BERT、RoBERTa、GPT-2 和 GPT-3 中的标量副词，其中一个指标用加副词后的形容词表征减去原形表征，再投影到标度方向上为 slightly、very、completely 等副词排序。Gao、Ding & Liu（2025）用中英文推理题检验了 LLM 对程度修饰语的理解。在儿童语言习得方面，Syrett & Lidz（2010）发现 30 个月大的幼儿会借 completely 和 very 推断新形容词的标度属性；Gotowski & Davis（2024）考察了在儿童导向语料上训练的模型能学到哪些形容词类别。我们将“修饰后减原形”的几何测量推进到了自回归解码器 LLM 中：所用的强弱轴完全由裸形容词对构建，在形容词出现之前就从修饰语自身位置读出了它的基线值，将修饰语的作用拆解为“自身基线位移 + 强弱维度专属压缩”，在中英文两侧对齐了网页搭配用法，并在 LLM 上复现了 Syrett–Lidz 的新词推断实验。

线性表征、跨语言对齐与激活干预。 词向量偏移（Mikolov 等 2013）及其对数线性解释（Arora 等 2016；Allen & Hospedales 2019）是本文第 4 节的理论起点。Park、Choe & Veitch（2024）形式化了线性表示假说，Park 等（2025）预测了层级概念的正交表示结构，Tigges 等（2023）分析了线性的情感方向，而 Merullo 等（2025）指出了线性表示与预训练词频的联系——这也是我们严格控制词频的原因。在跨语言机制上，多语言 LLM 在中间层会经过一个偏向英文的共享表征空间（Wendler 等 2024），且用英文算出的引导向量（steering vectors）往往优于直接用输入或输出语言算出的向量（Schut、Gal & Farquhar 2025）；第 9 节在词汇语义强弱轴上验证了同一现象，并把它与朱德熙（1956）对性质形容词与状态形容词的区分对应起来。在内部归因与干预方面，第 10 节的子层分解沿用了 Geva 等（2022）分析 MLP 概念写入的方法；第 7、8 节的向量植入与激活加法（Turner 等 2023；Rimsky 等 2024）一脉相承。近期几篇 workshop 论文和学位论文也尝试从几何预测引导干预的成败，主要关注沿引导方向的类别分离度（Hundia 等，ICML 2026 Mechanistic Interpretability Workshop；Bhattarai & Alhanai，NeurIPS 2026 Workshop on Symmetry and Geometry in Neural Representations）或差向量之间的一致性（Braun 2026，arXiv 2602.17881）；我们提出的预测量则是植入向量在目标真实差向量上的一阶投影，能在运行干预前直接预测跨形容词类型的迁移比例。

12. 方法与可复现性

项目	设置
模型	Qwen3-1.7B-Base、Qwen3-8B-Base、Llama-3.1-8B、Mistral-7B-v0.3（基座模型，fp32 钩取）；Qwen3.8-27B（后训练模型，bf16）
层	L* = round(3N/7)：依次为第 12、15、14、14 和 27 层
词的状态	形容词最后一个 token 处的残差流，在 6 个问答模板上平均，例如 “Q: She described it as {x}. How did she describe it?\nA: As”
核心词	23 个标度 × 4 个词 = 92 个（16 个评价性、7 个非评价性标度）
人工词对	取自 Cocos 等（2018）汇集的金标排序（合并其众包标度与 de Melo & Bansal 2013、Wilkinson & Oates 2016 的标度），剔除与核心词重叠的词后，共 527 对“弱 → 强”词对和 31 对同强度词对
语料	一个 FineWeb 分片（1,048,581 篇文档），用于词频和修饰语共现计数
零假设与统计	把 92 个词随机重排到网格上 1,000 次构建零分布；相关系数采用 10,000 次置换检验；置信区间采用 2,000 次 bootstrap 重采样
植入	Qwen3-8B-Base 和 Qwen3.8-27B；Adam 优化 300 步；L* 处 α = 2；每个目标词评测 80 段留出自然文本
极端与端点	预先固定 24 对“一般 → 极端”与 24 对“非端点 → 最大标准端点”词对，均不含核心网格词。修饰语集合：absolutely、utterly、truly 对比 completely、fully、almost、nearly、half
中文	16 个标度 × 4 个词 = 64（10 个评价性、6 个非评价性）；6 个与英文对应的中文模板，目标词放在中文引号里；FineWeb-2 cmn_Hani 的一个分片，只用简体文档（第 9 节的形容词统计用前 167,328 篇），jieba 分词；植入在 Qwen3-8B 和 Qwen3.8-27B 上进行，覆盖全部 64 个词格，每个目标词 80 段留出文本
读出度量	下游 Fisher 用穿过网络的中心差分计算，fp32，Qwen3-8B-Base，步长为平均状态范数的 10⁻³，并与加倍步长核对（最大相对差 0.002）；词位置上的 logit lens；单点精确激活替换
修饰语	按 Paradis 四类划分的 19 个英文修饰语（slightly、somewhat、a bit、a little；fairly、rather、moderately；very、really、extremely、incredibly、terribly、remarkably；absolutely、completely、totally、utterly、perfectly、entirely），另加 almost、nearly；13 个中文副词（有点、稍微、略微；比较、较为；很、挺、非常、十分、特别；极其、极为、极度）。在 6 个模板中读取 “m w” 在 L* 的状态；一个标度只有在它的词都不与修饰语共用 token 时，才计入该修饰语的平均；中文副词直接接在形容词前（如“非常热”）。自身基线值：模板在修饰语之后截断，读修饰语最后一个 token。新词承载测试：修饰语放在 24 个新造形容词前
修饰语计数	FineWeb 分片（1,048,581 篇）和一个 FineWeb-2 cmn_Hani 分片（1,624,144 篇简体文档，jieba 分词，“很大”这类合并的 token 也计入）中直接相邻的“修饰语 + 词”
新形容词	24 个以 -y 结尾的新词，其中 21 个在 FineWeb 分片中从未出现，3 个出现 1–3 次；8 个带开放和闭合性质的 Syrett–Lidz 物体；8 个曝光段落和 8 个领域段落；沿 u 的单坐标固定干预（clamp）与 20 个正交随机方向对照
探索性分析	第 4.2 节的按标度对数几率与控制类别的偏相关；用整个 FineWeb 分片的修饰语整词频率做稀有度分析；“非常”“很”在 6 个朱德熙状态形容词上的位移；新词在整个分片上的筛查

附录：预注册检验

每个实验在运行前都用 SHA-256 冻结了协议、判据和分析代码。这里按章节顺序列出本文所依据的 10 个实验中的全部预注册检验。一项检验须在所有参与判定的模型上都通过才算达到；参与判定的模型写在每个实验名称之后。正文中标为事后或探索性的分析不在此列。

标度几何（第 2、4.1、8 节）。 5 个模型；A3 为 Qwen3-8B-Base 和 Qwen3.8-27B。

• 达到：A1a 两极的强词都沿 u 上移（两个余弦都高于打乱基线的 95 分位）；A1b 外扩 |O/M| ≤ 0.5；A2c 网页计数中，人工词对里的强词偏向 absolutely 类修饰语；A2a u 上的投影与这一偏好的相关高于置换的 95 分位；A2b 控制词频后偏相关为正；A3a 投影 π 对两个跨类型迁移比例的预测误差不超过 0.15；A3b 10 个植入条件上 π 与 GC 的 Spearman 相关 ≥ 0.8。

修饰语图谱（第 3、4.2 节）。 英文：5 个模型；中文：3 个 Qwen 模型。

• 达到：P2 / P2zh 中点位移按修饰语类别排序；P3 英文减弱类把词往下推；P4 / P4zh d_strong 预测网页语料里与强词搭配的偏好；P1zh 中文副词主要压缩强弱差，褒贬差基本不变。
• 未达到：
  • P1 英文同样的压缩模式，要求至少 75% 的修饰语符合：3 个 Qwen 模型为 0.89，Llama 0.74，Mistral 0.63；后两者中减弱类、moderately 和 perfectly 也压缩褒贬差。
  • P3zh 中文低量副词把词往下推：Qwen3-1.7B、Qwen3-8B 达到；Qwen3.8-27B 为 −0.016 [−0.043, +0.012]。

修饰语自身值（第 3 节）。 英文：5 个模型；中文：3 个 Qwen 模型。

• 达到：Q1 英文修饰语在形容词出现前的自身状态按类别排序；Q2 修饰语给新词的位移与给真词的位移同序；Q2b 新词位移按类别排序；Q3 / Q3zh 自身值与真词位移同序。
• 未达到：
  • Q1zh 中文副词的自身状态按语法等级排序：Qwen3-1.7B、Qwen3.8-27B 达到（ρ = 0.66）；Qwen3-8B 为 ρ = 0.46（p = 0.06）。

新造形容词（第 3、6 节）。 5 个模型；M3 为 3 个 Qwen 模型。

• 达到：M1 very 对强词的推动小于对一般词；M2 very 把一般词沿 u 上推；M3 “非常”对性质形容词的推动大于对状态形容词；N3 把 very 换成 completely，理解会偏向闭合标度的性质；N4 absolutely 类短文比 very 类短文更抬高强弱判断。
• 未达到：
  • N1 被修饰的出现让新词在之后不带修饰语的出现处也沿 u 移动：只有一步的 0.4–4%，方向检验在 5 个模型上都没有超过符号翻转零假设。
  • N2 completely 类短文把新词推向端点方向而不是 u：4 个模型达到，Mistral 未达到。
  • N5 短文效应推广到留出的修饰语（utterly、half）：只有 Mistral 达到。
  • N6a 在每次出现处钉死 u，至少消掉短文对强弱判断效应的 25%：实际 8–16%，随机方向最多 1.4%。
  • N6b 把 u 上的位移加到不带修饰语的短文上，至少复现 25%：实际 9–23%。

跨类型迁移与词频（第 4.3、7 节）。 G1、F1：5 个模型；T1–T3、F3：Qwen3-8B-Base 和 Qwen3.8-27B。

• 达到：G1 u 推广到 527 对人工标注词对（投影高于打乱基线的 95 分位）；F1 词频最多解释 u 上投影的一半；T1 只用评价性标度学到的向量植入 28 个非评价性词，差距弥合至少 0.15，且比对照高至少 0.10；T2 反方向（非评价性向量植入 64 个评价性词）同样达到；T3 只用评价性标度的向量保留完整向量至少一半的效果；F3 同范数的词频向量，差距弥合最多是强度向量的一半。

极端词对与端点词对（第 5 节）。 5 个模型；B1 只用网页计数。

• 达到：B1b 网页计数中，端点词对偏向 completely 类修饰语，多于 absolutely 类；B2 极端词对与 u 的对齐高于端点词对，且端点词对不到极端词对的一半；B4 模型自己的修饰语偏好把两组推向相反方向。
• 未达到：
  • B1a 网页计数中，极端词对偏向 absolutely 类修饰语，多于 completely 类：平均 1.04 [−0.12, 2.24]，计数足够的只有 12 对。
  • B3 端点词对有自己的共享方向，且极端词对在这个方向上的投影不到其一半：共享方向在 5 个模型上都高于零假设，但极端词对在它上面也有投影（Qwen3-8B：0.177，上限 0.115）。

92 词网格上的植入与组装（第 7、10 节）。 X1–X4：5 个模型；Y1–Y5：Qwen3-8B-Base 和 Qwen3.8-27B。

• 达到：X1 跨标度强弱对齐从 embedding 到 L* 至少上升 0.10；X2 评价性与非评价性之间的对齐至少是评价性内部对齐的一半；X3 共享分量中 MLP 写入多于注意力；X4 在 embedding 处反射种子后，L* 的变化比被动携带至少多 0.05；Y1 强度向量的差距弥合至少 0.25，且比对照高至少 0.15；Y2 在 28 个非评价性词上至少 0.15，且比对照高至少 0.10；Y3 复述对数几率随 α 递增；Y4 α = 1 时复述答案落在源词与目标词这一对之内的比例至少 70%；Y5 褒贬向量的差距弥合至少 0.20，且比对照高至少 0.15。

读出度量（第 8 节）。 Qwen3-8B-Base；Qwen3.8-27B 只在差分检查允许时判定。

• 未达到：
  • C1 Fisher 二阶预测量 q_F 在三个强度条件上都为正，且在 10 个条件上的 Spearman 相关至少 0.8：排序部分达到（0.855），但 q_F 只在其中一个条件上为正。
  • C2 Fisher 度量在两个模型上都把词频向量的预测比例压到 0.15 以下：Qwen3-8B 达到（0.006）；Qwen3.8-27B 上 bf16 中心差分没有通过步长检查（0.46，上限 0.15），无法判定。
  • C3 平均 |q_F − GC| 不超过 0.10：实际 0.306。

中文（第 9 节）。 Z1–Z3：3 个 Qwen 模型；Z5、Z6：Qwen3-8B-Base 和 Qwen3.8-27B；Z4 只用网页计数。

• 达到：Z1 中文变强步共享一个方向；Z2 去掉对应的英文译词标度后，它们在英文 u 上的投影高于打乱基线；Z3 极性与强度在中文里同样相加；Z4 强词比一般词更少受普通程度副词修饰；Z5 只用英文词学到的向量植入中文，差距弥合至少 0.10，且比对照高至少 0.10；Z6 中文向量差距弥合至少 0.15，且比对照高至少 0.10。

较早词表上的组装实验（第 10 节）。 Qwen3-8B-Base、Llama-3.1-8B、Mistral-7B-v0.3。

• 达到：H2a 共享的强弱与褒贬方向在 embedding 到 L* 之间组装出来；H2c 主要由 MLP 写入；H2e 网络读取并放大 embedding 中微弱的种子。
• 未达到：
  • H2b 单个 4–5 层窗口贡献至少一半的上升：Llama 0.73，Mistral 0.52，Qwen3-8B 0.47。
  • H2d 对这个窗口的 MLP 做均值消融，对齐至少下降 0.075–0.10（各模型分别设定）：实际 0.010–0.045。