跳至正文
TOPOVOID

白皮书

用 Reflecho 定制模型

邮件归档、扫描文档分类、卫星图分类三项任务的效果。

基模
Qwen3.8-27B-FP8
更新于

测试集准确率

  1. 邮件归档

    Enron · 611 封测试邮件 · 8 个文件夹

    基模零样本
    65.8%
    Reflecho
    98.5%
  2. 扫描文档分类

    RVL-CDIP · 960 张测试图片 · 16 类

    基模零样本
    64.2%
    Reflecho
    97.6%
  3. 卫星图分类

    EuroSAT · 1,000 张测试图片 · 10 类

    基模零样本
    64.7%
    Reflecho
    98.3%

结果

任务 基模零样本 提示示例 Reflecho LoRA 其他基线
邮件归档 65.8% 80.7% 98.5% 90.5% TF-IDF + 逻辑回归:89.7%
扫描文档分类 64.2% 71.6% 97.6% 82.5% 视觉特征线性探针:73.0%
卫星图分类 64.7% 70.4% 98.3% 90.7% 视觉特征线性探针:94.5%

每类只用 10 张带标签图片时,Reflecho 在扫描文档分类上已达到 75.2%,在卫星图分类上达到 81.8%。

原理

Reflecho 是我们面向现成基础模型的后训练表征工程定制方法。

  1. 你提供自己业务中带标签的例子,比如已归档的邮件、已分好类的文档。
  2. Reflecho 测量模型内部隐层状态的几何结构,并在表征层直接建立轻量干预映射。基模权重保持不变。
  3. 定制后的模型用你的标签作答。

关于这些数字

  • 所有方法使用同一个基模 Qwen3.8-27B-FP8,每项任务使用同一批独立测试数据。
  • 零样本:模型只获得任务说明和标签名。提示示例:在提示中加入带标签的例子,邮件共 24 封,图片每类 1 张。
  • Reflecho 和 LoRA 的训练数据为 1,583 封邮件,或每类 100 张图片。
  • 全部结果来自公开数据集上的离线评测。

从后训练表征工程到 TopoVoid 自研架构模型

Reflecho 解决的是现成基础模型的后训练定制问题:在不改动基座权重的前提下,直接读取并引导隐层状态来完成任务适配。与此同时,为了从根源上解开现成模型残差流中语法、语气与事实记忆的耦合,我们从随机初始化出发设计并预训练了自研架构模型 TopoVoid。它在模型内部将隐空间正交划分为通用推理算子、控制语域与推理深度的中间层概念瓶颈,以及存放动态知识的零空间记忆区——无需拼接系统提示词即可直接切换回答风格与推理链,并能在数秒内通过闭式代数把新事实与长对话记忆写入权重而不损伤原有能力。

在你的任务上试用

我们可以在你的标签和数据上做同样的对比。请发邮件至 hello@topovoid.com。