细胞基础模型对比:内部表征差异与选型指南

作者:公子世无双2026.11.16 10:59浏览量:0

简介:单细胞基础模型(scFM)在海量scRNA-seq语料上预训练,却因预训练目标、输入表征与优化策略不同,学到的“细胞世界”各有侧重。本文对比两类典型技术路线,并借助某高校研究团队提出的模型内部表征对比分析方法,解读其差异:方案A更关注基因表达量精调与扰动响应,方案B更关注基因身份关系与稀疏数据鲁棒性,另有轻量模型在算力受限时更友好。读者可据此设计统一评测、判断方案优劣来源并规避迁移风险。

一、对比背景:为什么没有“全面最优”的细胞基础模型

单细胞转录组测序(scRNA-seq)可以在单个细胞分辨率下测量上万个基因的表达水平,已成为细胞类型鉴定、发育轨迹推断、疾病机制研究和药物扰动筛选的核心工具。典型单细胞数据集动辄包含数十万乃至上百万个细胞,而每个细胞的表达谱又极为稀疏,绝大多数基因计数为零。大规模、无标注、结构相对规整的海量语料,为自监督预训练提供了天然土壤。因此,基于Transformer架构的细胞基础模型(single-cell foundation model,scFM)近年开始受到广泛关注。

这类模型在海量scRNA-seq语料上完成预训练后,可作为骨干网络用于多种下游生物医学分析:基因级任务关注单个基因或基因间关系的建模,例如变异效应预测、基因网络关系推断、扰动响应预测;细胞级任务关注细胞整体特征的表示,例如细胞类型注释、细胞状态识别、聚类分群和批次效应校正。

这些模型虽然共享Transformer这一通用骨架,却并不一定“学到同一个细胞世界”。影响学习结果的因素主要有三点:

  • 预训练目标:有的以掩码语言建模为核心,让模型根据上下文预测被遮盖的基因;有的以掩码表达量重建为核心,让模型恢复被遮盖基因的表达值。二者对上下文和表达量的依赖程度不同。
  • 输入表征:有的把基因表达量量化分箱,作为离散词表上的token;有的把基因名称作为token,把细胞组织成基因集合序列。输入方式决定了模型天然能感知哪些信息、又容易忽略哪些信息。
  • 优化策略:数据过滤与抽样规则、遮盖比例、训练步数与学习率调度、是否分层学习等,都会在相同的损失函数下塑造出不同的内部表示。

已有系统评测发现,没有任何一个细胞基础模型能在所有基因级与细胞级任务上全面最优,其表现高度依赖任务定义和数据特征。这里的数据特征至少包括稀疏程度、测序深度、细胞异质性、批次结构以及基因集大小。

因此,与其追问“哪个模型最好”,不如回答三个更有工程价值的问题:

  1. 这些模型之间的差异究竟来自哪些技术设计;
  2. 如何评估这些差异在目标数据上是否关键;
  3. 在确定选型后如何低成本、低风险地完成切换。

本文的对比对象包含三组:

  • 方案A:一类以“基因即token”、量化表达量为输入、采用掩码建模目标的细胞基础模型;
  • 方案B:一类以细胞为基本序列单元、按表达排序输入基因、采用排序掩码目标的细胞基础模型;
  • 表征对比分析方法:某高校研究团队提出的模型内部表征对比方法,用于打开“黑盒”,比较不同模型内部学到的生物学表征。下文简称“表征对比法”。

为简化表述,下文用“方案A”“方案B”指代这两类模型。类似地,“基因级方案”指以单个基因为预测对象、常用该基因表达量建模的模型,“细胞级方案”指以细胞整体表达谱为输入、输出细胞层面表示或预测的模型。“排序掩码目标”指遮盖一部分基因,并让模型预测被遮盖基因在原细胞全部表达基因中的排序。

需要说明的是,这是一组技术路线层面的对比,不代表任何具体产品之间的优劣判断。下文对两类模型的差异描述,均基于其公开技术报告中常见的设计选择归纳而来。

二、对比对象定义:三类对象分别解决什么问题

1. 方案A:以“基因即token”为核心的建模路线

方案A把基因表达谱组织成基因维度的序列,常见做法有两种:

  • 每个基因对应一个token,输入为基因ID与分箱后的表达量;
  • 用一个基因嵌入加上一个表达量嵌入,合成联合表示。

在预训练阶段,方案A通常遮盖一定比例的基因(或基因-表达量对),要求模型基于上下文恢复被遮盖的内容。下游使用时,常见方式包括:

  • 把预训练权重作为初始化,在任务数据上微调;
  • 遮盖一个基因,比较遮盖前后的预测差异,以此估计其表达变化或扰动效应。

这一路线的优势在于输入语义直接:每个token对应一个有明确生物学含义的基因,表达量作为显式特征参与计算。因此,它较适合对“某个基因的表达量”本身敏感的任务,例如扰动效应估计、基因程序激活程度比较等。

2. 方案B:以“细胞即句子”为核心的建模路线

方案B把每个细胞视为一个“句子”,句子中的“单词”是细胞中有表达(或表达量超过阈值)的基因。输入序列通常按表达量从高到低排序,有的还会加入经验累积函数(ECDF)一类的数值表示。遮盖某个基因时,模型并不直接看到它的表达量,而是要根据剩余基因推测它在这个细胞中的相对位置。

这一设计源于自然语言处理的启发:基因在细胞中的表达顺序,类似词在句子中的出现顺序。排序输入对测序深度和绝对表达量不那么敏感,更关注基因之间的相对关系与组合模式,因此在跨平台、跨批次迁移时常表现出较好的稳定性。代价是输入信息被压缩,表达量的精细变化需要在排序中体现,对变化幅度很小的基因表达差异可能不够敏感。

3. 表征对比法:打开模型内部、解释差异来源的分析工具

方案A和方案B通过上述设计差异,可能形成不同的内部表示结构:某些生物学概念在一个模型中形成了较清晰的方向或簇,在另一个模型中却混杂在其他变量中。表征对比法关注的正是这一点。它的典型做法是:

  • 固定细胞与特征输入:让多个模型在尽量一致的细胞集合上生成内部表征,例如各层token嵌入或池化后的细胞表示;
  • 对照目标变量:将已知生物学变量(细胞类型、细胞状态、基因程序等)与容易引入偏差的变量(批次、测序深度、实验条件等)分别作为参照;
  • 量化表征差异:通过探针分类、表征相似性、线性可分性等指标,判断不同模型中某一生物学概念是否被有效编码、是否与其他因素混淆。

用一句话概括:基准评测回答“哪个模型在某个任务上分数更高”,表征对比法回答“为什么会有这样的分数差异,模型内部究竟学到了什么”。

三、相同点分析:共同的骨架与共同的问题

在讨论差异之前,需要先明确两类模型共享的技术基础。

  1. 相同的骨干结构:都采用Transformer作为主体,通过自注意力机制建模token之间的长距离依赖,能够跨越传统统计方法难以覆盖的远距离基因关联。
  2. 相同的自监督范式:都不依赖大规模人工标注,而是从数据自身构造监督信号(如被遮盖的token),从而充分利用无标注单细胞语料。
  3. 相同的数据基础:预训练语料主要来自公开单细胞转录组数据集,下游任务则常涉及细胞类型注释、聚类、扰动预测等经典分析。
  4. 相同的迁移使用方式:都遵循“预训练+微调”或“冻结特征+轻量任务头”的范式,都可以通过参数高效微调等方式在少量标注数据上适配。
  5. 相同的基础工程要求:都需要GPU等算力资源、较大的显存与存储开销,以及统一的预处理流程(质控过滤、归一化、特征选择等)。
  6. 相同的局限来源:计算成本高、模型可解释性有限、对训练语料分布的依赖较强。在遇到与预训练语料差异较大的数据时,都可能出现性能波动。

正因为共享这些基础,两类模型才具备可比性,也出现了“同一任务、不同模型、结果不同”的现象。

四、核心差异分析:从设计选择到能力边界

1. 差异总览:差异来自哪里,又带来什么

技术选择 方案A 方案B 对能力的影响
序列基本单元 基因(基因即token) 细胞(细胞即句子) A便于做基因级干预式分析;B便于比较细胞整体构成
输入信息 基因ID+分箱表达量 基因ID(按表达排序,部分含ECDF) A保留表达量幅度;B保留相对关系
遮盖与预测目标 预测被遮盖基因及其表达量 预测被遮盖基因在细胞内的排序 A侧重表达量恢复;B侧重基因身份与相对位置
序列长度约束 受基因选择数量限制 受细胞表达基因数限制 A存在表达基因数上限;B可能出现同一细胞被截断
长度处理方式 变长序列与填充、注意力掩码 截断、补齐或分箱等 两者都可能丢失部分信息
计算复杂度 自注意力通常随序列长度平方增长 同样随序列长度平方增长 长序列对显存与吞吐压力更大

2. 输入表征差异:表达量精调 vs 排序鲁棒

方案A显式使用分箱表达量,这意味着:

  • 模型能够区分“高表达”与“低表达”,而不仅仅是“表达”与“不表达”;
  • 遮盖一个基因后,模型需要结合上下文恢复其表达值,因此更依赖对表达幅度的统计规律建模。

方案B以排序为核心,这意味着:

  • 基因之间“谁在前、谁在后”的关系被显式保留;
  • 模型不必记住绝对表达量,因此在不同测序平台之间更容易保持一致;
  • 但表达量变化较小时,排序位置可能几乎不变,这部分信息需要模型从上下文推断。

3. 预训练目标差异:掩码表达量 vs 排序掩码

两者的遮盖方式看起来相似,但训练信号的性质不同:

  • 方案A的恢复信号更接近“数值回归”或“分类到分箱”,与真实表达量直接相关;
  • 方案B的恢复信号更接近“预测排名”,模型要判断被遮盖基因相对于其他基因的位置,这要求它学到基因之间的相对共表达结构。

从优化角度看,前者对损失尺度和归一化方式较敏感;后者对排序构造方式(如何处理并列值、是否过滤低表达基因)更敏感。这也意味着,在复现或切换方案时,预处理细节往往是影响结果的关键变量。

4. 生物学偏向差异:表达幅度 vs 基因关系

两类目标塑造了不同的“归纳偏置”:

  • 方案A倾向于学到“哪些基因在该类细胞中表达量更高”,适合刻画表达量连续变化的表型,例如剂量效应、梯度响应;
  • 方案B倾向于学到“哪些基因总是共同出现、谁相对更活跃”,更接近共表达模块与调控网络的关系结构。

这并不表示某一类模型“不懂”另一类概念,而是说同样的数据下,不同目标更容易让某些概念在内部表示中形成清晰结构。表征对比法正是用来检验这一点的。

5. 对数据分布与噪声的敏感性

数据特征 方案A的常见表现 方案B的常见表现 选型启示
稀疏数据(多数基因计数为零) 零值大量存在,需要判断是“真无表达”还是“未检测到” 天然忽略未表达基因,受检测灵敏度影响较小 稀疏数据可优先关注B类思路
高测序深度数据 表达量信息丰富,有利于精细区分 排序信息饱和,区分度可能下降 深度数据可关注A类思路
强批次效应 表达量整体偏移可能直接进入表征 批次带来的偏移不一定改变相对顺序 有批次差异时需专门评估
细胞类型高度相似(如亚型细分) 亚型标志基因的表达量差异可被捕捉 若标志基因表达量变化不足以改变排序,需依赖上下文推断 细分任务需对比两类模型

需要强调,上表描述的是常见趋势,并非确定结论。实际表现仍取决于具体的预训练实现、数据过滤规则和微调策略。

6. 计算与工程特性

从工程角度看,两类模型的差异主要体现在:

  • 序列长度:方案B的序列长度与细胞表达基因数直接相关,表达基因数多的细胞会产生更长的输入序列;方案A的序列长度取决于所选基因数量。由于自注意力的计算量通常随序列长度平方增长,长度差异会直接影响单卡显存占用与训练吞吐。
  • 词表规模:方案A需要为表达量分箱维护额外映射,方案B通常只需维护基因词表(部分实现还会加入特殊token)。
  • 输入预处理:方案A依赖分箱边界、是否保留线粒体基因等规则;方案B依赖排序规则与截断策略。
  • 下游适配成本:两类模型都需要在任务数据上重新构造输入,因此接口层通常需要单独实现,不能直接互换权重。

五、如何用“表征对比法”解读内部生物学表征

基准测试的分数只能反映“结果”,无法解释“原因”。若要判断两个模型学到的细胞世界有何不同,可从以下几个角度开展分析。

1. 探针分析(Probing)

固定预训练模型的部分参数,只训练一个轻量分类器或回归器,读取某一层或池化后的细胞表示,预测已知的生物学变量,例如:

  • 细胞类型标签;
  • 细胞周期阶段;
  • 是否处于应激或干扰状态;
  • 是否来自某一实验批次。

若某模型在相同探针设置下表现更好,说明相关生物学概念在其内部表示中更容易被线性或浅层结构分离。反之,若模型需要更复杂的探针才能达到同等效果,则可能意味着相关信息被编码得较分散,或与其他变量发生了混淆。

2. 对照变量分析

生物学变量往往与技术变量交织。例如某类细胞的样本恰好来自特定批次或特定测序平台,模型学到的“细胞类型特征”可能部分来自批次差异。表征对比法的价值之一,就是引入对照变量,观察:

  • 在控制批次后,某一生物学概念的可分性是否仍然成立;
  • 不同模型的表征在“生物学方向”与“技术噪声方向”上的相对比例是否一致。

3. 表征相似性与线性可分性

在同一批细胞上,将两个模型分别产生的细胞表示两两计算相似度,可以得到:

  • 模型之间的表征一致程度;
  • 不同细胞类型之间在表征空间中的距离结构;
  • 某类细胞是否被“聚成一团”,以及簇内是否仍有亚结构。

这类分析不涉及下游任务微调,因此能够更直接地反映预训练阶段形成的表示几何。

4. 注意力与可解释性线索

通过分析注意力权重在不同基因或token上的分布,可以观察模型在预测时是否关注与已知生物学过程相关的基因集合。需要注意,注意力权重并不总是等同于因果重要性,因此这类分析更适合作为辅助线索,而非结论依据。

5. 示意性代码

下面的伪代码展示了一个通用的表征对比流程,不包含任何第三方工具或专有接口:

  1. # 伪代码:通用表征对比与探针分析流程
  2. # model_A / model_B: 两个待对比的细胞基础模型(仅保留推理接口)
  3. # cells: 同一批、经统一预处理的细胞集合
  4. # labels_bio: 生物学标签(如细胞类型、细胞状态)
  5. # labels_tech: 技术性标签(如批次、测序平台)
  6. def extract_repr(model, cells, layer="last"):
  7. reprs = []
  8. for cell in cells:
  9. inputs = model.build_inputs(cell) # 按各模型自身的输入规范构造
  10. reprs.append(model.encode(inputs, layer=layer))
  11. return reprs # 形状: [细胞数 x 表示维度]
  12. repr_A = extract_repr(model_A, cells)
  13. repr_B = extract_repr(model_B, cells)
  14. def linear_probe(reprs, labels):
  15. # 冻结表征,仅训练线性分类器,比较不同模型表征的可分性
  16. return cross_validated_accuracy(reprs, labels)
  17. print("细胞类型可分性:", linear_probe(repr_A, labels_bio),
  18. linear_probe(repr_B, labels_bio))
  19. print("批次可分性:", linear_probe(repr_A, labels_tech),
  20. linear_probe(repr_B, labels_tech))
  21. def linear CKA(X, Y):
  22. # 常用中心核对齐指标,衡量两套表征的相似度,此处用通用写法
  23. X, Y = center(X), center(Y)
  24. return frobenius(X.T @ Y) ** 2 / (norm(X) ** 2 * norm(Y) ** 2)
  25. print("表征相似度:", linear_CKA(repr_A, repr_B))

这段代码的关键点在于:对比必须在同一批细胞、尽量统一的预处理下进行,否则差异可能来自数据而非模型。

六、对比表格:两类路线的系统对比

对比维度 方案A(基因级方案思路) 方案B(细胞级方案思路)
核心抽象 细胞是基因表达量的向量,任务是恢复被遮盖的基因表达量 细胞是基因集合的排序序列,任务是恢复被遮盖基因的位置
优势任务 扰动响应估计、表达量变化的精细建模、基因程序量化 细胞类型识别、稀疏数据聚类、跨平台迁移
对稀疏性 需区分“真零”与“未检测到”,处理成本较高 天然忽略未表达基因,较为友好
对表达量变化 直接感知幅度变化 依赖排序变化,小幅度变化可能被弱化
词表与输入长度 受所选基因数与分箱方案约束 受细胞表达基因数与截断策略约束
计算开销 随序列长度平方增长,长输入显存压力大 同样随序列长度平方增长,长度波动更明显
可解释性 可直接关联到具体基因表达量变化 更偏向基因共现与相对重要性
迁移成本 需适配分箱规则与表达量归一化方式 需适配排序与截断规则、基因命名映射
典型风险 分箱边界敏感、低表达基因信息不稳定 高表达基因排序饱和、极长序列截断丢信息
适合场景 对表达量精细建模有硬性要求时 数据稀疏、跨平台迁移、细胞级下游任务为主时

需要再次说明,上表描述的是技术路线的一般性特征,用于帮助读者建立判断框架,而非对任何具体模型的评价。

七、典型场景选择:不同业务与科研需求下的取舍

1. 稀疏、低覆盖数据场景

单细胞数据普遍存在“dropout”现象,即基因真实表达但未被检测到。此时若模型把“未检测到”直接当作表达量为零,可能引入系统偏差。以基因排序为输入的路线在这一点上通常更稳健。选择时可优先考察模型在极低覆盖度子集上的表现。

2. 精细表达量建模场景

如果下游任务关心“某个基因表达量变化了多少”“剂量效应如何”,那么保留表达量信息的输入方式更贴合需求。此时需要重点关注分箱策略、归一化方式,以及模型是否对表达量幅度敏感。

3. 细胞类型注释与亚型细分

细胞级任务通常更依赖整体表达谱的相似性。细胞级方案在细胞构成层面建模,往往更直接;但在亚型细分任务中,亚型之间差异细微,需要评估模型是否能区分仅由少数标志基因驱动的差异。

4. 跨平台、跨研究迁移

不同研究之间的测序平台、文库构建方式、批次效应差异较大。排序类输入对绝对数值偏移不敏感,通常更利于迁移;表达量类输入则需要额外的归一化与批次校正。

5. 计算资源受限场景

若团队仅有有限GPU资源,需要权衡模型参数量、序列长度与微调策略。可以选择参数量更小的模型,或采用参数高效微调以降低显存占用。这类工程取舍与技术路线优劣无关,属于资源约束下的现实选择。

6. 需要可解释性的科研分析

若研究目标包含机制解释,例如“哪些基因驱动了表型转换”,则更适合能直接给出基因级重要性线索的路线,并配合表征对比法交叉验证结论。

八、选型建议:建立可复现的对比流程

面对多个候选模型,建议采用以下步骤,而不是仅凭公开榜单排名做决定。

  1. 明确任务定义:先确定是基因级还是细胞级任务,评价指标是准确率、相关性还是排序指标。任务定义不同,结论可能完全相反。
  2. 统一数据与预处理:所有候选模型使用同一批细胞、同一套质控与归一化流程,避免因数据差异导致结论偏差。
  3. 建立小规模验证集:在目标数据上划分验证集,覆盖稀疏与稠密两类细胞、主要细胞类型以及已知的批次结构。
  4. 做分层评测:分别报告基因级与细胞级任务结果,并观察结果在不同细胞亚群上的稳定性,而不是只给一个总分。
  5. 加入表征对比:用探针分析检验模型是否真的编码了目标生物学概念,避免“分数高但学错了东西”。
  6. 核算迁移成本:评估输入接口改造、词表与基因命名映射、权重许可、显存需求等工程成本,再与技术收益做权衡。

一个通用的对比决策伪代码如下:

  1. candidates = [model_A, model_B, model_lightweight]
  2. task = {
  3. "gene_level": evaluate_gene_tasks,
  4. "cell_level": evaluate_cell_tasks,
  5. }
  6. results = {}
  7. for model in candidates:
  8. r = {}
  9. for name, fn in task.items():
  10. r[name] = fn(model, validation_cells)
  11. r["probe_bio"] = linear_probe(extract_repr(model, validation_cells), labels_bio)
  12. r["cost"] = estimate_cost(model) # 显存、吞吐、微调步数
  13. results[model.name] = r
  14. # 按任务优先级排序,而非只看单一总分
  15. ranked = sorted(results.items(),
  16. key=lambda kv: weighted_score(kv[1], task_weights))

其中weighted_score的权重应由业务或研究目标决定,例如以细胞注释为主时提高细胞级任务权重,以扰动预测为主时提高基因级任务权重。

九、迁移与使用注意事项

若已经选定方案并准备切换,以下几点风险需要提前评估。

1. 输入格式与预处理不兼容

两类模型的输入构造方式不同,迁移时不能只替换权重文件。需要重新实现数据加载与token构造逻辑,并核对:

  • 基因命名与版本(是否使用同一套基因标识符);
  • 是否过滤线粒体基因、核糖体基因;
  • 分箱边界或排序规则是否与预训练时一致。

预处理不一致是导致“模型表现下降”的常见原因,且往往被误判为模型本身能力问题。

2. 基因命名与ID映射

不同数据源可能使用不同的基因标识符或版本。迁移前应建立映射表,并记录无法映射的基因比例,避免因ID不匹配造成信息丢失。

3. 权重与许可合规

预训练权重的使用条款、数据许可与再分发限制需提前确认,尤其是涉及人类单细胞数据时,还需关注数据隐私与伦理合规要求。

4. 长序列带来的显存与吞吐压力

方案B的输入长度随细胞表达基因数波动,可能出现少数超长细胞拖慢整个批次的情况。工程上可考虑:

  • 长度分桶或按长度排序后再组批;
  • 截断策略与保留高表达基因的规则;
  • 混合精度与梯度累积等通用手段。

5. 微调策略与数据划分

微调时若划分数据集的方式不当(例如同一细胞的不同测序片段被分到训练集与测试集),可能造成信息泄漏,使评估结果过于乐观。应按细胞或样本级别划分,并保留独立的外部验证集。

6. 版本与可复现性

预训练模型持续更新,建议固定版本号、记录随机种子与依赖版本,并在评测脚本中固化预处理流程,确保结论可复现。

7. 云上部署的通用工程考虑

若需要将模型训练或推理迁移到云环境,例如百度智能云等平台,可关注以下通用能力:对象存储用于存放数据集与模型权重,容器服务用于封装推理环境,GPU实例用于训练与批量推理,监控告警与日志服务用于观测服务稳定性,身份认证与权限控制用于隔离不同团队的资源访问。这些属于通用工程实践,具体配置需结合自身资源与合规要求评估。

十、总结:差异不在“谁更强”,而在“学到了什么”

回到本文的主题:同样是细胞基础模型,它们学到的细胞世界之所以不同,根源在于三处设计选择:

  1. 输入表征决定了模型能直接感知什么:表达量幅度,还是基因之间的相对关系;
  2. 预训练目标决定了模型被奖励去学什么:恢复数值,还是恢复排序;
  3. 优化策略决定了这些能力在有限算力下如何被塑造:遮盖比例、数据抽样、训练步数等。

由此带来的能力差异是条件性的,而非绝对的:

  • 方案A在表达量敏感的任务上通常更直接,但对稀疏性与分箱规则更敏感;
  • 方案B在稀疏数据与跨平台迁移上通常更稳健,但对表达量的精细变化可能不够敏感;
  • 表征对比法则提供了从“结果比较”走向“机制理解”的工具,帮助判断分数差异是否真的来自生物学表征的差异。

对技术读者的实践建议是:先定义任务,再统一数据,随后分层评测并加入探针分析,最后结合迁移成本做条件化决策。在资源受限或团队运维能力有限时,可优先考虑工程复杂度更低、与现有流程兼容更好的方案;在科研解释性要求较高的场景下,则应把内部表征的可解释程度纳入评估指标。