简介:单细胞基础模型(scFM)在海量scRNA-seq语料上预训练,却因预训练目标、输入表征与优化策略不同,学到的“细胞世界”各有侧重。本文对比两类典型技术路线,并借助某高校研究团队提出的模型内部表征对比分析方法,解读其差异:方案A更关注基因表达量精调与扰动响应,方案B更关注基因身份关系与稀疏数据鲁棒性,另有轻量模型在算力受限时更友好。读者可据此设计统一评测、判断方案优劣来源并规避迁移风险。
单细胞转录组测序(scRNA-seq)可以在单个细胞分辨率下测量上万个基因的表达水平,已成为细胞类型鉴定、发育轨迹推断、疾病机制研究和药物扰动筛选的核心工具。典型单细胞数据集动辄包含数十万乃至上百万个细胞,而每个细胞的表达谱又极为稀疏,绝大多数基因计数为零。大规模、无标注、结构相对规整的海量语料,为自监督预训练提供了天然土壤。因此,基于Transformer架构的细胞基础模型(single-cell foundation model,scFM)近年开始受到广泛关注。
这类模型在海量scRNA-seq语料上完成预训练后,可作为骨干网络用于多种下游生物医学分析:基因级任务关注单个基因或基因间关系的建模,例如变异效应预测、基因网络关系推断、扰动响应预测;细胞级任务关注细胞整体特征的表示,例如细胞类型注释、细胞状态识别、聚类分群和批次效应校正。
这些模型虽然共享Transformer这一通用骨架,却并不一定“学到同一个细胞世界”。影响学习结果的因素主要有三点:
已有系统评测发现,没有任何一个细胞基础模型能在所有基因级与细胞级任务上全面最优,其表现高度依赖任务定义和数据特征。这里的数据特征至少包括稀疏程度、测序深度、细胞异质性、批次结构以及基因集大小。
因此,与其追问“哪个模型最好”,不如回答三个更有工程价值的问题:
本文的对比对象包含三组:
为简化表述,下文用“方案A”“方案B”指代这两类模型。类似地,“基因级方案”指以单个基因为预测对象、常用该基因表达量建模的模型,“细胞级方案”指以细胞整体表达谱为输入、输出细胞层面表示或预测的模型。“排序掩码目标”指遮盖一部分基因,并让模型预测被遮盖基因在原细胞全部表达基因中的排序。
需要说明的是,这是一组技术路线层面的对比,不代表任何具体产品之间的优劣判断。下文对两类模型的差异描述,均基于其公开技术报告中常见的设计选择归纳而来。
方案A把基因表达谱组织成基因维度的序列,常见做法有两种:
在预训练阶段,方案A通常遮盖一定比例的基因(或基因-表达量对),要求模型基于上下文恢复被遮盖的内容。下游使用时,常见方式包括:
这一路线的优势在于输入语义直接:每个token对应一个有明确生物学含义的基因,表达量作为显式特征参与计算。因此,它较适合对“某个基因的表达量”本身敏感的任务,例如扰动效应估计、基因程序激活程度比较等。
方案B把每个细胞视为一个“句子”,句子中的“单词”是细胞中有表达(或表达量超过阈值)的基因。输入序列通常按表达量从高到低排序,有的还会加入经验累积函数(ECDF)一类的数值表示。遮盖某个基因时,模型并不直接看到它的表达量,而是要根据剩余基因推测它在这个细胞中的相对位置。
这一设计源于自然语言处理的启发:基因在细胞中的表达顺序,类似词在句子中的出现顺序。排序输入对测序深度和绝对表达量不那么敏感,更关注基因之间的相对关系与组合模式,因此在跨平台、跨批次迁移时常表现出较好的稳定性。代价是输入信息被压缩,表达量的精细变化需要在排序中体现,对变化幅度很小的基因表达差异可能不够敏感。
方案A和方案B通过上述设计差异,可能形成不同的内部表示结构:某些生物学概念在一个模型中形成了较清晰的方向或簇,在另一个模型中却混杂在其他变量中。表征对比法关注的正是这一点。它的典型做法是:
用一句话概括:基准评测回答“哪个模型在某个任务上分数更高”,表征对比法回答“为什么会有这样的分数差异,模型内部究竟学到了什么”。
在讨论差异之前,需要先明确两类模型共享的技术基础。
正因为共享这些基础,两类模型才具备可比性,也出现了“同一任务、不同模型、结果不同”的现象。
| 技术选择 | 方案A | 方案B | 对能力的影响 |
|---|---|---|---|
| 序列基本单元 | 基因(基因即token) | 细胞(细胞即句子) | A便于做基因级干预式分析;B便于比较细胞整体构成 |
| 输入信息 | 基因ID+分箱表达量 | 基因ID(按表达排序,部分含ECDF) | A保留表达量幅度;B保留相对关系 |
| 遮盖与预测目标 | 预测被遮盖基因及其表达量 | 预测被遮盖基因在细胞内的排序 | A侧重表达量恢复;B侧重基因身份与相对位置 |
| 序列长度约束 | 受基因选择数量限制 | 受细胞表达基因数限制 | A存在表达基因数上限;B可能出现同一细胞被截断 |
| 长度处理方式 | 变长序列与填充、注意力掩码 | 截断、补齐或分箱等 | 两者都可能丢失部分信息 |
| 计算复杂度 | 自注意力通常随序列长度平方增长 | 同样随序列长度平方增长 | 长序列对显存与吞吐压力更大 |
方案A显式使用分箱表达量,这意味着:
方案B以排序为核心,这意味着:
两者的遮盖方式看起来相似,但训练信号的性质不同:
从优化角度看,前者对损失尺度和归一化方式较敏感;后者对排序构造方式(如何处理并列值、是否过滤低表达基因)更敏感。这也意味着,在复现或切换方案时,预处理细节往往是影响结果的关键变量。
两类目标塑造了不同的“归纳偏置”:
这并不表示某一类模型“不懂”另一类概念,而是说同样的数据下,不同目标更容易让某些概念在内部表示中形成清晰结构。表征对比法正是用来检验这一点的。
| 数据特征 | 方案A的常见表现 | 方案B的常见表现 | 选型启示 |
|---|---|---|---|
| 稀疏数据(多数基因计数为零) | 零值大量存在,需要判断是“真无表达”还是“未检测到” | 天然忽略未表达基因,受检测灵敏度影响较小 | 稀疏数据可优先关注B类思路 |
| 高测序深度数据 | 表达量信息丰富,有利于精细区分 | 排序信息饱和,区分度可能下降 | 深度数据可关注A类思路 |
| 强批次效应 | 表达量整体偏移可能直接进入表征 | 批次带来的偏移不一定改变相对顺序 | 有批次差异时需专门评估 |
| 细胞类型高度相似(如亚型细分) | 亚型标志基因的表达量差异可被捕捉 | 若标志基因表达量变化不足以改变排序,需依赖上下文推断 | 细分任务需对比两类模型 |
需要强调,上表描述的是常见趋势,并非确定结论。实际表现仍取决于具体的预训练实现、数据过滤规则和微调策略。
从工程角度看,两类模型的差异主要体现在:
基准测试的分数只能反映“结果”,无法解释“原因”。若要判断两个模型学到的细胞世界有何不同,可从以下几个角度开展分析。
固定预训练模型的部分参数,只训练一个轻量分类器或回归器,读取某一层或池化后的细胞表示,预测已知的生物学变量,例如:
若某模型在相同探针设置下表现更好,说明相关生物学概念在其内部表示中更容易被线性或浅层结构分离。反之,若模型需要更复杂的探针才能达到同等效果,则可能意味着相关信息被编码得较分散,或与其他变量发生了混淆。
生物学变量往往与技术变量交织。例如某类细胞的样本恰好来自特定批次或特定测序平台,模型学到的“细胞类型特征”可能部分来自批次差异。表征对比法的价值之一,就是引入对照变量,观察:
在同一批细胞上,将两个模型分别产生的细胞表示两两计算相似度,可以得到:
这类分析不涉及下游任务微调,因此能够更直接地反映预训练阶段形成的表示几何。
通过分析注意力权重在不同基因或token上的分布,可以观察模型在预测时是否关注与已知生物学过程相关的基因集合。需要注意,注意力权重并不总是等同于因果重要性,因此这类分析更适合作为辅助线索,而非结论依据。
下面的伪代码展示了一个通用的表征对比流程,不包含任何第三方工具或专有接口:
# 伪代码:通用表征对比与探针分析流程# model_A / model_B: 两个待对比的细胞基础模型(仅保留推理接口)# cells: 同一批、经统一预处理的细胞集合# labels_bio: 生物学标签(如细胞类型、细胞状态)# labels_tech: 技术性标签(如批次、测序平台)def extract_repr(model, cells, layer="last"):reprs = []for cell in cells:inputs = model.build_inputs(cell) # 按各模型自身的输入规范构造reprs.append(model.encode(inputs, layer=layer))return reprs # 形状: [细胞数 x 表示维度]repr_A = extract_repr(model_A, cells)repr_B = extract_repr(model_B, cells)def linear_probe(reprs, labels):# 冻结表征,仅训练线性分类器,比较不同模型表征的可分性return cross_validated_accuracy(reprs, labels)print("细胞类型可分性:", linear_probe(repr_A, labels_bio),linear_probe(repr_B, labels_bio))print("批次可分性:", linear_probe(repr_A, labels_tech),linear_probe(repr_B, labels_tech))def linear CKA(X, Y):# 常用中心核对齐指标,衡量两套表征的相似度,此处用通用写法X, Y = center(X), center(Y)return frobenius(X.T @ Y) ** 2 / (norm(X) ** 2 * norm(Y) ** 2)print("表征相似度:", linear_CKA(repr_A, repr_B))
这段代码的关键点在于:对比必须在同一批细胞、尽量统一的预处理下进行,否则差异可能来自数据而非模型。
| 对比维度 | 方案A(基因级方案思路) | 方案B(细胞级方案思路) |
|---|---|---|
| 核心抽象 | 细胞是基因表达量的向量,任务是恢复被遮盖的基因表达量 | 细胞是基因集合的排序序列,任务是恢复被遮盖基因的位置 |
| 优势任务 | 扰动响应估计、表达量变化的精细建模、基因程序量化 | 细胞类型识别、稀疏数据聚类、跨平台迁移 |
| 对稀疏性 | 需区分“真零”与“未检测到”,处理成本较高 | 天然忽略未表达基因,较为友好 |
| 对表达量变化 | 直接感知幅度变化 | 依赖排序变化,小幅度变化可能被弱化 |
| 词表与输入长度 | 受所选基因数与分箱方案约束 | 受细胞表达基因数与截断策略约束 |
| 计算开销 | 随序列长度平方增长,长输入显存压力大 | 同样随序列长度平方增长,长度波动更明显 |
| 可解释性 | 可直接关联到具体基因表达量变化 | 更偏向基因共现与相对重要性 |
| 迁移成本 | 需适配分箱规则与表达量归一化方式 | 需适配排序与截断规则、基因命名映射 |
| 典型风险 | 分箱边界敏感、低表达基因信息不稳定 | 高表达基因排序饱和、极长序列截断丢信息 |
| 适合场景 | 对表达量精细建模有硬性要求时 | 数据稀疏、跨平台迁移、细胞级下游任务为主时 |
需要再次说明,上表描述的是技术路线的一般性特征,用于帮助读者建立判断框架,而非对任何具体模型的评价。
单细胞数据普遍存在“dropout”现象,即基因真实表达但未被检测到。此时若模型把“未检测到”直接当作表达量为零,可能引入系统偏差。以基因排序为输入的路线在这一点上通常更稳健。选择时可优先考察模型在极低覆盖度子集上的表现。
如果下游任务关心“某个基因表达量变化了多少”“剂量效应如何”,那么保留表达量信息的输入方式更贴合需求。此时需要重点关注分箱策略、归一化方式,以及模型是否对表达量幅度敏感。
细胞级任务通常更依赖整体表达谱的相似性。细胞级方案在细胞构成层面建模,往往更直接;但在亚型细分任务中,亚型之间差异细微,需要评估模型是否能区分仅由少数标志基因驱动的差异。
不同研究之间的测序平台、文库构建方式、批次效应差异较大。排序类输入对绝对数值偏移不敏感,通常更利于迁移;表达量类输入则需要额外的归一化与批次校正。
若团队仅有有限GPU资源,需要权衡模型参数量、序列长度与微调策略。可以选择参数量更小的模型,或采用参数高效微调以降低显存占用。这类工程取舍与技术路线优劣无关,属于资源约束下的现实选择。
若研究目标包含机制解释,例如“哪些基因驱动了表型转换”,则更适合能直接给出基因级重要性线索的路线,并配合表征对比法交叉验证结论。
面对多个候选模型,建议采用以下步骤,而不是仅凭公开榜单排名做决定。
一个通用的对比决策伪代码如下:
candidates = [model_A, model_B, model_lightweight]task = {"gene_level": evaluate_gene_tasks,"cell_level": evaluate_cell_tasks,}results = {}for model in candidates:r = {}for name, fn in task.items():r[name] = fn(model, validation_cells)r["probe_bio"] = linear_probe(extract_repr(model, validation_cells), labels_bio)r["cost"] = estimate_cost(model) # 显存、吞吐、微调步数results[model.name] = r# 按任务优先级排序,而非只看单一总分ranked = sorted(results.items(),key=lambda kv: weighted_score(kv[1], task_weights))
其中weighted_score的权重应由业务或研究目标决定,例如以细胞注释为主时提高细胞级任务权重,以扰动预测为主时提高基因级任务权重。
若已经选定方案并准备切换,以下几点风险需要提前评估。
两类模型的输入构造方式不同,迁移时不能只替换权重文件。需要重新实现数据加载与token构造逻辑,并核对:
预处理不一致是导致“模型表现下降”的常见原因,且往往被误判为模型本身能力问题。
不同数据源可能使用不同的基因标识符或版本。迁移前应建立映射表,并记录无法映射的基因比例,避免因ID不匹配造成信息丢失。
预训练权重的使用条款、数据许可与再分发限制需提前确认,尤其是涉及人类单细胞数据时,还需关注数据隐私与伦理合规要求。
方案B的输入长度随细胞表达基因数波动,可能出现少数超长细胞拖慢整个批次的情况。工程上可考虑:
微调时若划分数据集的方式不当(例如同一细胞的不同测序片段被分到训练集与测试集),可能造成信息泄漏,使评估结果过于乐观。应按细胞或样本级别划分,并保留独立的外部验证集。
预训练模型持续更新,建议固定版本号、记录随机种子与依赖版本,并在评测脚本中固化预处理流程,确保结论可复现。
若需要将模型训练或推理迁移到云环境,例如百度智能云等平台,可关注以下通用能力:对象存储用于存放数据集与模型权重,容器服务用于封装推理环境,GPU实例用于训练与批量推理,监控告警与日志服务用于观测服务稳定性,身份认证与权限控制用于隔离不同团队的资源访问。这些属于通用工程实践,具体配置需结合自身资源与合规要求评估。
回到本文的主题:同样是细胞基础模型,它们学到的细胞世界之所以不同,根源在于三处设计选择:
由此带来的能力差异是条件性的,而非绝对的:
对技术读者的实践建议是:先定义任务,再统一数据,随后分层评测并加入探针分析,最后结合迁移成本做条件化决策。在资源受限或团队运维能力有限时,可优先考虑工程复杂度更低、与现有流程兼容更好的方案;在科研解释性要求较高的场景下,则应把内部表征的可解释程度纳入评估指标。