单细胞地基模型的更深层次评价

源于杨芳等人。Nature Machine Intelligence https://doi.org/10.1038/s42256-022-00534-z（2022）大规模基础模型，在大量未标记的数据集上进行预训练，然后在特定任务上进行微调，最近在广泛的应用中取得了无与伦比的成功，包括医疗保健和生物学1,2,3,4,5,6。这些模型的成功展示了利用一般化特征和上下文理解来提高模型性能的力量。Yang等人的单细胞双向编码器表示（scBERT）是最近开发的几种基础模型之一，用于学习单细胞rna测序数据的表示8,9,10,11,12。Yang等人在112万个细胞上对他们的模型进行了预训练，以估算被掩盖的基因表达值，并表征他们的模型在注释细胞类型的微调任务中的表现。我们重现了他们的结果，并提供了额外的基线和消融研究（即，删除模型架构或训练过程的组件），以更深入地了解他们的结果以及单细胞基础模型的潜在优势和局限性。(1)我们证明了简单的逻辑回归基线在两个不同数据集中的细胞类型注释的微调任务上优于或与scBERT相当。这一发现甚至适用于“少数次学习”设置，即模型只能访问有限数量的标记示例。在少数镜头设置中，我们期望scBERT具有优势，因为它使用通过对逻辑回归模型从未见过的大量未标记数据进行预训练而学习到的表示；然而，情况并非如此。(2)我们对scBERT架构和训练策略进行了精简，从而揭示了其表示学习能力的局限性。我们表明，去除预训练不会对模型在细胞类型注释上的下游性能产生有意义的影响。此外，我们证明了scBERT在不学习有意义的基因表征的情况下可以很好地完成隐藏的预训练任务。