Nat Mach Intell综述｜Transformer与基因组语言模型

本文综述了Transformer和基因组语言模型（gLMs）在基因组学中的应用。背景方面，随着深度学习在自然语言处理领域的成功，研究人员开始将其应用于基因组学，利用Transformer架构处理基因组数据。研究目的是探讨gLMs在基因组学中的潜力，特别是通过无监督预训练任务进行建模，并分析其优势和局限性。结论指出，gLMs在多物种预训练和零样本学习方面表现出色，但未来的发展可能需要超越Transformer架构，如使用Hyena层或扩散模型，以更好地整合多模态数据和提高可解释性。