研究进展：微分几何-机器学习 Nature Machine Intelligence

近日，加州理工学院的研究团队在Nature Machine Intelligence上发表了一项研究，提出了一个基于微分几何框架的机器学习方法——功能不变路径（Functionally Invariant Paths, FIPs）。该方法通过将神经网络的权重空间公式化为弯曲的黎曼流形，利用度量张量定义的低秩子空间，实现了网络的灵活和连续适应。研究展示了FIPs在连续学习、大型语言模型、视觉转换器和卷积神经网络的稀疏化和对抗性鲁棒性任务中的应用，表明其性能与最先进方法相当或超越。这一研究为设计更灵活和鲁棒的机器学习系统提供了新的思路。