AI视频丨token为什么叫“词元”

本文背景介绍了全国科学技术名词审定委员会将人工智能领域token的中文名定为“词元”的公告。研究目的在于阐述“词元”这一术语的定名依据、词源演变及其在多模态人工智能模型中的扩展应用，并解释科技名词审定的重要性。结论指出，“词元”的定名准确捕捉了其作为基本离散符号单元的本质，符合科技名词审定的原则，有助于统一表述、避免歧义，促进科学知识的有效传播。