GPT之父AlecRadford新作：从文档级到Token级，重塑大模型数据过滤范式

背景：大模型预训练中，传统文档级数据过滤方法在移除有害信息时，常因粗粒度操作而误伤通用知识，影响模型能力。研究目的：Alec Radford等人提出将过滤粒度从文档级细化到Token级，旨在更精准地剔除有害内容，同时保留有益知识，并探索其对模型安全与能力的影响。结论：Token级过滤（特别是Removal策略）在帕累托前沿上优于文档级过滤，能实现高达7000倍的计算效率阻滞，有效提升模型在危险领域的知识获取门槛；同时，该方法增强了对抗鲁棒性，并在预训练中通过引入 Token，意外提升了模型在拒绝任务中的泛化能力，为数据工程的精细化治理提供了新范式。