面壁智能推出UltraX框架，用于大规模预训练数据精炼

面壁智能发布UltraX框架，用于大规模预训练数据精炼。不同于端到端重写数据，UltraX通过结构化编辑函数（插入、删除、修改）精确提升训练数据质量。其LAM+DCR管道生成高质量监督信号，实现可扩展的精炼。在1B模型预训练实验中，UltraX在五个语料库上取得最佳平均性能。相关论文、代码及数据集（UltraX-Preview）已在arXiv、GitHub、Hugging Face和ModelScope开源。

来源：X：面壁智能 OpenBMB (@OpenBMB) — 查看原文