veGiantModel的大模型训练框架,该训练框架主要应用于自然语言处理领域的大模型训练,最高可将大模型训练的性能提升6.然而,模型体积的快速增长也对现有的训练系统带来了不小的挑战,主要体现为显存压力、计算压力和通信压力。字节跳动应用机器学习团队提出了大模型训练框架veGiantModel。两大开源主流训练框架的基础之上构建的高性能大模型训练框架。