日前，在GTC期间，NVIDIA推出了为训练具有数万亿参数的语言模型而优化的NVIDIANeMoMegatron框架。 据了解，NVIDIANeMoMegatron是Megatron的基础上发展起来的。Megatron是由NVIDIA研究人员主导的开源项目，研究大型Transformer语言模型的高效训练。Megatron5