在科技的浪潮中,国产GPU的崛起无疑是中国科技自立自强的重要标志。今天,摩尔线程和无问芯穹联合宣布,他们已经成功实现了基于国产全功能GPU的3B规模大模型“MT-infini-3B”的实训。这一成就不仅标志着国产GPU在AI大模型训练领域的重大突破,更是开启了国产大语言模型与国产GPU深度合作的新篇章。

国产GPU的千卡集群实训

摩尔线程的国产全功能GPU MTT S4000与无问芯穹的AIStudio PaaS平台强强联合,共同打造了这一3B规模的大模型实训。整个模型训练过程耗时13.2天,期间表现出了极高的稳定性,集群训练稳定性达到了100%,千卡训练的扩展效率超过了90%。这一成果充分证明了夸娥千卡智算集群在大模型训练场景下的可靠性。

性能领先,同规模模型中的佼佼者

MT-infini-3B模型在性能上的表现同样令人瞩目。在C-Eval、MMLU、CMMLU等三个测试集上,MT-infini-3B均实现了性能领先,这在国际主流硬件上训练而成的其他模型中是前所未有的。这一成就不仅展示了国产GPU的强大实力,也为国产AI技术的发展注入了新的动力。

“M x N”中间层产品,多元芯片上的高效部署

无问芯穹联合创始人兼CEO夏立雪表示,公司正在致力于打造“M种模型”和“N种芯片”之间的“M x N”中间层产品,旨在实现多种大模型算法在多元芯片上的高效、统一部署。与摩尔线程的深度战略合作,使得“MT-infini-3B”成为了行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。

结语

摩尔线程与无问芯穹的这次合作,不仅为国产GPU的发展树立了新的里程碑,更为中国AI技术的未来描绘了一幅光明的蓝图。随着国产GPU技术的不断进步和创新,我们有理由相信,国产GPU将在AI大模型训练领域发挥越来越重要的作用,推动中国科技走向更加辉煌的未来。