海光DCU展开文心系列模型的深度技术合作

6月30日,文心4.5系列模型正式开源,涵盖激活参数规模分别为47B和3B的混合专家(MoE)模型(最大的模型总参数量为424B),以及0.3B的稠密参数模型。海光DCU展开文心4.5系列模型的深度技术合作,基于飞桨深度学习框架进行高效训练、推理和部署的适配工作。据了解,海光DCU支撑文心4.5预训练的模型FLOPs利用率(MFU)达47%。
生成分享图
本资讯链接: - 雷电财经
免责声明:本文为用户投稿,不代表雷电财经立场,且不构成投资建议,请谨慎对待。
版权声明:内容及插图归源作者所有。文章为源作者独立观点,不代表雷电财经立场。
温馨提示:如您对本文存在异议,或不巧侵犯了您的合法权益,请通过 [ 投稿须知 ] 联系我们删除!

下一篇:恒瑞医药:硫酸艾玛昔替尼片和布比卡因脂质体注射液新增适应症获批