我们的服务符合学术规范和道德
专业 高端让您使用时没有后顾之忧

中兴通讯技术2024年第06期:HPN:阿里云大模型训练网络架构

来源:期刊VIP网 时间:


作者:钱坤;翟恩南;操佳敏;

单位:杭州阿里云飞天信息技术有限公司;

摘要:介绍了阿里云用于大型语言模型(LLM)训练的数据中心网络架构高性能网络(HPN)。HPN通过双上联、多轨、双平面的网络架构设计,避免了单链路故障带来的严重连通性影响,并且避免了哈希极化的产生。实验表明,HPN将LLM训练的端到端性能提升超过14.9%。HPN已在阿里的生产环境中部署了超过1年。

关键词:大模型训练;;网络架构;;数据中心网络