来源：期刊VIP网 时间：
作者：李宝嘉;何春志;夏寅贲;何泽坤;王晓亮;
单位：腾讯科技(深圳)有限公司;南京大学;
摘要：图形处理器（GPU）集群网络流量不断增加，运营难度明显加大，这给高性能大规模GPU集群网络系统的构建带来新的挑战与机遇。提出了一种能够实现超10万GPU集群互联的无损高性能网络方案——星脉网络。GPU集群网络需要联合优化端侧的集合通信库和网络路由控制器，以实现多路径的高效集合通信。为此，针对星脉网络研发了端侧集合通信库（TCCL）以实现最短的跨节点路径规划，同时还开发了全局优化路由器（GOR）以避免路径冲突导致的网络拥塞。在腾讯大模型GPU集群中，星脉网络方案和公开GPU集群方案（NVIDIA NCCL）的对比结果表明：星脉网络可以实现25%的集合通信带宽提升，同时避免80%的由流量冲突造成的网络拥塞问题。
关键词：大规模GPU集群;;集合通信;;负载均衡
