来源:期刊VIP网 时间:
作者:唐宏;武娟;徐晓青;张宁;
单位:中国电信股份有限公司研究院;
摘要:生成式大模型训练需要超大规模低时延、高带宽、高可用的网络承载底座。对生成式大模型下高性能网络基础设施的技术发展路线和实现方案进行了研究,认为商用部署时需针对不同训练阶段的工作负载和流量模式,开展定制化网络架构设计和传输协议优化。流控/拥塞控制技术、负载均衡技术、自动化运维技术和面向广域远程直接内存访问(RDMA)的确定性网络传输技术是未来的重点研究方向。
关键词:生成式大模型;;RDMA;;网络拥塞控制;;网络负载均衡