我们的服务符合学术规范和道德
专业 高端让您使用时没有后顾之忧

中兴通讯技术2024年第02期:基于存算一体集成芯片的大语言模型专用硬件架构

来源:期刊VIP网 时间:


作者:何斯琪;穆琛;陈迟晓;

单位:复旦大学;

摘要:目前以ChatGPT为代表的人工智能(AI)大模型在参数规模和系统算力需求上呈现指数级的增长趋势。深入研究了大型模型专用硬件架构,详细分析了大模型在部署过程中面临的带宽问题,以及这些问题对当前数据中心的重大影响。提出采用存算一体集成芯片架构的解决方案,旨在缓解数据传输压力,同时提高大模型推理的能量效率。此外,还深入研究了在存算一体架构下轻量化-存内压缩协同设计的可能性,以实现稀疏网络在存算一体硬件上的稠密映射,从而显著提高存储密度和计算能效。

关键词:大语言模型;;存算一体;;集成芯粒;;存内压缩

基金资助:国家自然科学基金项目(62322404);; 复旦大学-中兴通讯强计算架构研究联合实验室“存算一体架构研究项目”