活动主题：ZeRO 零冗余优化:面向大模型训练的分布式并行、显存管理与异构内存卸载技术
活动类型：学术交流
举办单位：数据科学与智能计算科教平台
活动时间：2026-5-14 16:00-16:45
活动地点：科研1号楼4064
面向群体：全院师生
主讲嘉宾：
何小栋，北京航空航天大学国际创新研究院硕士一年级在读，隶属数据科学与智能计算科教平台算力工坊，主要研究方向为多目标跟踪。
内容摘要：
ZeRO零冗余优化正推动大模型训练从高显存依赖迈向高效分布式协同。通过模型状态分区、混合精度训练、CPU/NVMe卸载与通信计算重叠，ZeRO显著降低显存占用并提升训练规模，但仍面临通信开销、硬件异构适配与部署复杂性等关键挑战。
联系人：数据科学与智能计算科教平台，刘铭喆
编辑：袁晓慧
最新动态