浪潮信息刘军：智算力系统创新 加速生成式AI产业发展

11月29日，在北京举行的2023人工智能计算大会(AICC)上，浪潮信息高级副总裁刘军在主题演讲《智算力系统创新 加速生成式AI产业发展》中分享了浪潮信息对于智算力系统创新和AI产业发展的思考。

以下为演讲实录整理

面向生成式人工智能带来的机遇与挑选，如何通过智算力系统来更好地支撑AI创新与应用，已经成为智算产业的关键。应对生成式AI的发展和挑战，应该从算力系统、AI软件基础设施（AI Infra）、算法模型和产业生态4个方面来进行综合考量，从而加速智能产业的落地。

智算系统创新，解决生成式AI的算力挑战

在算力系统层面，生成式人工智能面临的挑战主要来自计算、数据和互联三个方面：

在计算层面，算力部署规模扩大，多元化趋势愈发明显，导致AI算力系统开发适配周期长、定制开发投入大、业务迁移时间久。此外，大模型训练对集群规模要求高，在单芯片的算力有限的情况下，必须通过构建更大规模的集群来获得性能的扩展。

在数据层面，大模型从文本、图片等单模态向多模态、跨模态演进，对于数据存储的要求同样呈现多元化趋势，训练的数据集达到TB级甚至PB级。

在互联层面，传统RoCE网络因ECMP哈希不均导致40%以上的网络带宽被浪费，且尾时延高导致网络通信时间占比训练时间高达40%，极大降低了计算效率。同时，网络是集群共享资源，当集群规模达到一定量级后，网络性能波动会影响到所有计算资源的利用率，网络故障会影响数十个甚至更多加速卡的连通性。

面对三重挑战，浪潮信息总结了多年产品研发和用户服务经验，提出三部分解决之道。

在计算方面，首先要针对多元算力，以统一的系统架构和统一的接口规范来兼容各类AI芯片，保障芯片算力的高效释放。浪潮信息早在2018年就着力开放多元的AI算力平台设计，最新发布的G7多元算力平台是业界唯一可以同时兼容SXM、OAI加速卡并实现8卡全互联、16卡全互联和混合立方互联系统拓扑的AI算力平台。为了保障更大规模的集群扩展性能，浪潮信息研制的开放加速计算架构支持PCIe、RocE和多种私有互联协议，节点内和跨节点卡间互联最大达到896 GB/s，跨节点通过免网卡RDMA实现高效扩展，集群性能加速比超过90%。

在数据存储方面，针对大模型的数据存储需求，浪潮信息在业界率先实现了一套集群系统同时支持文件、对象、大数据等多种非结构化协议的无损互访，同时支持闪存、磁盘、磁带、光盘四类存储介质，并支持数据全生命周期热、温、冷、冰四级存储管理，以一套存储架构支持一个数据中心，真正实现了数据融合、管理融合。

在网络互联方面，浪潮信息专为生成式AI计算场景发布旗舰51.2T高性能交换机，为企业级智算网络提供高吞吐、高可扩展、高可靠的智算网络产品及方案，解决了传统RoCE方案普遍存在的有效带宽低、尾时延高、故障收敛慢等问题，将大模型训练性能提升38%以上，性能接近InfiniBand，助力AI用户高效释放大模型生产力。

AI Infra全栈优化：释放多元算力、提升大模型算力效率

大模型算法开发具有非常冗长的开发链条，这意味着需要诸多的工程化工具支撑。因此，在算力系统外，AI软件基础设施（AI Infra）也亟需创新。

AIGC大模型开发是一项极其复杂的系统工程，即便解决了底层算力供给的问题，仍面临建不了和用不好的问题。“建不好”是指构建算力平台不仅需要服务器、存储、网络等硬件集成,还需要考虑不同硬件和软件之间的兼容性和版本选择，确保驱动和工具的适配性和稳定性；“用不好”则体现在算力平台效率低、稳定性不足、模型开发环节冗长等现实困扰。

针对AI Infra层面的优化，浪潮信息开发了大模型智算软件栈OGAI (Open GenAI Infra)。在算力集群部署方面，开源了业界首个AI算力集群系统环境部署方案PODsys；在大规模训练的长时保障方面，从算力调度平台层实现了自动化断点续训；在多元算力接入方面以标准化、模块化接入方式稳定接入超过40+芯片；在数据治理方面构建了流程化、可自定义的数据清洗pipeline，有效缩短数据清洗时间、提升文本审核过滤准确率；在计算效率优化方面，通过对分布式并行算法的极致优化，将千亿参数规模下的训练计算效率提升到54%；在多模型管理方面已经支持了超过10个业界主流的开源大模型和元脑生态大模型，用实践证明AI Infra全栈基础软件和工作流的创新是多元算力高效释放、提升大模型算力效率的关键。

基础大模型，生成式AI落地发展的核心支撑

当前，大模型技术正在推动生成式人工智能产业迅猛发展，而基础大模型的关键能力则是大模型在行业和应用落地能力表现的核心支撑。但是，基础大模型在持续进化的过程中，依然面临着数据、算法、算力等关键因素的挑战与制约。

目前，受政策支持、算力水平提升、数据资源庞大以及科研实力增强等利好因素的推动，中国在基础大模型方面取得一定成绩，但仍需加大在基础性技术方面的原创性突破，夯实底层模型和算法能力。

浪潮信息从实践入手，加大创新模型结构、高质量数据准备、高效算力利用投入，并将这些技术运用在了源2.0大模型上，在编程、推理、逻辑等方面展示了先进的能力。

在算法方面，源2.0提出并采用了一种新型的注意力算法结构，有效提升了模型自然语言的表达能力与生成精度；在数据方面，源2.0在训练数据来源、数据增强和合成方法等方面进行了全面创新，增强模型数理逻辑能力；在算力方面，源2.0采用非均匀流水并行+优化器参数并行+数据并行+ Loss计算分块的策略，让模型训练在“条件有限”的算力规模下实现高效率工作。

源2.0作为千亿级基础大模型，在业界公开的评测上进行了代码生成、数学问题求解、事实问答方面的能力测试，展示了较为先进的能力表现。为了满足不同行业、不同场景的能力要求，浪潮信息全面开源“源2.0”全系列大模型，以最便捷的方式支持用户建设自己的智能化产品与能力，结合行业特点进行框架、模型、数据的垂直整合，提升大基础模型的准确性和可用性。

生态聚进，联合创新，加速AI应用落地

有了强大的基础大模型，还需要进一步深入应用场景，将大模型的能力赋能到生产环节之中，这个过程需要多家厂商的深度配合。面对生态复杂离散、产业AI落地困难的挑战，浪潮信息提出元脑生态聚合优质伙伴协同创新，通过“技术支持、方案联合、平台共享”实现不同厂商之间的优势互补。

目前，元脑生态以浪潮信息的AI算力平台、AI资源平台和AI算法平台为支撑，已经对接40多家芯片厂商，400+算法厂商，4000+系统集成商，通过多元的算力供给、全栈的AI Infra软件栈、丰富的大模型经验，实现“百模”与“千行”的对接，助力千行百业加速生成式AI 产业创新，高效释放生产力。