新闻动态
当前位置:首页 > 新闻动态
浪潮信息亮相云栖大会:分享大模型最佳实践 共筑安全软硬件生态
2024-09-20

9月19日,2024云栖大会在杭州召开,大会邀请全球顶尖的科技专家、学术精英、行业领袖共聚一堂,共话最前沿技术动态及产业实践。浪潮信息受邀出席本次大会,详细介绍了源2.0大模型在数据采集、处理和安全等方面的突破,算法优化和计算效率的提升,以及其在实际应用中展现出的卓越效果。同时,作为龙蜥社区副理事长单位,浪潮信息加入“硬件安全合作计划”,构建国内安全硬件基础设施与软件生态。

构建大模型最佳实践 20款大模型入驻魔塔社区

2021年9月,浪潮信息发布了源1.0大模型,拥有2457亿参数量,表现出了出色的中文理解与创作能力;2023年12月,浪潮信息发布了“源2.0”基础大模型,包括1026亿、518亿、21亿等三种参数规模的模型,在编程、推理、逻辑等方面展示出了先进的能力。

2024年5月,浪潮信息发布源2.0-M32大模型,其创新性地提出和采用了“基于注意力机制的门控网络”技术,构建包含32个专家(Expert)的混合专家模型(MoE),模型运行时激活参数为37亿,在业界主流基准评测中性能全面对标700亿参数的LLaMA3开源大模型,大幅提升了模型算力效率。

2024年8月,源2.0-M32大模型4bit和8bit量化版正式上线,性能比肩700亿参数的LLaMA3开源大模型。

源2.0-M32大模型量化版在保持推理性能的前提下,显著降低了计算资源消耗和内存占用,其采用的GPTQ量化方法通过精细调整,成功将模型适配至int4和int8精度级别。通过定制化算子优化,源2.0-M32量化版实现了模型结构的深度适配和性能的显著提升,确保在不同硬件和软件环境中均能高效运行。

截至目前,浪潮信息的4种规格全系列20款大模型已经上线魔搭平台,同时建设起了源大模型魔搭社区品牌馆,并在9月通过AI夏令营活动,沉淀了大模型全栈开发课程及50+创新应用,针对行业/场景微调模型的协同升级,与开发者共同促进大模型行业落地。

1.png

启动硬件安全合作计划,共筑安全软硬件生态

随着模型规模的增大,对算力、存储和网络的要求越来越高,系统复杂性随之不断提升,确保大模型系统的安全性、可靠性变得尤为重要。

当前国内安全各领域均推出了相应的软硬一体化解决方案,诸如密码卡、可信设备、算法加速器、TEE等硬件安全设备及配套的软件SDK,软硬件产品日益丰富,同时导致了安全领域面临生态碎片化与兼容适配成本高的问题。如何总体上降低安全产业链成本、保障AI时代国内安全生态持续健康发展,成为各方不得不解决的难题。

为了构建统一的安全软硬件生态、提供一致的安全技术方案,龙蜥社区安全联盟(OASA)于会上启动了“硬件安全合作计划”,该计划旨在依托龙蜥社区的Cloud Kernel、BaseOS生态的诸多安全类软件包,以及Tongsuo社区的国密生态体系,集合CPU、OS、服务器、传统安全、密码设备、云计算厂商等多方力量,构建大模型时代国内安全硬件基础设施与软件生态。

在该计划中,浪潮信息从服务器、整机安全设备以及操作系统等多个维度发挥作用。在服务器和整机安全设备方面,浪潮信息将社区方案落地到商业化场景中,同时积极将用户需求反馈至社区,促进资源共享与协同创新,形成完整的产业链和价值链闭环。而在操作系统方面,作为龙蜥社区副理事长单位,浪潮信息持续迭代打造服务器操作系统云峦KeyarchOS,并与硬件安全厂商开展密码卡、算法加速器、可信设备等适配工作,确保社区的开放性以及操作系统的广泛兼容性,从而推动行业的长期健康发展。

1.jpg

此外,浪潮信息联合阿里云、东南大学等社区合作伙伴共同编写的《eBPF技术实践白皮书》也同步在大会上正式发布。eBPF作为BPF技术的重要转折点,已成为内核的一个顶级子系统,以安全、稳定、零侵入、方便的内核可编程性等特点成为实现内核定制与功能多样性的最佳选择。

AI大模型时代,浪潮信息在AI全栈能力方面展现了强大的技术实力和市场领导地位,不断推动AI技术的创新和应用。

  • 算法层面,浪潮持续推动“源”大模型的迭代,推出了“源2.0-M32”开源大模型配合EPAI,助力企业实现AI更高效落地应用;
  • 算力层面,推动AI 算力融入各类计算平台之中,并强化多元开放和绿色节能特性;
  • 数据基础设施层面,浪潮信息发布了生成式AI存储解决方案,满足大模型应用在存储性能和存储容量方面的严苛需求;
  • 互联层面,浪潮信息推出了超级AI以太网交换机X400,针对AI大模型场景进行RoCE优化,提升了网络性能。

关注我们

Copyright © 2024 浪潮信息 鲁ICP备13028953号-12

售前咨询

售后服务

回到顶部

回到顶部

售前咨询
售后服务