如同造纸术的改良推动了人类文明的传承、蒸汽机的改进催生了工业革命,在人类历史上,创新的工具引领了影响深远的变革。今天,大模型发展如火如荼,但企业在大模型应用落地过程中仍需要解决幻觉、开发难度大、适配迁移难、试错成本高等系列挑战。因此,卓越的大模型应用开发工具成为AI释放生产力的关键。
浪潮信息发布的企业大模型开发平台“元脑企智”EPAI(Enterprise Platform of AI),面向企业大模型应用开发,提供了全链路、高可用的系列能力工具,能够帮助企业有效降低大模型应用门槛,帮助伙伴提升模型开发效能,打造智能生产力。
那么,在实际应用场景中,元脑企智EPAI如何通过系列化工具助力企业化解大模型创新与应用挑战,加速大模型潜力释放呢?
大模型数据处理工具:专业数据炼金术
高质量的专有数据资产,已经成为通用大模型落地特定场景并解决“幻觉”问题的第一要素。然而,行业及企业的数据类型繁多、质量不一,且常常包含敏感的企业内部信息,数据处理的技术难度大、时间成本高。
EPAI提供数据处理工具,帮助企业从种类多样、场景复杂、规模庞大的行业数据、企业数据中高效地生成微调数据和行业/企业知识库,减少数据筛选和处理的时间和成本。微调数据方面,EPAI数据处理工具通过对行业或企业自有数据的提取,形成待处理的文本,再利用大模型生成候选问答数据,经过严格的评测筛去低质量的部分,从而生成高质量微调数据。同时,提取后的高质量信息(如段落文本等)经过编码模型,将以向量的形式存入分布式向量数据库,为行业/企业打造专属知识库。
大模型能力提升工具:微调+RAG,为大模型注入行业智慧
数据处理工作完成后,通过微调与检索增强生成(RAG)技术,可以帮助大模型在专业场景中实现更好的理解和生成效果,提高生成内容的可解释性,解决大模型“幻觉”问题。
EPAI提供支持千亿参数模型微调的强化学习工具,结合专有数据进行大模型微调,能够使通用大模型“再学习”升级为领域大模型,增强其在特定应用场景和任务中的性能和适应性,提升微调的效率与质量。EPAI强化学习工具能够通过长度外推让模型具备百万Token的长文档处理能力。当用户将大批量的招投标文件、法律文书、技术文档输入到大模型中,并要求大模型答疑解惑时,经过微调并具备长文档处理能力的领域大模型,将提供更加精确和可靠的回答。
EPAI支持检索增强生成(RAG)技术。实际业务场景中,企业数据更新速度很快,但是微调模型成本较高,企业难以通过高频率的微调实现大模型与业务的同步更新。因此利用RAG技术,企业可以将最新的数据快速、低成本地导入到知识库内,模型通过检索实时更新的知识库,提升生成内容的精准性。
多模多元管理工具:打造AI发展快车道
如今,不论是大模型还是算力基础设施都处于百花齐放的阶段,企业往往需要结合业务需求选择多种模型、多元算力,因此带来复杂、高成本的适配与运维工作,为企业大模型落地造成极大阻碍。
EPAI通过打造多模管理工具,实现业界多种主流大模型的接入、适配与管理。针对企业多样化的应用场景和任务需求,选择具备相应专长能力的模型,为不同场景下的业务需求提供灵活、高效且多元化的大模型方案。
EPAI提供多元算力管理工具,通过面向多元、多模的大模型计算框架TensorGlue,通过算子基础化技术实现上层模型算法和下层基础设施的逻辑解耦,降低企业跨算力平台迁移、多元模型部署适配的试错成本。同时,EPAI还通过AIStation提供成熟的算力调度管理能力,支持大型数据中心的数千卡多元算力集群管理。
大模型应用服务工具:大模型能力快速接入
EPAI提供API调用、对话式UI、智能体三种交互方式,有效降低企业基于大模型的应用开发门槛。
API调用支持将大模型能力快速接入现有系统,或开发原生应用。对话式UI提供了开箱即用的交互方式,通过使用YuanChat等AI助手,实现非专业研发人员轻松上手使用,快速开发大模型应用。智能体编排复杂工作流的方式,利于企业进行长流程多节点的应用任务开发。
安全链路防护工具:构筑企业隐私盾牌
为确保企业重要数据的安全性,EPAI提供权限管理、数据加密、内容审查等工具,让数据的流转更安全,让生成结果更可靠。同时提供强大的隐私保护能力,构建起一个既能充分利用数据价值,又能保护用户隐私、符合法规要求的安全数据处理环境,做到“数据可用不可见”。
目前,浪潮信息企业大模型开发平台EPAI已成功应用在内部的智能招投标助手场景中,高效支撑大模型应用落地。数据处理工具利用整理出的数万份招标文件,识别并抽取出10+项招标关键信息,使用参数/评分项等数据进行模型微调,提升模型识别、理解与判断准确性;同时使用项目信息、招标信息、产品信息构建起企业知识库,提供更高效、更准确的检索结果。对话式UI/API调用的方式,实现模型交互操作以及业务系统接入。现已构建起投标支持平台,实现招标参数自动识别,助力业务释放50%的招标参数分析时间,识别准确率达85%,同时提供标前分析,助力投标策略的制定。未来还将实现产品技术、成功案例、解决方案等智能问答服务,进一步助力招投标决策智能化。
企业大模型开发平台EPAI,是浪潮信息驱动伙伴AI变革的工具赋能平台,具备“上手快”“精度高”“易部署”“安全可靠”四大特点,能够将企业的大模型应用开发时间周期缩短至一周,帮助企业高效开发部署生成式AI应用、打造智能生产力。未来,浪潮信息将继续进行大模型应用开发平台的工具升级,通过协同共生、开放共赢的元脑生态推动AI创新落地。
EPAI种子计划起航!
5月10日-11日,首期“基于EPAI的大模型应用实践研讨会”即将举办。“学训评”三大环节,细致讲解+实操训练+互动交流,快速掌握典型场景的大模型应用构建方法。