企业大模型应用开发提速！浪潮信息重磅发布元脑企智 EPAI 一体机

9 月 27-29 日，2024 中国算力大会在郑州举行。会上，浪潮信息重磅发布元脑企智 EPAI 一体机，通过软硬件高度协同的一体化设计，为客户提供多元多模、简单易用、本地部署、安全可靠的大模型开发平台，显著提高企业大模型以及 AI 原生应用的开发效率，加速大模型产业化落地。

大模型落地挑战巨大

随着大模型和生成式技术的飞跃式发展，基于大模型的应用创新正在成为新的主题，如何以大模型赋能现有的技术、业务，已成为企业在新一轮技术周期中保持竞争力的要素之一。但企业在应用大模型的过程中往往面临着诸多挑战，如生态离散导致的多元多模适配难，模型训练和部署复杂、数据治理难、模型“幻觉”问题以及对专业技术人才的依赖等，导致大模型与行业场景的融合进展缓慢。

首先，多元多模适配难度大、周期长、成本高。不同场景、不同业务对模型能力的多样需求，业务生产环境往往是多模并存的状态，而由于芯片生态离散、特定应用加速等原因，所使用的算力资源也是多元并用的。因此，大模型应用开发需考虑与多元算力、多样大模型的选择、适配、组合调度等问题，难度大，周期长，成本高。

其次，巨大参数量级的通用大模型，很难直接用于复杂、离散的行业场景，各行业知识专业化程度高，可迁移性低，通用大模型本身难以覆盖，所以经常出现大模型“幻觉”或是“胡言乱语”的问题，因此必须结合行业和企业专业数据进行再学习。

最后，要实现大模型与行业场景的深度结合，实现高效、高可靠、高质量的模型应用效果，涉及数据、微调、RAG、部署、上线和运维等极为复杂的流程，特别是数据治理和模型微调，需要具有丰富经验的实施团队才能胜任，技术门槛高。

元脑企智 EPAI 一体机，让大模型开发快到飞起

对于大多数企业而言，大模型应用开发的系统性、复杂性，往往让企业对大模型开发望而却步。因此，实现大模型的深入行业应用与广泛落地，关键在于如何有效提高 AI 应用创新的质量和效率，卓越的大模型及应用开发工具成为释放智能生产力的关键。

浪潮信息元脑企智 EPAI 一体机基于专为大模型应用场景设计的元脑服务器，搭载了元脑企智 EPAI 企业大模型开发平台，支持多元算力、多模管理、全链工具以及本地部署，可一站式解决数据处理、模型微调、RAG 搭建、模型部署、应用上线和系统运维等环节开发难题，为客户提供多元多模、简单易用、本地部署、安全可靠的大模型应用开发平台，满足企业人工智能应用从开发到实施的全栈需求。

多元多模：元脑企智 EPAI 一体机具备多元算力和多模管理能力，通过大模型计算框架 TensorGlue 实现异构算力调度，通过算子基础化技术实现上层模型算法和下层基础设施的逻辑解耦，从而高效的屏蔽模型和芯片差异，降低企业跨算力平台迁移、多元模型部署适配的试错成本。目前，元脑企智 EPAI 一体机可以支持 10+业界主流大模型计算框架，内置 7 个主流基础大模型，预设了 20+微调参数，用户可以针对知识问答、智能编码、文档理解、智能助手等不同应用场景和任务需求，选择最佳产品型号和模型算法，快速开发模型应用。

简单易用：元脑企智 EPAI 一体机提供从数据准备、大模型微调、知识库构建、大模型部署上线运维的全流程支持工具链。其中，针对数据准备，预先内置了上亿条基础知识数据以及自动化数据处理工具，支持 10 种以上企业常见的数据格式，并且以超过 95%的抽取准确率，把这些数据转化为知识库以及可供模型进行微调的数据；针对大模型微调，采用低代码可视化界面来进行微调，并且内置了 Lora、SFT 等多种微调框架以及 20 多种优化参数，用户可依据具体业务需求和数据特性，选择最为合适的框架与技术，快速且低成本地构建起企业专属大模型能力。

本地部署、安全可靠：由于大模型应用开发需要结合企业私有数据，要求企业数据不出域。本地部署可以确保用户数据不被上传至云端，避免数据泄露和滥用的风险，这在处理敏感信息或符合严格数据保护法规的行业中尤为重要。元脑企智 EPAI 一体机的本地化部署模式提供全链路的企业数据防护能力，设置多级过滤和审核体系，让数据的流转更安全，让生成结果更可靠，构建起一个既能充分利用数据价值，又能保护用户隐私、符合法规要求的安全数据处理环境，做到“数据可用不可见”。

元脑企智 EPAI 一体机能显著提升大模型应用的开发效率，并极大节省人力成本。据悉，浪潮信息先行先试，采用 1 台元脑企智 EPAI 一体机标准版，低代码完成企业知识库构建、模型微调、应用开发等工作，1 人 1 月即简单高效、低门槛地打造出智能售前助手“元小智”，赋能日常售前业务，实现智慧化变革，团队工作效率提升 3-5 倍。

浪潮信息产品方案开发部总经理魏健表示，本次发布了基础版、标准版、高级版、创新版和集群版五个版本，主要面向制造、金融等行业客户、传统 ISV 和 SI 三类用户提供一站式大模型生产及应用全流程开发工具链，同时支持接入更多元脑伙伴的算法和模型能力，共同打造 AI 原生应用开发的“超级工作台”，加速 AI 应用创新和落地。

广泛赋能企业各类应用场景，提升智能生产力

智能投标助手：浪潮信息方案开发团队先行先试，采用 1 台元脑企智一体机标准版，低代码完成企业知识库构建、模型微调、应用开发等工作，1 人 1 月即简单高效、低门槛地打造出智能售前助手“元小智”，赋能日常售前业务，实现智慧化变革，团队工作效率提升 3-5 倍。解决了招投标数据处理缺少工具、专业知识门槛高、业务效率低下、准确率难以保证、数据防泄漏等问题，大大缩短了应用开发周期，降低了人力成本，提升了投标文件审查效率。

智能客服大脑：采用 1 台元脑企智一体机基础版，基于浪潮信息高效微调 MoE 大模型“源 2.0-M32”构建智能客服平台，将公司内部产品资料构建专属知识库，通过数据抽取、格式转换，生成高质量的微调数据，投喂给“源”大模型。历时 6 个月，结合知识蒸馏、压缩等技术，构建浪潮信息的“智能客服大脑”。解决了传统人工智能客服在处理非标准或开放式问题时能力有限、知识库更新难度大、信息过时或不准确等问题，常见问题解决率 80+%，复杂问题处理时长缩短 65%，大大降低售后客服人员压力，人效提升 30%。

智能编程助手：支持浪潮信息多个研发部门，利用元脑企智一体机开发周期缩短至 2 天，由 AI 自动生成超过 65%的计算框架代码，整体采纳率 50%，为研发工程师每天节省近 3 个小时的代码开发时间，大幅提升效率，解决了代码工程可读性差、开发时间长等问题。

除此之外，还广泛赋能企业的各类应用场景，例如研发领域的编程助手、个人办公助理、部门助理、操作系统助手、产品设计助手等，开发速度快，低至 1 周；培训周期短，最快 3 天；应用效果好，企业知识驱动；安全可靠，全链路数据安全。

行政领域的员工服务、内训讲师、招聘 JD 生成、招聘助手、公文写作等，满足行政部门的多样化需求，提高工作效率。

销售领域的智能客服、投标助手、文案写作、产品文档翻译、BI 系统助手等，提升销售环节的服务质量和效率。

生产/供应链领域的故障自动识别、维修方案生成、供应链信息系统助手、AI 质检、最优化策略方案等，优化生产和供应链管理。

元脑企智 EPAI 聚焦大模型新技术，探究更多落地的可能性

在会后的采访中，魏健解释了浪潮信息推出元脑企智 EPAI 大模型一体机的背景。当前市场趋势与传统企业应用之间存在巨大差距，浪潮信息希望帮助这些企业快速实现大模型的应用落地。而浪潮信息目标客户群体主要来自这几方面，一是传统制造业客户，这类客户通常拥有丰富的数据和人员资源，并且有应用牵引的趋势。

其次是传统 ISV（独立软件供应商），例如金融行业的中科软和南天等，他们也非常积极的投入研究大模型应用。最后就是 SI（集成商），他们面临的挑战在于服务需求的满足，特别是在大模型调优能力方面。

浪潮信息架构师 Owen ZHU 博士表示，元脑企智 EPAI 一体机聚焦的是大模型落地，落地应用和基础研发之间是有时差的，基础研发现在聚焦的是模型本身的推理、规划的复杂任务的能力，但是落地需要聚焦在问答场景、知识总结梳理和生成的场景，比如生成报表或者生成文案。

元脑企智一体机也应用了很多新的技术，比如说监督微调、人类反馈强化学习等，作为 AI 应用架构师，Owen ZHU 认为这些技术提升了大模型在应用场景的适应性和准确性。大模型从预训练、微调、推理三个阶段展开，现在业界的关注点已经到了微调和推理，微调技术非常复杂、技术门槛高、迭代速度快，浪潮信息 AI 团队也在尝试各种方法，比如指令微调，或者人类偏好数据微调、高效微调。通过这些高效微调的技术，可以用很小的显存量就能把微调跑起来。也就是说在新技术的加持下能够降低算力门槛。而且目前元脑企智一体机预制的算法、模型都是研究好，可以直接使用的，同时内部配置了 20 多种参数，这些都是浪潮信息 AI 团队的经验输出。

通过这次采访，我们了解到浪潮信息一体机的推出是为了帮助企业，特别是传统企业，快速实现大模型的应用落地。浪潮信息针对不同的客户群体，提供了定制化的解决方案，并在元脑企智 EPAI 一体机中集成了多种微调技术，以降低技术门槛和算力需求。同时，浪潮信息也在积极探索新技术，以提升大模型的适应性和准确性。