大模型一体机，外行看热闹内行看门道

大家好，先问个问题，大家现在还收听收音机吗？强制使用老式收音机和大规模的战争，甚至说核战争，它有什么关系吗？非常巧的是，近来中美，几乎是同时，都要在汽车上再装回老式的收音机，并且作为汽车的强制标准。....

什么样的大模型一体机，能弥合当下ISV、开发者生态的，从而让大模型真正被用起来？

文｜牛慧

编｜赵艳秋

在2024中国算力大会会期间，当浪潮信息产品方案开发部总经理魏健在论坛上重磅发布“元企智EPAI一体机”后，台下就有电话打进垂询。

大模型一体机是当下火爆的产品，根据不完全统计，已有二三十家企业推出产品。当下，大模型应用现状与预期之间存在鸿沟，业内期望通过软硬一体的产品方案，弥补生态培育的时间差，加速企业应用步伐。

浪潮信息的一体机是将硬件与面向大模型开发和落地的EPAI软件做了深度整合，可一站式数据处理、模型微调、RAG搭建、模型部署、应用上线和系统运维等环节开发难题，为客户提供多元多模、简单易用、本地部署、安全可靠的大模型应用开发。

尤其在数据准备、微调这两个落地老大难问题，从技术、方法和细节上，进行了重点加持。一体机不仅是一个产品，更呈现了浪潮信息大模型落地的一套技术体系，由此也将大模型在行业开发和落地，推向更深层阶段。

为什么要有大模型一体机

“我们看到大模型应用现状与市场预期之间有一个巨大的鸿沟。”魏健开门见山说。

根据赛迪顾问的数据，生成式AI有着巨大的前景，预计到2035年，营收达到60亿美元。但现实中统计数据显示，2023年国内市场上对大模型公开招投标的项目不到200个，金额不到6亿元；2024年上半年，项目数达到486个，金额只有13亿元多一些。

特别是再观察这些项目的构成，2023年和今年上半年，硬件占比分别为60%和61%；软件从11%下降到5%；相关服务占比分别为17%和30%以上。“这个数据显示，用户不愿花钱买软件，厂商、服务方也没有赚到软件的钱。”魏健分析。

为什么会出现这样的鸿沟？一位人工智能生态人士告诉数智前线，硬件设计出来就可以开卖，但ISV能力、开发者生态不会马上起来。“这块懂的人才太少了，因此出现了时间差。”

ISV、开发者既要搞懂底层硬件，又要了解上层的行业需求，还要评估异构算力、各大模型的适配度，大模型“幻觉”问题，这个过程周期长，成本高，坑还不少......

怎么让企业，特别是传统企业，把大模型应用快速落地，是业界正着力的问题。为了弥合这样的，浪潮信息的措施之一是发布元脑企智EPAI一体机。

一体机将硬件与浪潮信息今年4月发布的元脑企智EPAI软件，进行了更深度的整合。

元脑企智EPAI软件是大模型的数据准备、微调、应用开发以及落地部署的问题。浪潮信息AI应用架构师Owen ZHU介绍，在元脑企智EPAI软件推出后，浪潮信息面向合作伙伴启动了种子计划，联合合作伙伴共同构建了面向场景的方案。数智前线获悉，目前已与金融、医疗等各行业伙伴，做了近百个场景的探索。

“在这样的基础上，合作伙伴与客户可借助一体机产品，去加速之前PoC项目落地。”Owen ZHU说。

客户群为什么强调这三类

这个大模型一体机的客户画像是什么？

首先要说明的是，在大模型落地中，不少企业客户期望整个数据的闭环都发生在私域之中，做到数据不出域。大模型一体机就是满足私域部署的产品，或是企业私有云的一部分。

一体机主要面向三类用户：制造、金融等行业客户，传统ISV以及SI集成商。

针对行业用户，以大型制造企业为例，由于做智能制造多年，有一些很好的数据、人才和技术积累，也有应用牵引趋势。比如一些市场起伏不定，供应链面临巨大挑战，企业对BI预测、判断的需求很重。一体机不仅提供了软件能力，硬件也做了SAP认证。

除了行业用户，为什么会强调传统ISV群体？因为这是大模型应用开发中的关键生态。魏健他们观察，传统ISV此前在大模型应用上一直处于观望状态，在2024年二季度左右开始投入。在这个过程中，他们要在算力、算法、框架等上获得能力加持。浪潮信息本身有上百号的博士团队，已与各行业主流ISV一起，如金融领域的中科软和南天信息，医疗领域的东软、东华、农联合作展开行业场景的探索开发。

而SI集成商当前面临的一大问题是，其服务通常不太能满足客户的要求，客户需要对大模型专门的调优能力，而市场上能提供这类服务的企业少之又少。浪潮信息从2021年做大模型“源”，并将“源”落地于内部客服等业务，积累了能力和经验，虽然还没有对外开放这一服务，但将技术沉淀到元脑企智EPAI软件中，如微调的参数配置细节，预设了20多种微调参数，做经验输出。

在过去三、四个月中，元脑企智EPAI一体机为这些客户提供了一站式大模型生产及应用全流程开发工具链，同时也开放接入伙伴的算法和模型能力，目的是加快行业落地。

面对微调，不再“懵圈”

大模型大体可分为预训练、微调、推理三个阶段。现在业内的关注点已走到了微调与推理，毕竟模型要进入行业，下沉到场景，就要靠微调。微调的重要性越来越凸显。

不过，微调复杂，技术门槛挺高，绝大部分大模型企业都还没有很好地掌握它。比如，微调技术已经有大几十种，对数据的要求不一样，训练过程的细节也都不一样。对于一个局外人，甚至绝大部分ISV来说，都处于“懵圈”状态。而且，微调技术迭代太快了，一两个星期不去看就可能落后。

为此，浪潮信息将自己用过的、一些主流的或能够起作用的方法都沉淀在一体机中。

微调是在多元多模的前提下，由于客户的行业属性不同，对算力的偏好不同，在每个具体场景下，最适合的模型也不同。元脑企智EPAI一体机支持了多元多模，如10多种业界主流大模型计算框架，内置7个主流基础大模型。

“用户的需求很多。”魏健观察，面对异构算力和多种大模型，他们需要软硬件评估体系，浪潮信息通过先行先试来创建。“成本肯定是最重要的考量了。”Owen ZHU补充说，在成本的考量之下，需要在成本和模型表现上做出评估。

微调采用了低代码可视化界面，内置了Lora、 T等多种微调框架以及20多种优化参数。用户可依据具体业务需求和数据特性，选择最为合适的框架与技术，快速开发模型应用。

值得用户关注的是，元脑企智EPAI一体机提出了微调，就是集成了一些和当前算力相匹配的微调技术，确保微调能够跑起来。比如，传统上一个百亿参数模型，可能需要200G~300G的显存，才能微调；而三四百亿参数的模型，则至少需要四五台机器。“这个门槛有点过高了。”在元脑企智EPAI一体机中，对于百亿参数模型，用10G显存，就能把微调跑起来。

开箱即用，对落地难点有的放矢

拿到元脑企智EPAI一体机，用户现场只要供电、散热条件适合，可在两小时之内上线。

一体机有对话式UI、API接口和Agent智能体交互方式，满足用户不同的上手需求。

在大家想象中，一体机的开箱即用，就像手机使用App一样。但在实际落地场景中，一体机是大模型开发 EPAI的开箱即用，因为最终的AI应用，需要结合客户需求和数据做开发优化。“尤其很多流程和系统在企业中已存在多年，这时是要把AI集成或嵌入到某个环节里。”Owen ZHU说，这需要ISV来做，周期可能在半年左右。

这个落地周期从数据准备、微调、RAG，到部署、上线和运维等复杂流程。特别是数据治理和模型微调，需要经验丰富的实施团队才能胜任。魏健举例，浪潮信息做招投标助手时，数据准备环节，售前团队做了三、四个月。

“我们自己有人、有设备、有各种研发团队，做这件事也遇到了各种困难。”魏健坦言，不能低估大模型落地过程中的难点。为此，在元脑企智EPAI一体机中，除了对微调做了强化外，在数据准备、RAG上也都做了重点加强。

“我们看到大模型落地最大的问题是数据不ready。”Owen ZHU说，这很难通过一个工具或一台设备去。它更需要ISV蹲在客户现场去。

“真正到了用户现场，他掏给你看，你才发现他的数据可能是一大堆图文混排，一大堆表，一大堆Word、PDF、Excel的混搭，也没怎么整理。”Owen ZHU说。

现在，用户可以结合一体机以及与浪潮信息的互相赋能，加快这个进程。

一体机中预置了上亿条基础知识数据以及自动化数据处理工具，支持10种以上企业常见的数据格式，并且以超过95%的抽取准确率，把这些数据转化为知识库以及可供模型进行微调的数据。而数据治理技术仍在更新迭代中。

互相赋能的作用也不小。伙伴懂行业，但不懂AI；浪潮信息在模型和模型使用上有独特的Know how。魏健回忆，一家伙伴要用“600个问答对”来微调，但根据浪潮信息的经验，这个数据量微调精度只有60%，“不可用”。最终，伙伴在他们建议下，准备了3000条问答对、5G的数据，微调精度达到80%以上。

让RAG既准确又轻量化

微调之后，RAG是用户提高生成内容准确性和依据性的重要技术。RAG与微调有着互补关系。根据IDC的预测，到2027年，中国2/3的企业将利用大模型和RAG的组合，将决策效率提高55%。

实际上，浪潮信息在2022年初做智能客服落地时，就使用了RAG方法，只是那时业界还不叫“RAG”。现在他们在RAG上的能力积累，也通过一体机上的EPAI对外输出。

RAG要做好，有很多细节。Owen ZHU举例，RAG至少有两个模型，其中一个是把文本信息转化为向量信息。早期他们用了开源编码模型，现在已逐步替代为浪潮信息优化训练的编码模型，性能更高。

RAG做向量检索时，会检索出不少结果，这时要借用搜索引擎的重排技术，很多时候这个排序也是用一个大模型来做。之前有RAG使用较重的模型来做，浪潮信息在做轻量化模型，进一步提升性价比。

在真正的问答环节，大模型要表现得好，需要做能力增强。“至少我们越来越意识到这个点。可能很多模型刷榜刷得很漂亮，但检索问答的表现不一定特别好，这个场景需要去做一些增强。”在元脑企智EPAI里面，针对检索问答场景，集成了表现较好的模型。

从多元多模、数据治理、微调、RAG到安全，一体机不仅是一个产品，它呈现的是一套大模型落地的技术体系。

有了元脑企智EPAI一体机，用户的大模型应用开发效率显著提升，人力成本获得极大节省。据悉，浪潮信息采用1台元脑企智EPAI一体机标准版，通过低代码完成企业知识库构建、模型微调、应用开发，1人1月打造出智能售前助手“元小智”，团队工作效率提升3-5倍。

五款产品，哪一款适合你？

本次发布了基础版、标准版、高级版、创新版和集群版五个版本。单台产品从二、三十万元到200万元之间。

其中基础版适合推理，针对价格敏感型企业。

标准版采用了NvLink，高速互联带宽更大，适合大模型推理和训练中，用户数量较多、并发访问多的场景。

创新版支持训推一体化节点，即在模型训练微调之后，节点可以灵活转换为推理，支持用户的业务应用；采用OAM标准，更适合有国产算力需求的大模型应用场景。

高级版支持更高算力，训练全流程自动化。

集群版以整机柜交付，适合有大模型集群建设需求的用户。

目前一体机每秒生成3000多个token。这是怎样的水平呢？“我们正常的阅读速度大概是每秒十几个token。部署大模型推理服务时，要求每秒钟10个token。如果按15个token计算，一台机器可以200个用户同时使用。”Owen ZHU说，随着落地越来越多，性能会越来越重要，客户要算经济账。在下一个版本里，它还会提升。

伴随大家开始应用一体机，魏健期望，未来人人都能将用起来，能够有自己的个人推理助手，自己去做微调，合自身的习惯就去“调一调”。“整体上，大模型应用落地的状况可以类比30年前我们用PC的感觉。我们希望做一个AI 工作台，能够让更多的人把大模型的应用开发做起来。”