大模型应用成本百万级起步，该如何与企业现有信息系统融合？

过去一年，大模型在各种场合频频刷屏。在业界看来，它是类似于蒸汽机一样的划时代产物。这意味着，大模型将给每个人、每个企业、每个行业带来全面影响，甚至“刷新”整个时代。

但是，和过去企业的技术投入相比，大模型属于另一个成本量级。从目前来看，大模型应用的成本至少在百万级起步，甚至可能达到上千万。对于企业而言，一方面，要寻找到高价值的场景，避免做无用功；另一方面，要对引入大模型后的效果进行预估和追踪，确保投资能够带来回报。

在日前 InfoQ 年度技术盘点与展望系列直播中，中国信通院人工智能研究中心平台与工程化部曹峰、 中国企业知识开源计划首席布道师陈果、长城汽车产业数智化中心资深 AI 技术专家胡阿沛围绕“大模型下的业务创新和架构升级”展开了探讨，并针对企业引入大模型的适用业务场景，及其成果的评估和量化方法进行了交流。

对此，曹峰总结了现阶段企业落地大模型的 5 类适用场景，以及不适合应用落地的 5 种情况。他强调，企业在选择场景时，可以先尝试一些被证明有价值的场景，而不是一开始就过于迅速或过于激进地涉足多个场景。切忌一拥而上，而是需要在一个场景中慢慢推进。

陈果则提出，AI 是第三代企业数字化。其中，第一代的代表是数据库和信息系统，第二代的代表是互联网和云平台，第三代是 AI 原生的企业应用。而企业为了应对 AI 转型，在架构上将出现四大变化：第一，企业级模型管理；第二，从数据管理到知识管理；第三，用户界面多模态；第四，业务进一步服务化、自动化。

以下内容根据对话整理，篇幅有删减，点击链接可观看直播回放：https://www.infoq.cn/video/jTzjE654vsY9CF8Ev42c

大模型将引发企业架构第三次革命

InfoQ：中国信通院近日刚刚发布大模型落地路线图，根据这一路线图，我们针对大模型的发展现状和应用部署有什么重点发现？

曹峰：首先我解释一下我们为什么要发布这个路线图。在 2023 年，从大模型，到行业大模型，再到 AI Agent，人工智能得到了迅速的发展。然而，通过研究，我们发现很多企业在开发大模型时面临一系列实际问题。因此，我们展开了一系列关于大模型落地的研究工作。

首先，我们制定了一些原则：第一，需求驱动。企业在开发或采购大模型服务时，必须以大模型应用和落地为出发点，不能盲目追随潮流；第二，问题驱动。在大模型的应用和部署过程中，必须不断结合企业自身情况处理问题；第三，创新意识。在推动数字化转型过程中引入大模型，必须持有创新的意识，因为大模型与传统 IT 基础设施不同，对基础设施的落地提出了新的挑战，因此需要采取创新手段；第四，以技术为核心，综合应用云、数、智等数字技术，通过提升整个应用方的业务和效能来驱动大模型的发展。

整个路线图分为四个阶段：

第一阶段是诊断。在这一阶段，企业需要明确大模型的能力，了解它能为企业做哪些赋能。同时，企业需要对自身业务场景、数据、算法、基础设施预算以及战略等能力进行盘点和审视，为大模型的后续建设、使用和管理奠定基础；

第二阶段是大模型的建设，这里主要是构建技术底座，包括方案设计、技术研发和测试；

第三阶段是应用，强调大模型落地后更好地发挥应用模式。虽然 ChatGPT 以对话形式广受欢迎，但在企业内部构建大模型应用模式时，可能会涉及各种能力，例如插件模式、代理模式等。因此，需要解决如何更好地应用的问题；

最后是管理，大模型落地后将成为 IT 系统的重要组成部分，因此需要进行管理、运维、监测等方面的工作。

此外，路线图具体包含了五个层级，涵盖了不同阶段的诊断、建设、使用和管理。从底层到顶层，分别是：

1. 基础设施层：

• 构建算力、算网、存储等硬件基础设施。

• 搭建开发平台、数据库、虚拟化资源等基础设施。

1. 数据资源层：

• 确保大模型、高质量语料库、数据集以及企业内部知识等资源的高质量构建。

• 建设相关能力，以有效管理和利用数据资源。

1. 算法模型层：

• 基于基础设施和数据资源，构建相关算法和模型。

• 关注算法模型的质量和性能，确保其适应企业需求。

1. 应用服务层：

• 将大模型与企业应用场景和实际需求相结合。

• 解决使用插件、Chat、Agent 等方式的场景区分问题。

1. 安全可信层：

• 在每个层级都确保安全、可信、可靠等因素。

• 面对四个维度，保障整体系统的安全性。

这四个维度和五个层级中，我们整理了大约 40 多个问题，希望通过在未来解决问题的过程中，不断深化大模型落地方法论，为大模型的全面应用提供有效的指导。

InfoQ：果总在咨询行业拥有 20 多年的从业经验，可以说您见证和陪伴了众多企业从信息化到数字化再到未来的数智化，期间技术经历了巨大的更迭演变。那么，在您看来，大模型对于企业（尤其是传统企业）最有价值的影响体现在哪些方面？

陈果：曹老师提到了 Agent，而我可能是国内最早讨论 Agent 可能改变企业系统架构的人。去年 3 月份，我写过一篇关于 Agent 的文章，其中提到企业信息系统可能会因此发生根本性的变化，我将其称为第三次革命。

回顾历史，企业使用计算机始于 60 年代和 70 年代，真正出现企业软件是在 70 年代后期。从 70 年代开始到 90 年代中期，这 20 年主要特点是数据库的出现，以及以数据库为中心的人机互动。在这一阶段，企业软件主要以数据库、ERP 等核心系统为代表，实施数据业务流程的数据处理。

第二个阶段始于 90 年代后期，随着互联网的兴起，以数据库为中心的应用模式被分布式计算所取代。2005 年左右，又进一步进入云计算和云原生的阶段。从 1995 年到 2020 年这 25 年间，传统以数据库为中心的架构向以互联网为特征的云计算进行了整体的转变。

人工智能标志着第三个阶段的开始。过去我们的企业系统有后端和前端的概念，后端处理业务逻辑、前端处理用户互动。但人工智能的出现将改变这种范式。例如，自然语言处理、Copilot 和 Agent 等新技术正在改变我们与机器的互动方式。

未来，当人和 Agent 已经分不清的时候，我们会看到业务处理方式发生变化。过去，我们按照预设的业务流程进行操作，现在大家开始探讨人工智能体，如 Autonomous Agents（AA）模式。在这一模式下，信息的处理方式将是事件感知、智能驱动的。

例如下雨了，我们知道要收衣服；再比如一个虫子掉到蜘蛛网上，蜘蛛感知到这个事件后就会去捕食。这就是事件驱动。AI 时代，可能会有更多并行且复杂的事件发生。在后端，我们可以使用事件驱动的方式重新组织信息系统；而在前端，人机融合协作，将采用并行处理复杂事件的方式。

大模型的 5 个适用场景，以及不适用的 5 种情况

InfoQ：具体在汽车行业，大模型技术是如何促进业务创新或产品开发的？长城汽车目前有哪些具体的尝试和落地实践？

胡阿沛：从 Agent 的角度看，大模型技术的发展为我们打开了一个空间。刚开始使用大模型时，我们可能会想，大模型似乎只能回答问题，没有太多的可能性。然而，随着 Agent 概念的出现，我们可以考虑利用大模型做更多的事情。比如，大模型可以让人与软件以更拟人化的方式进行交互和沟通，这是一个非常重要的技术方向。

对于汽车行业而言，随着智能化的发展，汽车厂商的智能和科技属性变得越来越强，这对产品、服务和组织都带来了重要影响。通过大模型与软件或机器的拟人化交互，这个过程将为业务创新和产品开发带来新的课题。

比如，我们过去在业务开展或产品研发中主要依赖人力或一些固定的信息系统。对此，大模型通过学习海量信息，再利用高效计算的优势，可以为我们提供知识，以及新的创意或方案，从而在工作和创新效率上产生巨大影响。国外已经有很多大模型辅助药物研发和产品研发的应用，并且远远超过人工的效率。

对于长城汽车来说，我们在研发、服务、售后和生产等环节都有许多应用场景。比如，过去的客服系统更多是基于 FAQ 或相对简单的智能系统，对细致的意图并不能很好地理解。而大模型应用可以更准确地理解用户的意图，结合大模型的理解和背后的知识和数据，我们可以提供更智能的服务体验。

长城汽车从信息化建设到数字化建设至今已有 20 多年。从研发到生产再到售后，我们积累了丰富的数据和知识，包括各种规章制度、流程标准和维修手册等。将这些知识和数据与大模型结合，将为我们带来显著的生产和工作效率提升，同时也提高创新能力。

目前，我们正在研发长城汽车知识大脑，基于企业内部知识，它的核心是汽车产业垂直领域专业的知识大模型系统。

在长城的知识大脑应用上，我们也进行了一些探索，包括在研发、售后等领域的知识应用和管理，通过对话的方式获取工作中所需的知识或数据。比如，在售后方面，汽车知识迭代更新非常快，包括 OTA、软件、零部件等都在迅速迭代。如果用户出现汽车故障和问题，我们的技术工程师需要检测并处理问题，而通过及时更新相关的维修手册和案例给到大模型，就可以为我们的工程师提供高效、可靠的信息参考和指导意见，可以更好地处理客户面临的问题，提升售后服务体验。

InfoQ：大模型和知识图谱的技术结合，有哪些具体的应用场景？

胡阿沛：以人力资源管理为例，可以聚焦以下几个方面的应用：

第一，通过大模型构建人才图谱。以简历信息为例，大模型能够从非结构化的信息中，如简历的 PDF 文档，提取并结构化相关信息，如姓名、学历、岗位等。这在图谱构建阶段具有显著优势，传统方法通常需要耗费大量成本，包括定义图谱架构、标注数据、训练模型等。对此，大模型能够更高效地完成这些任务。

第二，在图谱的应用过程中，图谱交互通常包括对输入问题的语义理解，提取实体和关系，并通过图谱查询语句检索相关知识进行回答。在大模型时代，我们也可以探索使用大模型直接输出图谱查询语言，打通人类语言与图数据库的查询语言。通过这种方式，人与图谱之间的联系得以建立，比如要查询某人的上下级关系或了解其参与的项目，就可以直接从图谱中检索。

第三，大模型可以从图谱中提取整个子图，让大模型理解并找到问题的答案。这类似于文档检索的过程，但在此基础上实现了基于图谱操作，是图谱应用的重要方向之一。

InfoQ：除了汽车行业之外，包括金融、电信等在内的诸多行业都在试水大模型应用。那么，根据中国信通院的研究，企业中适合大模型落地的业务场景具有哪些特点？

曹峰：大模型已经开始与企业的全价值链、全流程融合，在降本提效等方面发挥了巨大的价值。总结下来，应用主要集中在几个方面：

首先是知识类别的应用，如企业知识管理和搜索，大模型有效提升了相关能力和产品性能，同时降低了落地的成本；

其次是对话类的场景，包括智能客服、智能助手等应用；

第三是智能化软件工程场景，例如涉及代码生成、代码检测等应用；

第四是人工智能赋能科学场景，一方面，人工智能在基础科学方面发挥了重要作用，比如 AlphaFold 在蛋白质等方面的发现。更重要的是，它未来将在应用科学领域发挥巨大作用，例如在材料发现、材料验证和风洞实验等方面。举例来说，国内某电池厂商已经开始运用人工智能进行电池性能的仿真和材料的仿真。同样，国产飞机也在风洞实验中应用了人工智能技术，展现了在应用科学领域的广泛应用；

第五是人工智能与内容营销的结合，包括文本、图片、视频等的生成。这个领域目前非常热门。

另一方面，经过一年的演进，我们发现大模型在某些场景下仍然不太适用：

第一个挑战是对可解释性要求较高的情况，由于大模型本身是基于深度学习的系统，其“黑盒”属性使其不可解释；

第二个挑战是在对生成内容的稳定性或确定性要求较高的场景，例如需要确切答案的情况，大模型的应用较为困难，因为可能出现模型“幻觉”问题；

第三个挑战是在对实时性响应要求较高的场景中，大模型的推理速度可能不够快，从而无法满足实时需求；

第四个挑战是动态性要求较高的场景。这主要是因为大模型需要进行离线训练或离线微调，这涉及到较高的成本、时间和资源投入。由于无法实现离线实时训练，当场景变化迅速时，当前的模型可能无法适应未来的场景变化；

第五个挑战涉及一些小数据场景或数据量较少的情况。大模型目前难以在这些场景中进行有效的落地，因为我们无法进行模型的实时微调，这是海量数据与高质量数据集之间的矛盾。

当面对这一系列问题或者不适用的场景时，产业界也提出了一些新的解决方案。例如，通过技术增强的方式，我们可以使用知识增强和搜索 RAG 等方法来解决可解释性要求高的问题，解释确定性生成的一些问题，以及通过插件等方式降低大模型的落地成本。

另外还有技术融合方法。今年，人工智能产业界面临一个重要问题，即对大模型的高估，却忽略了小模型在某些情境下的有效性。我们已经看到传统人工智能在大模型崛起之前（在 2022 年之前）的应用，如人脸识别、计算机视觉和语音识别等领域，效果已经非常显著。这催生了大模型与传统人工智能包括大小模型的结合。在这个新的趋势中，大模型可以作为一个控制核心，控制在特定场景下小模型，同时使用多模型的编排，例如目前讨论的 MOE 等新方法。

企业架构在 AI 时代将发生四个变化

InfoQ：前端业务模式的变化，势必会伴随后台架构的调整。那么，随着大模型越来越广泛和深入地赋能于具体业务，企业架构层面会呈现哪些新的特点和基础能力？企业现阶段如何着手打造新的架构体系？

陈果：前面提到企业信息系统经历了三个阶段：数据库 ERP 阶段、云原生阶段、AI 阶段。当前，很多企业甚至还未完成第一和第二阶段，基本的核心系统和信息化都未完善，业务线上化水平低，数据不规范，稍好些的仍在进行架构现代化，尝试采用云原生等方式进行技术转型。具体来看，已经完成架构现代化的企业可能不到 30%。

而在企业从数字化现代化架构往 AI 方向发展过程中可能还会涉及四个层面的变化：

第一，企业级模型管理，涉及的是 AI 模型层，位于前端和数据之间。这一层对于企业驱动业务至关重要，具体将包含各种模型，从大模型到自然语言处理和机器学习等多种能力，形成所谓的 AI 中台。

第二，从数据管理到知识管理，涉及的是数据层。其中，不仅包括传统的结构化数据，还包括大量结构化和非结构化的企业知识。值得一提的是，对于目前的中国企业而言，最缺乏的并非是数据，而是系统化、具体化的知识。数据对企业而言是没有意义的，它们只是信息的一部分。只有当数据转化成信息、知识后才具有意义。

举个例子，比如业务流程。两个人解释业务流程可能完全不一样，而且“业务流程”一词本来就是英文单词“process”翻译而来的，有些人称之为过程。因此，我们发现从 AI 输出的结果中，处理“过程”、“流程”等词汇上混淆不清。如果知识体系本身不规范，就会影响 AI 的训练质量。中国目前最缺乏的是公共的、社会化的企业知识，这正是我本人开始着手进行企业知识开源的原因。

第三，用户界面多模态，涉及前端应用开发层。未来前端将不再仅仅是多端适配，而是多模态的适配。用户交互将涉及语音、图像、文字、视频等多种形式。这将对前端产生深远影响，需要重构人机交互方式，并解决关于人工智能应用的可解释性和信息安全的问题。

第四，业务进一步服务化、自动化。从云原生过渡到人工智能阶段，企业应用领域的最大变化是出现了一个新词汇——业务自动化。我认为这个词能够充分展示 AI 对企业业务所带来的典型变革。具体而言，这种变革源于半手工流程化。过去我们谈论的是流程化，但在流程中仍然需要人工操作。

现在，我们看到了一种新的模式，即 Agent 模式。这种模式的最大变化是，许多过去由人执行的任务不再需要人工干预，未来是人机协作，人机共存的时代。以房间里的空调为例，语音呼唤空调降低两度就是一种 AI 应用。然而，这种 AI 应用仍然需要人的驱动。真正意义上的 Agent 应用是指在没有人直接驱动的情况下，根据推理和理解自动调整温度，例如，当你说“今天好热”的时候，空调就会自动降温。

在这个过程中，AI 扮演着至关重要的角色。AI 包含了传统意义上的一些应用，比如规则的优化、自动捕获以及一些业务中间的自动路由。同时，它还涵盖了深度学习方面的应用，例如大模型驱动的深度学习应用。

总的来说，未来 AI 将通过自动产生推理并生成相应动作来改变商业形态和企业运营。这种 AI 的变革可能会对公司形态带来显著的商业价值提升，这是我们需要考虑的重要因素。

InfoQ：如果已经完成架构的现代化企业不到 30%，那么企业要从第一阶段迈向第三阶段，如何才能实现多管齐下，快速补齐基础能力的缺失呢？

陈果：当前，企业需要重新思考数字化是否是其核心能力的问题。在数字化时代，最紧缺的资源是人才。企业数字化转型最大的瓶颈之一是企业是否拥有足够多的开发者、工程师来应对数字化架构的挑战。

因为过去企业可以购买现成的软件并通过咨询顾问来落地实施，挑战主要是在处理数据和流程管理方面，而不是技术管理。今天，无论是要构建新的数字化架构，还是适应 AI 时代的业务需要，无疑，企业需要大量的开发人员。

比如，过去几年，许多企业进行中台建设，但真正成功实施的并不多。中台不仅仅是一种软件，还需要大量的工程人员去管理架构，大多数企业无法承担，这也是为什么中台对许多企业来说是个难题的原因。

然而，现实情况是，不是每个企业都有足够的资源或能力在短时间内培养和管理这么多的技术人才。因此，企业在短期内必须思考数字化是否真的是它的核心能力。这个问题实际上是没有明确答案的。

在我看来，企业在数字化方面或许不需要过于激进。过去几年，人们拼命追赶数字化转型的潮流，但谈论概念的多，真正落地的很少。

有时候，企业可能会花费更多的资金在数字化规划咨询上，而不是在建设系统和雇佣优秀的技术人才上，又或者是采取过于激进的态度，我认为这可能并不是必要的，除非你在某些领域是真正的颠覆者。比如，像滴滴这样的企业颠覆了传统的出租车行业。然而，在大多数情况下，颠覆者是少数，社会更像是金字塔结构。因此，大多数企业只需要确保在数字化转型的过程中不被淘汰，保持相对踏实的心态即可。

InfoQ：大型模型如何与现有的系统（例如 ERP、CRM 等）结合，以实现一些 AI 创新？是否可以提供一些具体的例子来解释一下？

陈果：ERP、CRM 属于传统的单体架构系统，人工智能对其最大的改变在于，人机互动的操作方式。ERP、CRM 等系统本身并没有流程，它们是事务处理系统，执行创建订单、创建收货或在 CRM 中创建客户和商机等操作。所有这些动作都需要用户在受到某种驱动的情况下，进入系统进行手动操作。

AI 带来的最大变化在于使这些业务流程根据某种事件自动触发，从而实现自动化操作。换句话说，AI 不一定会改变系统本身，至少在短期内不会。它改变的是对信息系统操作的过程。未来，我们可以设想，正如我之前提到的“自动化”一词，其狭义定义是指 RPA 的应用。在短期内，AI 可以驱动 RPA 去操作系统。但从中长期来看，一旦系统被解构化为 API 提供，AI 将不再通过机器人去操作系统。业务流程将自动使用系统内的任何业务能力。因此，只要企业业务没有本质变化，对于传统软件如 CRM 和 ERP，AI 也许不会改变其本身的架构和逻辑，而是改变系统应用方式。

大模型成本百万级起步，落地价值如何量化和评估

InfoQ：大模型的落地应用最后一定不是单点的创新，而是涉及方方面面的全方位变革，这对于企业的管理手段提出了新的要求。对此，中国信通院大模型落地路线图中也强调了构建大模型管理体系的重要性，是否可以介绍一下，企业在做这项工作时具体如何展开？

曹峰：大模型的应用需要与企业的 IT 系统深度融合，但是人工智能和大模型的运营、研发、管理体系与传统的 IT 体系存在一些差异。这主要表现在大模型需要引入更多的数据量、模型文件，以及更复杂的运行监测指标、维护更新等挑战。企业迫切需要构建或升级管理体系，以应对这些挑战，并确保大模型的平稳运营、有效迭代、以及评估其智能、质效和 ROI 等方面。

为了实现这一目标，构建相关的管理体系应从以下几个维度着手。

1. 全面的指标监测体系

• 包括模型、数据、业务等多个方面的指标，有机结合，实时监测运行中的指标，提前预警潜在风险。

1. 构建模型维护体系

• 通过标准化的流程对大模型进行变更和升级，确保模型在运行时能够实时修正，保持高质量和稳定运行。

1. 多维的人工智能资产管理体系

• 包括人工智能的数据、高质量数据集、语料库、模型、模型服务、大模型组件等，通过统一管理，保障相关资产的可用性、可追溯性、可诊断性、可审计性等关键指标。

在构建这些体系时，可以采用以下思路和解决方案：

1. 实时监测设施的可靠性、稳定性

• 引入实时监测工具，确保设施的稳定性，及时发现并处理任何问题。

2. 监测数据的完整性、正确性

• 实施数据质量监控，使用合适的工具和算法验证数据的完整性和正确性。

3. 监测大模型的性能

• 利用性能监测工具，评估模型的效果和性能，及时调整优化。

4. 监测大模型的业务运行状态

• 从业务运行性能、业务效果等维度，建立监测体系，确保大模型对业务的正常运行。

5. 监测大模型的安全可信状况

• 从系统安全、模型安全、数据安全、业务安全等多个维度展开，建立综合的安全监测体系，防范潜在风险。

InfoQ：在大模型问世之前，AI 技术已经在汽车产业的多个场景中得到应用，尤其在核心的生产制造环节，如产品质检、设备维护预警等方面。那么，长城汽车是如何平衡创新技术 / 应用，和现有业务之间的关系的？

胡阿沛：我想用一个词来表达如何平衡创新和现有业务之间的关系：守正创新。数字化建设、创新技术应用建立在业务长期稳定运行基础之上。没有这样的保障，创新将无从谈起。

其中，"守正"的重点在于保证业务、产品和服务的高品质，以满足用户需求，并以业务价值大小为准则。我们追求效率，并不断评估业务的高效性，寻找优化点，然后在此基础上积极追求创新。

长城汽车作为一家全球化的智能科技公司，持续投入大模型技术和其他新技术的研发和应用，旨在优化现有业务，提供更高效、更智能的解决方案，同时推动新的 AI 原生应用。我们的核心目标是提升生产效率，降低成本，并加速创新，提高企业竞争力。为实现这一目标，在内部我们进行了一些创新尝试和探索，我们开发了自己的知识应用平台，平台提供了一系列功能，能够理解企业内部的专业术语，解答问题。

我们在传统 AI 模型之外也使用了许多小模型，涵盖了视觉、自然语言处理、语音、知识图谱和搜索推荐等领域。在视觉方面，我们打造了“慧控”工业级物联网平台，融合了视频监控和各种 AI 视觉算法，实现了数字化车间管理。

此外，我们还利用语音和语言处理技术构建了问答客服系统，实现服务质检智能化。在企业级知识管理系统方面，我们结合了大模型来实现创新或升级。与此同时，在生产排期计划、最优化技术等领域我们也进行了创新，结合大模型和小模型，使它们优势互补，推动业务的创新和发展。

InfoQ：在长城汽车，大模型在当前哪些业务场景中已经能够带来实际的业务价值和效益？具体如何体现，内部是否有明确的业务指标或相关指标来评估？

胡阿沛：在长城汽车，大模型已经在多个业务场景中为企业带来了实际的业务价值和效益。这种体现主要通过以下几个方面。

1.提高工作效率和用户体验：大模型的应用是否真正发挥了价值，最直观的方式就是看它是否提高了工作效率。例如，在企业内部使用大模型技术，能否在宣传文案的撰写过程中提升写作效率，解决之前难以解决的问题，以及改善企业服务的体验。

2.用户自愿使用程度：大模型技术开发的应用，关键在于用户是否愿意使用。如果每天都有大量用户使用该应用，比如 ChatGPT 每个月处理的请求达到十几亿，被大量用户频繁认可和使用足以证明该应用具有实际价值。

3.衡量内部价值：长城汽车内部有一个衡量基于大模型打造的数字员工的价值指标，即通过折算或估算大模型的工作量，与完成相同任务所需的员工工作时长进行换算，从而量化大模型的贡献。对于我们内部的知识应用平台，通过观察日常运营情况，了解员工使用情况和提问量，可估算出模型带来的实际价值。

4.数据处理和深度加工效果：大模型在数据处理方面的应用也体现了实际价值。在企业内部，数据需要转化成知识，并进行分类、抽取和打标签等，以便进行有效的管理和分析。大模型通过提示工程等手段，可以高效地处理大量数据，将其转换成可管理、治理和分析的数据，从而显著提高数据处理效率。

曹峰：量化和评估问题其实是一个备受关注的话题，因为人工智能之前的投入相对较小，购买解决方案、SDK 或 SaaS 服务可能只需几十万到十几万的资金。但目前大模型应用的成本至少在百万级起步，甚至可能达到上千万。因此，如何评估投入是否划算，企业内部是否有清晰的业务指标或相关指标来进行评估，是一个备受关注的问题。

对于企业而言，特别关键的是确保投资能够带来回报。这涉及企业需要对哪些场景具有潜在价值进行盘点。然而，其中的矛盾在于，一些传统信息化效果较好的场景可能已经解决了大部分问题，引入大模型后提升的效率可能并不显著。

对于企业来说，选择场景的关键在于首先考虑场景是否适合使用大模型。其次，需要对引入大模型后的效果进行预估，包括人力成本、效率提升和收入增长等方面。不能盲目跟风，而是需要对每个场景进行明确的估算。第三，企业可以结合产业界的优秀经验，寻找高价值的场景。我们发布路线图的核心目标之一也是帮助企业找到这些高价值的场景。

在选择场景时，可以先尝试一些被证明有价值的场景，而不是一开始就过于迅速或过于激进地涉足多个场景。切忌一拥而上，而是需要在一个场景中慢慢推进。根据我们的调研，部署和使用大模型还有许多问题需要解决，因此不能贪多求快，需要从成熟的场景开始，逐步推进。

陈果：在过去的一百年里，特别是在工业领域，我们主要依赖手工操作。随后，电力技术的出现带来了重大的变革。当初开始应用电力时，我们思考的是在哪些场景中使用电力？应用电力后，我们能够为企业创造多少投资回报率（ROI）？过去，我们使用人力推动推磨，引入电动推磨后提高了效率，实际上现在我们可能仍处于类似的状态。随着电力变成一种公共能源，变得成熟起来，我们就不再需要设想如何使用电力了？

AI 的情况也类似，现在有人在论证 AI 能为企业创造多少 ROI 吗？并没有。因此，回答这个问题实际上是在思考，如果使用了 AI，它将如何对整个业务运营带来重大变化。我们需要从业务本身的角度去思考实现 ROI，而不仅仅是考虑如何购买 AI 软件，投入了多少，产出了多少。

InfoQ：许多公司在进行大模型的部署时可能面临一些挑战。一方面，如果选择采用私有化部署，就需要花费时间和成本来理解并部署一个大模型；另一方面，由于新模型不断涌现，公司可能会跟不上大公司开源新模型的速度。如何解决这个问题呢？

曹峰：这个问题实际上涵盖了两个方面。首先，对于模型的使用路径，开源模型的更新速度并不快。例如，Lamar2 开源后，至今已经过去了相当一段时间没有更新。其次，模型更新迭代对业务系统的影响，这确实存在。

我认为第一个问题在我们的路线图中是一个反复讨论的问题，即选择基础模型的重要性。这可能涉及选择开源解决方案或选择行业大模型。这相当于路线图绑定。一旦选择了某个基础模型，后续的变化可能会变得相对困难。例如，一旦采用了 LLAMA2 或某家企业的基础模型，后续的变化可能会涉及之前做的许多微调、大量的时间和精力投入以及数据注入。选择基础模型的核心问题在于如何做出明智的选择，或者如何确定模型路径。

第二个问题是关于如何将模型的更新形成一个流水线。之前，我们提到了一个概念叫“MLOps”。我们希望像软件工程一样，模型也能形成一个流水线。在 2023 年上半年，我们撰写了一本报告《2023 年人工智能研发运营体系（MLOps）实践指南》，这本白皮书详细介绍了一些关于模型如何更新迭代的良好实践。

这本白皮书是公开的，可以在这里查看：http://www.caict.ac.cn/kxyj/qwfb/ztbg/202303/t20230316_416827.htm。

目前，我们看到许多企业使用一个基础模型或部署多个基础模型，以解决路径绑定或路径依赖的问题。

新年关键词：AI 智能体、多模态、技术人才培养

InfoQ：新的一年，大家对于大模型对业务创新和架构升级的赋能有什么期待和展望？

胡阿沛：在 2023 年，大模型经历了“百模大战”，也进行了一些新的发展方向的探索，包括 Agent、智能体，以及开源社区的活跃发展。从我的角度来看，我对未来两三年有一些期待。

首先，我期待在开源社区中看到更多优秀的模型产出。谷歌曾表示 OpenAI 等闭源大模型没有护城河，大模型门槛正被开源踏破。在这个过程中，基座模型变得越来越强大，这意味着我们可以做更好的技术应用，更好地结合业务创新，使大模型能够更好地落地。如果大模型的效果不佳，在实际应用中可能会遇到很多问题。对于一般企业或规模较小的企业来说，从零开始训练一个技术模型需要投入大量的资源，并可能需要一定的积累。在国内，高质量数据的获取可能仍然是一个难题。

其次，在模型的应用方面，我比较看好 AI 智能体的应用方向，尤其是在知识对话、知识问答等应用。这种智能体可以在知识管理、数据支持以及写作或创作等方面发挥作用。通过智能体的视角看待大模型的发展，可以将其视为一个人类，去思考问题、拆解问题、选择工具以完成任务。

第三，多模态技术在国内在 2023 年并没有取得惊人的发展，但我对 2024 年比较期待，希望在前端的交互应用中能够更好地感知能力，实现多模态感知的更多可能性。

最后，未来我们希望在企业内打造一个基于大模型的智能伙伴，使每个员工都有一个懂他、深度结合数据、知识和业务系统的智能助手。这个智能助手能够提升员工的能力和生产力，使他们成为超级员工。

曹峰：我非常认同胡老师刚才提到的观点，Agent 可能以一种爆炸性的方式呈现。另外，还有一个观点就是每当一项新技术出现时，总会有很多人在短时间内高估其产生的价值，而在长期内低估它的价值，大模型也是如此。

因此，我们需要关注大模型在今年或者明年的核心任务，准确地说是释放其能力。不论是插件、Agent、还是当前的知识增强搜索，它们的核心目标都是释放大模型在对话、记忆、搜索、控制、决策等方面的能力，并产生相关的工具或新的应用模式。

我们认为从 2024 年开始，未来几年，随着大模型技术的演进，将必然释放其在技术能力和应用端价值方面的潜力，成为技术演进和应用创新的核心脉络。

陈果：我想强调两点：

第一，是大模型的应用，其中包括前文提到的智能体。这个智能体不仅拥有智能，而且还具备执行任务的能力。然而，一个聪明的机器如果没有数字化作为其基础，就无法发挥作用。这里的数字化包括物联网和各种服务等。我认为智能体存在于业务自动化中，是业务自动化中最重要的智能体。但要实现这一点，取决于企业数字化水平的提高。企业数字化水平是一个持续的过程。当企业数字化水平不够时，大模型无法发挥作用。

第二，是关于技术人才培养的问题。由于培养技术人才需要时间，大多数企业无法像互联网公司那样拥有大量的技术人员。因此，对企业而言，关键是如何以一种无需学习的方式，以及无需专业知识的方式，快速利用大模型的能力。这是我们未来需要突破的重点。