华为云 AI Agent 实战：三步构建，七步优化，看智能体如何进入企业生产 | AICon

在 AICon 北京站上，InfoQ 邀请了华为云 aPaaS 首席架构师陈星亮，分享了《AI Agent 在企业生产中的技术实践》，本文为演讲整理，期待对你有所启发。

在 8 月 18-19 日即将举办的 AICon 上海站，我们也设置了【AI Agent 技术突破与应用】专题，本专题将深入探讨 AI Agent 的当前技术现状与发展趋势，揭示其在各行业中的广泛应用和未来潜力。目前大会已进入 8 折购票最后优惠期，感兴趣的同学请锁定大会官网：https://aicon.infoq.cn/2024/shanghai/track

大模型技术发展浪潮下，AI Agent 成为新一代 AI 原生应用范式。当前，在问答、交互类应用中，大模型 +AI Agent 已经给用户带来新一代体验。但当 AI Agent 进入企业生产场景时，会面临新的挑战，如：企业生产场景面临专业复杂问题，AI 生成结果需具备严肃性，进行知识共享的同时又要保障知识安全。针对这些问题，华为云通过实际场景的实践，采取多方面技术，形成组合方案，解决企业引入 AI 生成技术的瓶颈，使得 AI Agent 在企业生产场景得以成功运用。

本次讨论将分为三个部分：首先，将详细分析 AI Agent 在进入企业生产场景时所面临的挑战；其次，介绍华为云在内部及项目实践中应对这些挑战的具体做法；最后，通过三个具体的企业场景案例，展望 AI Agent 在企业生产场景中的使用及其发展前景。

AI Agent 进入企业生产场景时的挑战

人工智能代理（AI Agent）无疑将成为新一轮技术革新的先锋。作为 AI 原生应用的典型形态，问答等交互式 AI 代理已经向我们展示了其在提供创新体验方面的巨大潜力。随着大模型技术和 AI Agent 的持续发展，我们正逐步探索通向人工通用智能（AGI）的路径，众多新兴技术方向正蓄势待发。

将 AI 代理成功融入企业并使其在各个生产环节发挥关键作用，是当前面临的一项紧迫任务。这不仅要求 AI Agent 具备更高的标准，还要求其能够满足企业特有的需求。在将大模型技术与 AI 代理结合应用于企业环境时，我们面临的主要挑战是如何获得业务员工的广泛认可，并确保其成为企业可信赖的工作伙伴。这一挑战主要包括以下四个方面：

• 专业性：企业场景通常涉及特定领域的专业知识，如化工、医疗、制造业等，这要求 AI Agent 必须具备相应的专业理解和能力。

• 协作性：企业场景要求 AI Agent 能够与其他能力协同工作，并与现有的信息技术系统实现无缝集成。

• 责任性：与鼓励创新和多样性的通用场景相比，企业场景更加强调 AI 代理输出的严肃性和可靠性。

• 安全性：保护企业私有数据、明确权限划分和访问控制，防止员工无意中泄露敏感信息。

要在企业场景中实现 AI Agent 的成功应用，我们必须将大模型和 AI Agent 与企业独有的知识体系及现有的信息技术系统紧密结合。以下是从业务部门员工的角度出发，对所面临的挑战进行的深入分析：

• 专业性：业务部门对服务效果有着更为严格的标准。例如，在客服领域，业务部门期望答复的准确率至少达到 90%，并且要求答复内容既专业又简明。业务部门员工需要直接可用的答复，而非需要进一步选择或确认的选项。

• 协作性：目前，许多企业的专业能力仍然依赖于现有的模型和系统。为了满足企业对复杂生产场景智能化的高要求，AI Agent 必须与大模型及企业现有的网络系统实现深度协同。

• 责任性：确保答复的严肃性、正确性及可解释性是至关重要的。AI Agent 和大模型需要解决知识更新滞后和幻觉问题，避免因知识更新不及时或关键信息的错误回答而影响业务部门员工对 AI Agent 的信任。

• 安全性：在专注于提升专业性和责任性的同时，安全性问题不容忽视。需要警惕对大模型的注入攻击，如通过恶意问题制造死循环或诱导恶意动作，尤其是生成代码的 AI Agent 更需加强安全防护。同时，也需防范攻击者针对 AI Agent 框架本身的攻击。

华为云在 AI Agent 的探索与实践

华为云在内部实施 AI Agent 技术进入生产场景的策略，分为三个阶段和七个步骤，旨在使技术团队深入理解并有效运用 AI Agent 技术，同时让业务团队明确 AI Agent 的适用场景：

• 初阶：选择问答类 AI Agent 作为起点，使业务部门能够迅速体验到 AI Agent 的效果。通过选择合适的基础模型、Prompt 模板和进行微调，业务部门可以感受到问答类 AI Agent 带来的不同寻常的体验。

• 中阶：引入相对复杂的 AI Agent，如客服助手、会议助手等，这些应用仍然处于办公领域。通过使用外挂知识库和大小模型的编排，可以满足特定场景的需求。

• 高阶：针对高阶专业场景，例如设备智能巡查 AI Agent，需要根据 AI Agent 和大模型的特性，进一步增加防退化和防安全风险的技术，以确保 AI Agent 在专业领域的稳定和安全运行。

通过这一分阶段、分步骤的方法，华为云不仅促进了技术团队对 AI Agent 技术的深入理解，也帮助业务团队识别了 AI Agent 技术在不同业务场景中的应用潜力。

进一步地，华为云将这一方法平台化，使得各业务团队和技术团队都能够迅速掌握 AI Agent 技术的核心要点，并将其应用于构建定制化的智能业务场景。通过平台化的方法，不仅加速了 AI Agent 技术的普及，还为企业场景智能化推广奠定了坚实的基础。

在 AI Agent 的技术实践中，针对企业面临的专业性、协作性、责任性和安全性挑战，以下是一些关键的技术实践：

• 企业词表的构建：整理和标准化专业术语和特定词汇，为 AI Agent 提供准确的语言和概念框架，以确保其在专业领域的有效沟通和问题解决能力。

• 外挂知识库的整合：利用企业内部的文档、知识库资源，为 AI Agent 提供丰富的背景知识，增强其在特定领域的专业性和准确性。

• 防退化机制的实施：定期对 AI Agent 进行性能评估和模型更新，以防止性能随时间退化，确保其长期稳定运行。

• 模型编排的策略：通过模型编排，实现不同 AI 模型的优势互补，以适应多样化和复杂的业务需求。

• 防安全风险的措施：采取一系列安全措施，包括数据保护、访问控制和安全协议，以防止潜在的安全威胁，保障 AI Agent 的安全和可靠。

通过这些关键实践，企业能够更有效地利用 AI Agent 技术，提升企业生产场景智能化水平，同时确保技术应用的安全性和可靠性。

1. 企业词表，应对专业性的挑战

为了使 AI Agent 能够深入理解企业生产场景中的问题，特别是行业术语和企业专用名词，建立企业词表是至关重要的一步。这一过程包括：

• 整理专业术语：收集和整理企业使用的行业标准词汇和企业特有业务名词。

• 制定数据标准：为确保企业私域数据能够被 AI Agent 有效理解和使用，需要制定一套标准，指导这些数据如何被整合进大模型中。

• 词表管理与共享：对企业词表有效管理，并在公司内部实现有序共享，减少信息错误和混乱。

企业词表的建立是一个动态的过程，需要随着企业业务的发展和行业知识的更新而不断进行调整和完善。定期的词表更新和维护是确保 AI Agent 长期有效性的关键。

通过这些措施，企业可以确保 AI Agent 在专业性方面的挑战得到有效应对，从而在企业生产场景中发挥更大的作用。

2. 外挂知识库、防退化，应对责任性挑战

• 为了应对责任性挑战，确保 AI Agent 的答复准确率和严肃性，以下措施是关键：

• RAG 技术的应用：采用检索增强生成（Retrieval-Augmented Generation, RAG）技术，通过结合检索和生成的方法，提升 AI Agent 的答复准确率和质量。

• 知识库的分类与更新：对外挂知识库进行细致的分类，并根据业务需求设定不同的更新周期。自动化的更新流程和数据工程能力是确保知识库能够定期且快速更新的关键。

• 数据飞轮的实施：通过数据飞轮机制，定期从业务中获取增量数据和用户反馈，为 AI Agent 提供持续学习的素材。这种能力对于 AI Agent 在各种场景下的表现至关重要，因为知识的及时更新是维持答复准确率的基础。

• 增量数据与反馈的整合：迅速将收集到的增量数据和用户反馈整合到模型或知识库中，以保持 AI Agent 的知识最新和答复的相关性。

• 业务流程的整合：将反馈数据的采集作为业务流程的一部分，使业务团队员工能够根据 AI Agent 的表现及时进行调整和优化。这种直接的反馈循环可以回流成为优化 AI Agent 性能的宝贵数据。

通过这些措施，AI Agent 不仅能够应对责任性挑战，还能够实现自我优化和持续进步，确保其在企业中的长期有效性和可靠性。

3. 大小模型编排，应对协作性挑战

为了应对协作性挑战，大小模型的协同工作模式发挥着重要作用。其基本原则：大模型通常擅长于理解、总结和提供高层次的指导，而小模型则更擅长于感知和执行具体的任务。在这个框架下，大模型扮演着团队领导者的角色，负责分配任务并协调团队成员的工作，共同完成复杂的任务。以下是模型编排的实例：

• 智能运维 Agent：企业已有的监控小模型负责感知环境并收集数据，然后将信息汇聚到大模型进行深入理解和分析。分析结果再通过现有的 IT API 执行具体的运维操作。

• 会议助手 Agent：大模型首先理解与会人员的意图，然后调用不同的小模型和现有的 IT API 来执行会议管理、记录和后续的行动项。

• 客服助手 Agent：在更复杂的客服场景中，大模型理解客户的意图后，将任务分配给自己、小模型以及现有的系统 API，进行更复杂的处理和响应。

• 组合模式的应用：这些模式可以根据具体问题的复杂性进行组合，以分解问题并选择合适的大小模型和现有系统共同解决问题。

在垂域大模型尚未完全发展成熟时，通过大模型、小模型以及现有系统的组合，是一种实际可行的方法，可以有效地实现企业复杂场景的智能化。

通过大小模型的编排，企业可以更有效地利用现有的技术资源，提高 AI Agent 在协作性方面的性能，实现更高效的业务流程和决策支持。

4. 防安全风险，应对安全性挑战

在 AI Agent 技术实践中，确保安全性是至关重要的，特别是在应对隐私数据保护、模型交互安全和 Agent 应用安全的挑战：

• 隐私数据脱敏：统一明确隐私数据的种类，并为各类隐私数据提供相应的识别组件。这些组件能够准确识别出敏感数据，并根据隐私处理的基准要求，在训练和推理过程中对这些数据进行脱敏处理。隐私数据脱敏是企业私域数据处理中不可或缺的一步。

• 模型交互安全：在使用外部大模型时，保障员工与 Agent 交互的安全性至关重要。可以通过建立模型网关对大模型进行统一管理，并构建一个安全隔离带来实现三层过滤机制，确保模型应答的安全性，防止企业内部敏感信息泄露到外部。这包括：

• 内容安全评分：对大模型的输出结果进行内容检查和评分，持续评估大模型的能力。

• 信息过滤网：在交互过程中，对检测到的企业敏感信息进行提醒和审计留存。

• 业务领域可配置规则：允许企业各业务领域根据自身业务情况设置独特的审核规则。

• Agent 应用安全：Agent 应用的安全威胁可能在以下三个环节中产生：

• 任务规划时：识别并防范注入攻击。

• 任务执行前：识别恶意代码，避免破坏性攻击。

• Agent 框架自身：防护框架漏洞和服务越权问题。

为了确保 Agent 应用的安全，需要结合企业现有的安全技术，将 Agent 框架、运行与安全技术紧密结合。在任务规划、执行和 Agent 运行的各个环节中引入相应的安全技术。随着 AI Agent 应用的日益普及，相应的安全理论和技术也将逐步形成体系。

通过这些综合性的安全措施，企业能够确保 AI Agent 技术的安全应用，保护企业免受潜在的安全风险。

华为云在 AI Agent 进入企业生产场景的技术实践可以总结如下：

1. 应对专业性和协作性挑战：

• 利用企业词表来增强 AI Agent 对专业术语和企业专有名词的理解，从而提升其对企业任务的理解能力。

• 应用模型编排技术，实现大模型与小模型的协同工作，以及与现网应用的整合，共同解决复杂任务。

• 应对责任性挑战：

• 通过外挂知识库和防退化机制，确保 AI Agent 的答复准确率和严肃性，持续保持其效果，使其成为员工可信赖的作业系统。

• 应对安全性挑战：

• 实施数据安全措施，包括隐私数据脱敏，确保在训练和推理过程中敏感数据的安全。

• 加强模型交互安全，通过模型网关和安全隔离带，实现内容安全评分、信息过滤和业务领域可配置规则，防止敏感信息泄露。

• 强化 Agent 应用安全，识别和防范任务规划和执行过程中的安全威胁，结合企业现有的安全技术，形成体系化的安全防护方案。

通过这些综合性的技术实践，华为云确保 AI Agent 能够安全、可靠地融入企业生产环境，提升企业运营效率和智能化水平。

华为云在 AI Agent 领域的实践基础上，为企业提供了一个全面的 AI 原生应用引擎产品，旨在简化企业项目交付过程

南向接入与模型整合：支持接入多个大模型和传统模型，通过统一的接口屏蔽了模型集成的复杂性，同时确保了整个系统的安全性。

北向提供 Agent 编排能力，使得 AI 场景应用开发人员能够更加便捷地开发和管理 AI Agent 应用。

通过模型中心、知识中心、Agent 编排中心和 AI 可信治理等组件，抽象并封装了 AI Agent 所需的众多技术能力，为企业提供了一个强大、灵活且安全的平台，以支持 AI 技术在企业项目中的有效应用和快速交付。

• 平台化服务：使得各 AI 场景开发团队能够复用技术能力，降低运维难度，提升整体的开发与交付效率。

• 安全性保障：在提供强大功能的同时，注重安全性，确保企业数据和交互过程的安全性。

• 降低技术门槛：通过平台化的工具和流程，降低了企业在 AI 应用开发上的技术门槛，使得项目团队快速有效的参与到 AI 项目的开发和交付中。

AI Agent 在企业生产场景的运用效果和展望

1.1 基于华为云 AI 原生应用引擎平台的技术实践，我们可以看到 AI Agent 在企业生产场景中的多个应用案例。以下是三个具体的案例，展示了 AI Agent 如何助力企业实现数字化转型和提升效率。

案例 1：客服助手

背景：许多企业选择客服作为引入 AI Agent 的起点，因为客服领域具有较好的 IT 化基础、案例库和知识库。客服业务部门面临的主要挑战是在业务量增长的情况下，保持客服人数不变，同时提高客服人员的工作效率。客服助手 AI Agent 的引入旨在提高答复准确率，这是衡量客服场景成功的关键指标。

方案：

• 第一阶段：技术团队熟悉与验证，使用基础大模型结合外挂知识库，发现需要将企业的最新、最准确的知识整合到 AI Agent 中以提高答复质量。

• 第二阶段：通过构建企业词表和人工标注，以及对大模型进行微调, 提升 AI Agent 的答复准确率到 70%。

• 第三阶段：标注质量改进，建立标注规范，指导业务部门人员进行高质量标注，将标注工作纳入业务流程，积累高质量的标注数据，将 AI Agent 的答复准确率提升至 80%。

• 第四阶段：持续自行优化，将作业与标注固化到客服业务流程中，利用持续的反馈数据和增量业务数据，形成作业与训练的双循环，逐步提升准确率至 90%。

成果：通过这四个阶段的实施，客服助手 AI Agent 不仅提高了答复的准确率，还通过持续优化，实现了与客服业务流程的深度整合，显著提升了客服效率和客户满意度。

案例 2：会议纪要生成助手

背景：在办公自动化场景中，自动生成会议纪要是企业业务部门关注的重点之一。然而，仅依赖于 AI Agent 的文本摘要能力，常常难以满足会议纪要的准确性和完整性，尤其是在识别会议重点和提取摘要方面。

方案：

引入语音识别和智能文档解析等先进技术，以提升会议纪要生成助手的效果。

• 语音识别转写：利用自动语音识别 (ASR) 技术，将会议中的发言转写成文本。

• 智能文档处理：通过智能文档解析技术，提取会议议题和相关材料。

• 结合公司词表：使用公司词表来增强对专业术语和内部用语的理解，确保发言稿的准确性。

• 发言稿整理：对每个议题和每个人的发言进行整理，形成结构化的发言稿。

• 发言稿切块与摘要：基于发言稿和会议材料，将发言稿分块，提炼出针对各个议题的意见。进行分段摘要，确保摘要内容的准确性和可用性。

• 形成会议纪要：将整理好的摘要和意见整合，形成完整的会议纪要。

成果：通过上述流程，会议纪要生成助手能够提供高质量的会议纪要，不仅提高了信息的准确性和可用性，还大大减少了人工整理的工作量，提升了办公效率。

案例 3：生产指挥助手

背景：在企业生产环节，尤其是工业制造领域，设备智能巡检是保障生产效率和安全的关键环节。传统的巡检方法依赖人工检查，耗时且容易出错。AI Agent 的引入，可以自动化巡检流程，提高准确性和效率。

方案：

• 多轮理解澄清：利用 AI Agent 的多轮对话能力，逐步澄清和理解智能巡检的具体任务目标。

• 任务分解：通过任务分解技术，将复杂任务拆解为更小的、可管理的子任务。使用预定义的常用子任务来降低任务分解的难度，提高效率。

• 训练专门的 API 检索器（API Retriever）：提升 API 的检索准确率，确保 AI Agent 能够准确地执行 API 调用，与企业系统进行有效交互。

• 自主规划与决策：AI Agent 需要具备自主规划能力，根据巡检结果进行决策。对识别出的问题进行分析，并指挥相应的处理措施。

• 长上下文支持：确保 AI Agent 在多轮交互中能够维持长上下文的连贯性，以处理复杂任务。

成果：通过 AI Agent 在智能巡检中的应用，企业能够实现更加高效和准确的设备管理，减少停机时间，提高生产效率和安全性。

基于对 AI Agent 技术进入企业生产场景的挑战、技术实践和场景案例的探索和理解，我们对 AI Agent 在未来企业场景中的应用进行了展望。

企业运营环境的复杂性催生了 AI Agent 技术的多样化发展。预计至少将出现三类 AI Agent，以支持企业在人、事、物方面的智能化需求：

• 人 +AI：交互型 AI Agent 将逐步承担部分人力工作，提升工作效率。

• 事 +AI：事务型 AI Agent 将替代或升级部分 IT 系统，实现企业事务流程智能化。

• 物 +AI：面向物理设备的 AI Agent 将推动工业自动化，提升设备的智能化水平。

随着 AI Agent 实例数量的增加，如何有效管理成千上万的 Agent 实例，保障它们之间的内容交互和事件监督，成为新的技术课题。Agent 实例之间的协同通信需求，推动了对更高效、更便捷通信协议和机制的探索。

构建一个兼容多家 Agent 运行时的管理和协同通信网络，实现不同来源 Agent 的互通互联，将是未来发展的关键。这要求制定统一的标准，确保不同 Agent 运行时能够在同一平台上高效协作。

AI Agent 技术在未来仍有广阔的发展空间。随着技术进步和市场接受度的提高，我们相信企业生产场景将逐步实现更高程度的智能化，为企业带来深远的变革和价值。

嘉宾介绍：

陈星亮，华为云 aPaaS 首席架构师，华为云软件领域专家，工科硕士，在应用软件和云服务开发方面有 20 年丰富经验，现任华为云 aPaaS 服务产品部首席架构师，负责开天 aPaaS 云服务产品的设计和研发工作。曾参加英国 VM、香港 HKT、南方电网等国内外大型 IT 实施项目。当前研究方向：平台工程、AI 原生应用、应用元数据模型等。

活动推荐：

InfoQ 将于 8 月 18 日至 19 日在上海举办 AICon 全球人工智能开发与应用大会，汇聚顶尖企业专家，深入端侧 AI、大模型训练、安全实践、RAG 应用、多模态创新等前沿话题。现在大会已开始正式报名，6 月 30 日前可以享受 8 折优惠，单张门票节省 960 元（原价 4800 元），详情可联系票务经理 13269078023 咨询。