企业如何解决大模型落地的“最后一公里”问题？

大模型，作为人工智能领域的一项突破性技术，正以其强大的数据处理能力和学习潜力，重塑着法律、金融、生物医学等各行业的工作流程。那么，大模型如何助力行业突破瓶颈，实现创新转型？企业如何突破大模型实际应用中的一系列问题，解决大模型落地的“最后一公里”问题？以大模型技术为驱动的全新商业时代就要到来了吗？

带着这些问题，InfoQ《极客有约》 特别邀请了蔚来汽车人工智能研发负责人 & 高级总监

高杰担任主持人，与智源研究院大模型行业应用总监周华、华院计算大模型算法负责人蔡华，在 AICon 全球人工智能开发与应用大会 即将召开之际，一同探讨大模型落地心得与干货。

部分精彩观点如下：

• 数据的积累和整理是企业 AI 转型的关键步骤。

• 企业在应用大模型时需要量力而行，选择合适的模型和算法。

• 人机交互的未来可能是端到端模型，提供更自然的交互体验。

• 个性化服务是大模型未来发展的重要方向。

• 大模型的推理能力需要加强，同时解决其幻觉问题，以实现真正的行业落地。

在 8 月 18-19 日将于上海举办的 AICon 全球人工智能开发与应用大会 上，我们特别设置了【大模型场景 + 行业应用落地实践】专题，精选具有代表性和规模的典型案例，展示大模型技术在不同领域中的实际应用与成效。高杰老师将在该专题论坛上带来题为 《大模型在智能座舱中****的应用》 的精彩分享。周华老师则将在【大模型数据集构建及评测技术落地】专题带来分享 《智源行业数据集及训练方法落地实践》。蔡华老师将在【大模型产学研结合探索】专题带来分享 《大语言模型在法律领域的应用探索》。大会议题已上线 95%，查看大会日程解锁更多精彩议题：https://aicon.infoq.cn/2024/shanghai/schedule

以下内容基于直播速记整理，经过不改变原意的编辑。完整视频参看：https://www.infoq.cn/video/UfJ9Fw93cP50WgseJO44

大模型行业应用现状

高杰：目前大模型的发展，对行业应用及工作流程有什么影响？

蔡华： 以法律这个行业举例，过去我们处理法律文档时，依赖于小模型来抽取关键词、关键人物和案件焦点。随着法律领域的不断变化，如从婚姻法到交通法，我们不得不更换不同的小模型来适应。现在，大型模型的泛化能力使得我们可以用一个模型来应对各种法律任务，这大大提升了我们的工作效率和准确性。

我还想举一个例子来具体说明这一点。在法律领域，我们强调公平公正，因此需要参考相似案例。过去，我们可能只是简单地推荐一个相似的案例。但现在，有了大型法律模型，我们不仅能够推荐案例，还能分析案例之间的异同点，包括争议焦点。这使得我们的案例推荐更加智能和深入，为法律专业人士提供了更深入的分析和帮助。

周华： 我认为目前，语言模型主要替代了现有的 IT 系统在人机交互方面的角色，但我相信未来它们将逐步深入到系统内部，成为 IT 系统的核心部分。现有的 IT 系统将与这些大型模型进行对接，利用模型的知识和能力，再将输出结果提供给人类使用。

目前，人工智能语音模型在原理上还存在一定的幻觉，如何解决这些问题需要我们人工智能领域的专家们进一步努力。此外，人工智能技术在行业应用中也面临着类似“最后一公里”问题。许多人工智能企业或厂商在通用模型方面做得相当不错，能够通过考试并获得高分，但当涉及到特定行业的应用，尤其是那些需要深度知识和高准确性、可靠性的应用时，我们的行业模型还有很大的探索和发展空间。

高杰：在传统的 IT 工作流程和业务流程中，我们习惯于使用确定性的方法，例如有限状态机编程，来处理多轮对话或固定的交互流程。然而，随着大型语言模型的兴起，人们对交互系统的期待已经发生了变化，我们也开始尝试使用 agent 来改变现有的交互范式。

在感知、决策和执行这三个环节，大模型已经彻底改变了我们的系统建模方式。以前，我们的系统可能依赖于传统的 agent，但现在已经完全转向了使用语音、视觉和认知的大型语言模型，以及 AIGC 技术。

高杰：在各自行业中，大模型技术应用的最大瓶颈是什么？

高杰：我先谈一谈吧。首先，尽管 agent 技术显示出强大的推理能力，但在实际应用中，尤其是在需要复杂逻辑和推理的场景下，现有的技术仍然显得力不从心。这让我感到既兴奋又有些头疼，因为我们看到了美好的未来，但在具体实施时却面临诸多困难。

如何将现有的成熟系统与新兴的大模型技术兼容？我们需要找到方法让老系统和新系统能够无缝对接和升级。 当我们将技术应用到设备端，比如智能座舱时，设备的迭代周期长成为了一个现实问题。无论是升级传感技术还是提升算力，都需要时间。这限制了我们实现许多创新想法的速度，只有当设备本身完成迭代后，我们才能带来新的用户体验。

蔡华： 在法律行业应用中，由于法律数据的敏感性和对隐私的高要求，我们可能需要在本地部署大型模型，这涉及到计算资源的问题，包括计算资源的量和适配国产显卡等技术问题。

法律领域特别强调可靠和准确，因此我们需要解决大型模型的幻觉问题，即模型输出的不准确性。我们在训练阶段将法律知识融入模型，在评估阶段不断迭代优化，并在部署推理阶段尝试通过如 RAG 技术，以提高模型的准确性和可靠性。

人机协同也是我们设计中的一个重要方面。大型模型应该辅助人类进行决策，而不是完全取代人类。例如，在生成判决文书时，必须有人进行审核，这是确保决策过程完善的关键步骤。

周华： 许多企业面临的第一个关键问题是人工智能数据的处理。尤其是对于那些没有人工智能基础的企业，数据是一个巨大的挑战。他们往往拥有大量的私有数据和结构化数据，但这些数据并不能直接用于人工智能训练。企业需要认识到，自身的业务数据需要进行适当的处理和转换，同时还要积累行业相关的领域数据。智源研究院最近在智源大会上也开源了有 18 类行业分类的 IndustryCorpus1.0 行业数据集，希望帮助企业更快捷地获取并构建自己所在行业的领域数据。

目前，许多企业采用 SFT（Supervised Fine-Tuning，监督式微调）方法来训练行业模型。然而，仅仅依靠 SFT 可能效果不佳。我们研究院的研究显示，SFT 结合 CT（Continual Training，继续训练）和 RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）等方法可能会带来更好的效果。

另外，企业需要挖掘与大模型能力相匹配的应用场景。大模型虽然强大，但也有其能力的边界。传统 IT 系统的负责人需要对人工智能系统的边界有深刻的认识，才能更好地利用大模型。

如何解决大模型落地的技术挑战？

高杰：构建大模型应用时，ROI 是企业必须要思考的，该如何衡量这个投入产出比呢？

周华： 像我刚才提到的，要充分利用大模型的能力，首先需要挖掘与之匹配的应用场景。

在语言模型领域，人机交互界面的改造是一个重要的应用方向。许多企业都有客服和 IT 系统，这些界面往往不够友好。通过使用大模型，可以对这些界面进行大量改造，提升用户体验。此外，大模型还具备从数据库中提取知识、进行加工并解决用户问题的能力。对于工业企业来说，如何利用图像或多模态模型进行工业应用，也是一个值得探索和研究的方向。这可能需要对通用领域的模型利用行业专用数据进行继续训练，或者使用专用数据进行微调。

然而，大模型的投入是相当大的。数据收集需要大量的时间和金钱，算法工程师和研究员的成本也很高，算力的价格也相当昂贵。因此，对于企业来说，需要量力而行。但不管近期是否有足够的资源投入大模型方向，在数据收集方面，都可以作为一项长期的战略性工作持续推进，这样当有资源进行大模型投入时，可以快速利用手中的数据开展训练，从而提高投资效率。

蔡华： 我非常赞同周老师关于数据方面的观点。大模型虽然具有巨大的潜力，但其训练和应用需要大量的算力和资源，短期内，基础大模型的训练可能看不到明显的收益，因为其商业模式尚不明确。

企业还需要关注结构化和非结构化数据的管理。数据不仅是资产，也是大模型应用的原料。没有高质量的数据，大模型的能力将大打折扣。大模型通常依赖于大量的文本数据，但企业中产生的数据类型远不止这些。包括多模态数据（如音频、视频）、结构化数据（如 MySQL 数据库中的数据）以及知识图谱等，都是大模型的养分。管理好这些数据，可以为大模型提供丰富的输入，从而提升其性能。

当然，人才的积累也是关键。有了优秀的人才，才能加速产品的迭代和大模型的训练。不过，这也需要根据公司的实际情况来决定。

高杰：两位老师说得很对，我想再补充几点我的看法。首先，我认为公司所处的发展阶段是至关重要的。以我个人所在的电动汽车行业为例，行业初期阶段已经过去，现在大家更多地在竞争智能化。因此，企业是否愿意投资于智能化，以及老板是否支持这一方向，对大家来说非常重要。

在一个大公司中，从产品预研立项到研发、售前售后，再到供应链，有很多环节都可以应用大模型。但具体应用什么，需要根据公司的情况来定。以智能座舱和智能驾驶为例，这些以 AI 为驱动力的方向，我们公司是愿意投入资源的，包括资金、人才和算力。在这些条件下，我们会选择与算法成熟度相匹配的应用。例如，如果知识问答的算法比较成熟，我们就会先实施知识问答系统。随着理解能力的增强，我们会逐步应用更高级的功能。对于图像生成等技术，如果已经相对成熟，我们也会考虑优先应用。

然而，这些选择都是基于公司提供的充足资源。从公司整体的角度来看，我认为应该选择那些已经比较成熟的应用方向。例如，智能客服系统，我们已经在使用，并且效果不错。此外，代码助手也是一个通用性强、成本不高且能显著提高工程师产出的应用方向。

高杰：在处理敏感数据时，如何确保数据的隐私和安全？有哪些技术或方法可以提高数据的隐私保护？

高杰：我先谈一谈吧。我最关心的是那些完全公开的数据，因为它们代表了公司面向消费者（ToC）的触点。例如，通过车上的智能机器人，用户可能会询问公司的 CEO 是谁、公司的股价如何、车辆的售价等问题。这类数据我认为应当公开，关键是如何统一管理这些公开数据。对于更密集的数据，我认为只能由我们内部的业务人员来管理。

对于我们生产的高端车辆，用户不仅关注车辆本身，也关注他们的隐私保护。因此，我们在设备端进行了大量的设计工作，包括硬件设计、设备端加密以及一些不可逆的保护措施等。举个例子，我们的车辆支持远程查看功能，用户可以通过手机查看车辆周围的环境。但在此过程中，如果摄像头捕捉到他人的面部或车牌等信息，必须对这些信息进行模糊处理。否则，这些信息是不允许被传输的。

蔡华： 法律领域中，涉及到的个人敏感信息都需要进行脱敏处理，身份证号、手机号和住址等。我们公司在数据处理方面非常谨慎，确保这些信息被适当地处理。

在训练或微调大模型时，我们面临的一个重要问题是数据的边界。我们需要考虑用户愿意提供多少数据，以及这些数据的质量和代表性。这不仅是对数据的考量，也是对我们算法能力的考验。我们一直在研究小样本学习技术，并将这些算法迁移到大模型上，以最大化利用客户提供的数据。

此外，我认为将通用大模型应用于政府等内网环境中是一个可行的解决方案。例如，政府可以推动使用百川、千问或智源等开发的模型，这些模型虽然是基于 API 接口的商业模型，但效果良好。通过与政府签订协议，在内网层面部署这些模型，可以避免数据外泄，同时接受政府的监管。

周华： 我们面临的挑战是如何从这些保密数据中学习知识而不泄露信息。正如蔡老师所提到的，政府可以在这方面发挥作用。今年，在我们智源大会上发布了北京市人工智能数据运营平台，这个数据平台中的数算一体模式可以支持处理那些对企业或政府来说相对保密的数据，数据可以进入但不可出去，只有训练完成的模型可以被带走，数据本身不会被泄露到平台之外，从而在一定程度上保证了数据的安全性。

另一方面，使用合成数据可以避免直接使用客户数据所带来的法律风险，所以我们研究院正在这一领域进行前沿研究。同时我们内部也有严格的数据管理平台，对数据集的访问有良好的权限控制，这类似于大数据平台，有助于确保数据的安全性。我相信许多企业未来也会采取类似的措施来保护人工智能数据集的安全。

高杰：企业应该如何针对人工智能模型训练要求建立数据构建机制和相关处理工具链？

周华： 大型企业或行业领头羊可能想要开发精细化、功能强大的行业级模型，因此需要对行业预训练数据进行处理。这可能涉及到通过数据处理流程来整理大量收集的网页、书籍和论文等数据。对于中小企业来说，可能从特定任务开始更为实际。SFT 数据的处理本身可以设计很多闭环流程，包括使用大模型完成高质量数据合成，形成一个完善的数据处理流程，以便在训练后对数据进行改进。

此外，训练模型需要一个数据平台来筛选数据，并根据不同任务形成所需的数据集。如果有算力平台，无论是自建还是租用的，都可以通过某种方式将数据集推送到算力集群中进行训练。我的建议是，不要将人工智能数据平台与大数据平台混淆，因为他们处理数据的目标不一样，前者是模型训练，而后者很大概率是数据分析，因此企业即使有大数据平台，也不能认为人工智能数据的问题就此解决。我们需要根据人工智能的具体要求对数据处理模式和流程进行一些改进和改革。

高杰：在金融、法律等对可解释性要求较高的行业中，如何解决幻觉问题？

蔡华： 主要是使用 RAG 技术，通过检索相关知识并将其作为提示提供给模型，缓解模型的幻觉问题。在推理阶段，我们通过 RAG 技术向模型提供相关知识，以增强其推理能力。然而，这引出了一个问题：如何确保 RAG 所使用的知识是正确的？目前，我们主要依靠人工检查，但这种方法耗时且效率不高。因此，我们引入了知识管理的概念，对数据进行分类，明确哪些数据用于预训练、哪些用于 SFT，以及哪些用于评估。

在评估过程中，我们面临着自动化评估与人工评估的差异。自动化评估速度快，但可能无法完全符合人类的评估标准。为了解决这个问题，我们基于公司的认知智能引擎，来对数据进行预训练和管理，同时进行推理和评估。并通过建立自动化评估和人工评估之间的映射关系，我们可以快速迭代模型，从多个维度进行评估，关注模型输出的正确性和是否达到预期要点，同时减少幻觉问题。

高杰：如何在有限的算力和显存条件下优化模型训练，并提高训练效率？

周华： 目前许多企业并没有足够的算力来训练大型 AI 模型。在算力受限的情况下，可以专注于专业性，也就是针对特定场景训练专门的模型。同时，选择小型但功能强大的基座模型也很重要。此外就是尽量使用少量但高质量的数据，这意味着需要精心调校数据分布，去除低质低效数据，以满足模型能力的要求。训练完成后，还可以通过量化来进一步减少模型的算力消耗，使其更适合部署。

蔡华： 在推理阶段，也可以通过一些技术手段来减少资源消耗。比如，对模型进行量化，或者采用知识蒸馏技术，这样即使模型规模变小，性能也不会有太大损失。此外，通过算子融合等底层优化手段，也可以提高推理效率。

高杰：对于其他垂直行业，两位老师能否分享一些具体的 AI 实操应用案例？

周华： 拿电力行业举例吧，我们与国家电网有一些交流和合作，主要是利用语言模型来提供客服服务。电力行业的工人可能不具备全面掌握所有电力专业知识的能力，因此，我们提供了一个技术问答系统的模型训练方案，能够利用输入的故障信息，输出相应的解决方案。

另一个应用是无人机巡检。许多高压电线位于偏远地区，利用无人机拍摄的影像，我们可以使用多模态模型去分析这些问题。比如，识别电线上是否结冰、是否有树枝搭接引发短路的风险等。但这一块存在一定难度，因为部分场景的阳性数据量不足。为了解决这一问题，我们可以考虑使用合成数据或数据增强技术。同时，在通用多模态大模型的基础上，还需要人工标注一些图文信息。

蔡华： 我们公司在多个领域都有业务，包括法律、生物医药和智能制造。特别是在智能制造领域，我们最近在世界人工智能大会上发布了一个钢铁行业大模型。做钢铁的表面缺陷检测时，由于阳性样本非常少，小模型泛化能力受限。为了解决这个问题，我们尝试了多种方法，包括数据合成和多模态分析，以提高模型的识别能力。

不同的应用场景需要不同的数据和模型训练方法。比如，在缺陷检测中，我们需要提供给工人易于使用的模型；而在工艺优化中，模型则需要为研究人员服务。在生物医药领域，如果我们的目标是加速药物研发，那么模型的需求和训练方法又会有所不同。我们需要梳理清楚不同行业和场景下的具体需求，然后利用大模型来增强小模型无法解决的问题。

大模型的商业机会落点将会是什么？

高杰：未来几年内，大模型技术将如何发展？对于新兴企业和创业者来说，大模型技术提供了哪些新的商业机会？

蔡华： 大模型的一个显著优势是其个性化服务能力。在当前竞争激烈的市场中，创新和个性化是吸引用户的关键。通过提供独特的个性化服务，企业可以提高用户粘性，推动产品迭代，最终实现数据驱动的增长，进而为中小企业和新兴企业提供了新的机会。

大模型的普及也带动了 AI 教育的需求。随着越来越多的人希望学习和应用 AI 技术，提供教学和培训服务成为了一个明显的趋势。这不仅是一个商业机会，也是推动 AI 技术普及的重要途径。

周华： 我发现最近模型的记忆能力也正在成为研究的热点，如果模型具备强大的记忆能力，它可以通过高维空间中的编码来记忆与用户对话的历史，从而提供更加个性化的服务，并且也将为模型帮助人类解决高层次任务打开一扇大门。

多模态模型也在快速发展，虽然目前多模态模型主要应用于影视行业，但如果能够通过多模态训练实现真正的世界模型，例如，在生产制造业中，实现高精度的视觉监控等，它将对各行各业产生巨大影响。

我认为，当前大模型的商业机会在于人机交互领域，这将是一个值得深入挖掘的方向。随着技术的发展，大模型将从交互界面逐渐深入到系统的核心，最终完成传统 IT 系统的替代。尽管行业模型的落地过程存在难度，但其中蕴含的创新机会和商业价值是巨大的。

高杰：展望未来两到三年，端到端的人机交互可能会成为主流。GPT-4o 的演示展示了这种交互方式的潜力，包括情绪对话、多语言能力和感知速度等。

我还看到推理成本的降低是一个重要趋势。尽管我不知道具体如何实现，但我相信通过模型结构优化和软硬件结合，大模型的推理成本可能会降低一个或两个数量级。如果推理成本真的降低到如此程度，大模型的应用将变得非常广泛，甚至可能成为“白菜价”。

从商业机会的角度来看，我认为设备的交互形态可能会发生变化。从键盘、鼠标到触摸屏，再到更自然的交互方式，这可能是未来的趋势。随着技术的进步，新的设备形态可能会出现，比如 Google 的 Project Axtra 眼镜和 Meta 与雷朋合作的眼镜。

在汽车行业，这种变化可能会更快，因为汽车本身具有很多天然的优势。如果推理成本足够低，大模型的应用将变得无处不在，就像访问网页一样简单。这将带来难以想象的商业机会。

活动推荐

8 月 18-19 日，AICon 全球人工智能开发与应用大会将在上海举办。来自字节跳动、华为、阿里巴巴、微软亚洲研究院、智源研究院、上海人工智能实验室、蔚来汽车、小红书、零一万物等头部企业及研究机构的 60+ 资深专家，将带来 AI 和大模型超全落地场景与最佳实践分享，帮助与会者提升技术视野、获得有价值的实践指导。大会火热报名中，详情可联系票务经理 13269078023 咨询。