多点开花，大模型在企业中的提效实践 ｜ArchSummit 闭门会

在当今数字时代，大模型技术无疑成为了科技界的一颗璀璨明星。随着人工智能的不断发展，大模型在各个领域展现出了强大的应用潜力，引发了无尽的探讨和期待。在 ArchSummit全球架构师峰会（深圳站），InfoQ 策划了《大模型在提效与驱动业务变革中的作用》闭门会，在这里嘉宾们深入探讨了很多大模型的实践应用，本文为部分精彩分享摘要～

参会嘉宾（排名不分先后）

主持人：杨攀，极客邦科技副总裁 & TGO 鲲鹏会总经理

1. 李孟桃，字节跳动 云业务架构师

2. 冼牛，即构科技 技术 VP

3. 王海华，货拉拉 基础架构负责人

4. 贺昕玥，东亚银行 AI 数字化专家

5. 汪洋，东亚银行 AI 场景专家

精彩分享

首先各大公司都意识到需要拥有自己的私有大模型；其次，由于大模型本身存在不确定性，它在需要确定结果的领域的应用是困难的。因此，大模型更多的是作为辅助工具，帮助提高效率，而不是作为完成整个任务的主力。最后，分享一个关于游戏公司美术团队的例子，这个团队开始时引入了新的技术工具，但最终发现，真正能够将这些工具用得恰到好处的还是具有高级审美水平的设计师。这表明，人本身的能力，比如艺术审美，决定了新工具能够帮你提升多少效率，这并不意味着你的个人能力不足，使用新工具就能做得更好。

精彩分享 2

我一直在关注和开发智能客服解决方案。尽管大模型的出现为我们提供了新的可能，但在构建知识库和训练模型方面，仍需要大量的人力投入。在实际应用中，我们面临的主要挑战是如何确保模型的输出准确无误，以避免客户投诉和合规风险。即便有了像讯飞风星火这样的大模型，我们仍需要人力去维护和质检输出结果。因此，目前看来，大模型可能更适合作为“Copilot”的角色，而真正需要承担责任的岗位仍需要人力来负责。

精彩分享 3

我们是一家主导 TOB 行业的公司，技术支持压力巨大，团队有十几二十人，大部分时间都在处理重复的客户问题。客户对技术支持费用持保留态度。尽管客户问题常常重复且答案都在文档中，但他们仍希望我们及时有效地回答，给团队带来巨大压力。因此，我们考虑使用大模型来解决这些常见问题，但同时也面临成本高和言论风险的挑战。

精彩分享 4

首先，我们企业内部允许使用 ChatGPT，对个人起效很大。其次，我们在内部使用了 GPT3.5 来理解大模型领域的新概念，感觉比 Google 更好，能快速接受新概念。第三，内部大模型开发在代码层面使用了 ChatGPT 输出，通过 double check 后应用于测试或生产环境，有效提升了效率。第四，他们自己也在进行内部大模型开发，预计能进一步提高效率。最后，他分享了一个外部提效的例子，通过使用 AIGC 在第一轮生成美工的初稿，缩短了生产链条，提高了效率。

精彩分享 5

起初大模型爆发，大家都很激动，老板也期望高效率降本。但实际落地后，发现效果并不理想，几个场景的代码提交效果较差。我们尝试与云厂商合作，但在一些场景下效果依然不佳，比如代码传播法务问题。总体而言，大模型提效只能占工作 30%，且不能完全替代人工部分。现在，我们正努力降低老板的预期，当然也在等待大模型进一步成熟。

精彩分享 6

我看到我们的公司在许多方面都取得了显著的效率提升。首先，比如在为客户编写示例代码方面，现在我们可以快速地完成这个任务，而不再需要花费时间查询文档或者让客户自己去阅读文档。另一个提效的地方是收集客户信息，这对于我们服务 B 端客户至关重要。现在，我们可以通过收集信息，将客户分成 a 类、b 类、c 类，甚至详细到是否上市。这不仅提升了我们的效率，也使我们能更精准地为客户制定解决方案。

我想延伸一下，我们从筛选客户画像，到制作有针对性的 PPT，再到定位客户的痛点，无论是针对金融行业，还是针对 RTC 行业，都能为我们提供很大的帮助。再者，我们的支持团队常常需要在半夜处理网络问题，而这种情况对客户影响巨大。有时，问题可能出在我们和腾讯或者 Oracle 的连接上，而不是他们两家的问题。我相信，如果有机器人帮忙，我们的同事就不必在凌晨两三点钟醒来处理问题了。机器人完全可以替我们做这个工作，这将极大地提高我们的效率。

精彩分享 7

作为金融行业的一份子，我们一直在探索和投资人工智能的可能性，以增强我们的业务能力和效率。客户服务、信用审核和运营是我们主要的投资领域。其中，我们已经发现了 AI 在风险控制、操作流程优化，甚至催收和营销等方面的巨大潜力。实际上，AI 的加入已经改变了工作模式，让我们每个员工都可以专注于自己的角色，并利用自己的经验和技能做出最佳决策。

然而，大模型的应用带来了一些新的挑战。首先，它可能会导致结构调整，因为有了 AI 的帮助，我们的设计师和运营专家可以提高工作效率，而不再需要一些底层的工作。其次，我们预见到强者越强的情况会变得更加明显。具备足够规模和资本的公司将能更好地利用大模型，降低人工成本，从而在市场中脱颖而出。然而，中小型银行可能会面临更大的挑战。尽管目前大模型还无法解决所有问题，如精确度和安全性等，但我们仍然愿意投资并寻求更好的解决方案。这是一个重要的转折点，我们期待能够在这个过程中找到新的机遇和发展路径。

精彩分享 8

作为 PaaS 企业，技术支持是刚需，工程师需要长时间的训练才能成为专家。因为他们不仅需要解答通用问题，还需要根据客户的具体需求，和研发以及产品团队合作找到解决方案。考虑到人力成本，我们正在探索如何利用大语言模型来提升效率。我们可以构建一个可以回答大约 60% 重复性问题的 ChatBOT，我们可以将一些问题转化为 Web，建立 Web 库，先在库里查找问题，然后合并，然后询问 GPT，生成问题，然后回答客户。

这里的难题是如何将这种能力是否将其公开发布在官网上，还是放在客户群里。法律风险和成本都是我们需要考虑的因素。此外，还存在一个问题，微信是否有开放接口允许我们放入一个机器人进行聊天。

另一个方向是将其变为技术支持的 Copilot。对于某些问题不熟悉的技术支持人员，他们可以在内部先提问，然后根据得到的答案去回答客户。这就像一个文档查询助手，能够帮助他们提高效率。

对于我们来说，还有一个方向是在代码方面。目前我们只能生成小段代码，而不能大规模地输出代码。这是因为我们需要保证代码的质量，而且我们的公司风格不允许我们随便输出代码。我们只能说，基于个人为了提高效率，每个工程师都可以生成一些标准的代码段，然后修改和使用。我们暂时还不能将核心代码交出去让别人修改 Bug。

精彩分享 9

我们比较关注流量入口变化，可能未来流量的入口会集中在某些特定的平台或应用，比如阿里、苹果的 Siri 或者某些自然语言交互的入口。对此，我们已经开始与 OpenAI 等机构对话，并希望有很多的收获。

另一部分我门也关注自然语言问题的回答，即针对特定问题提供精准的回答。经过两个月的努力，我们的团队已经将准确率提高到 40%以上。尽管这个数字可能并不令人满意，但在我们的业务中，这个准确率是可接受的。

我们还在努力解决自然语言模型的落地问题，这个过程的挑战性非常大，而且成本也很高。同时，我们也正在尝试使用智能体来做业务的归因分析。这是一个复杂的过程，需要考虑许多因素，比如天气、公众舆论、政府活动和内部调整等。在我们对智能体的分析中，我们发现真正的 AutoGPT 具有很强的自主性，难以完全控制，但是受控的智能体仍然是一种不错的选择。我们采用类似于 langchain 的方法，结合自己的编排，还加入了一些大模型的反思和纠错能力。通过这种方式，我们成功实现了一个业务比较复杂的归因案例，智能体能够回答出相关问题。

精彩分享 10

我讲讲 Oracle 在做的的事情，Oracle 本身它也是一个大玩家。首先，它在医疗领域有所发展，收购了一家公司，该公司拥有所有美国人的电子病历，包括病人在医院的所有医疗数据。对于任何公司来说，数据都非常重要。Oracle 花费 280 亿购买这样的公司，这表明公司的领导层有先见之明。

此外，Oracle 还投资了 AI 公司，所以它拥有着大量的数据和模型，再者，Oracl 也页与英伟达有战略合作关系，以满足他们的算力需求。

Oracle 也提供像 SaaS 和 ERP 等产品，ERP 常常被用于 Planning。例如在工厂中，当工厂接收到大量订单时，必须决定在哪个工厂生产。然后，它们需要找到供应商来采购原材料，这些原材料的质量可能会有所不同，价格也可能会有所不同。这就需要对库存进行协调，确定哪些原材料可用，哪些原材料不可用，然后决定在哪里生产。Oracle 曾经有一个相对封闭的 Planning 模型，但实际效果并不高。因此，产品部门现在正在考虑引入新的模型，以改进我们所谓的传统制造业。例如，他们想要使用大型模型来提高效率，并把这些新技术引入我们的产品中，提供下一代的 AI 辅助 Planning

在国内，我们看到的大多是互联网公司，但针对传统制造业的软件企业其实相对较弱。我认为在改造传统制造业的生产流程方面，仍然有巨大的潜力和机会。无论是工业互联网，还是传统 ERP 的改造，都有很大的市场。

精彩分享 11

在我看来，目前 AI 算力的底层，即显卡的需求供不应求，从 CPU 过渡到 GPU，供应短缺并持续排队。特别是英伟达的新一代显卡 H800 引发了从今年下半年到明年的大规模需求。无论是迭代快速的模型还是计划中的大模型，现在都处在烧钱烧卡的阶段。对于显卡的国产化替代，虽然面临生态和技术支持问题，我们也必须去考虑，因为政策在不断变化。而在供应显卡给客户之后，我们面临的最大挑战是这项技术相当新，且很难高效利用。

如果发生故障，可能导致整个模型停止，造成巨大的成本损失。所以现在很多公司都在寻找专业人才来做优化。至于模型训练的进展，实话说，我们有些悲观。模型训练的效果如同做菜一样，取决于配方和烹饪顺序。每次启动大规模的训练都像是一次登月，无法预知结果。如果模型失败，可能几个月甚至几百万的资金就此损失。所以，我们需要深思如何持续发展这个行业。

精彩观点 12

在我看来，我们之前用 A100 卡做过很多仿真工作，比如汽车碰撞实验和数字孪生，甚至还有马桶的流体力学模拟。早期的模型可能并不是使用 A100，而是使用早一些的卡，包括多节点之间的互联以及同一台机器上多卡之间的互联。我们提供的 RGB 网络可以支持多节点之间的互联，比如两个节点之间的连接速度可以达到两秒的最大量。但是，当真正开始运行模型后，我们发现，增加节点并不能直接提高效率，反而会有衰减现象，尤其是在增加到三四台之后，衰减会更严重。目前来看，英伟达的卡因为比较成熟，所以效果会比较好，国产的卡可能还需要一段时间才能赶上。相比于现在的大模型，我们早期的汽车碰撞实验等仿真工作其实用的资源相对较少。

精彩观点 13

我们这边主要从图形跟语音方面入手，之前我们使用小模型进行背景构图、图形增强以及数字处理等工作。但大模型的出现引发了我们的思考：在某个时间点上，大模型的通用能力是否会超过我们这种小模型精挑细走出来的能力？我们进行了测评，将通用模型与我们自己内部的精挑细琢的模型进行比较，发现在性能、CPU 资源利用、完成时间以及最终效果方面，我们的小模型仍然要强于大模型。

尽管我们目前的实验结果还显示大模型在细分领域的专业上并未超过我们的小模型，我们仍然担心大模型的快速发展。我们不能排除在未来的某个时间点，它的通用能力会超过我们的小模型，就像 GPT 这样的大模型已经在某些领域的专业能力上超越了，比如客服的能力。因此，我们对图形和视频方面的发展保持警惕。

活动推荐：

FCon全球金融科技大会（2023·上海站）是极客邦科技旗下 InfoQ 中国团队推出的面向金融行业高端技术管理者、技术专家的会议，50%参会者拥有 8 年及以上工作经验。

FCon 聚焦当前金融行业遇到的问题，围绕金融企业在数字化转型过程中的痛点，例如数据治理，智能化、数字化风控，数字化投研，数字化营销，IT 技术能力等方向，邀请国内外金融企业，来分享人工智能、区块链、大模型、大数据、数字货币等新一代信息技术实践话题，帮助听众解决技术和业务上的问题，提升技术能力。欢迎大家报名参会，详细信息可点击这里查看