采访嘉宾 | 贾安亚，商汤科技 Copilot 产品负责人

作者 | 华卫

大模型圈在不断加速，但已不再局限于模型本身，而是转向了应用层的比拼。如今，大模型厂商、云服务商以及创业公司都纷纷投身于生产力工具的竞争。从模型开卷到应用，不少用户对大模型的态度在逐渐发生变化，开始从最初的兴奋逐渐过渡到更为理性地审视，对其应用产品的期待与要求也随之提升。

为此，InfoQ 与商汤科技 Copilot 产品负责人贾安亚进行了一场深度对谈，听她聊一聊大模型生产力工具的市场发展、价值应用与未来趋势。在QCon上海2024_全球软件开发大会暨智能软件开发生态展_InfoQ技术大会上，InfoQ 也邀请到了贾安亚老师来做演讲分享，她深入分析了大模型生产力工具类产品在确定性和行业竞争方面的难点，并对未来的 AI 工具产品形态作进一步预测和探讨。

以下为对话实录，经编辑。

大模型生产力工具的市场可行性

InfoQ：训练大模型生产力工具的技术难点是什么？如何解决数据质量等问题？

贾安亚：一是训练数据的数量、质量和多样性，大模型需要大量高质量、多样化的数据进行训练。然而，获取足够的、具有代表性的数据集可能具有挑战性。二是算力资源需求，大模型训练通常需要庞大的计算资源和存储空间，所以需要持续优化模型结构、优化训练效率。三是实际场景对齐，通用大模型的能力和最终场景的用户体验有一些差异，所以需要在训练过程中结合最终使用场景使用大量人力做对齐。

InfoQ：大模型生产力工具的研发和部署需要多少成本？如何平衡投入与产出？

贾安亚：研发和部署成本和应用场景、服务人群、部署形态有很大的关系。在云端部署通用模型，需要平衡用户体验（延迟、精度等）、推理成本，所以需要续优化推理框架，实现推理效率的提升。面向特定场景特定客户的私有化部署，因为终端算力的限制，对模型的参数量有较大限制，同时模型在通用能力之外需要能服务特定场景的能力，所以会通过 RAG、COT 等方式实现特性化能力，通过量化等方式降低推理成本。

InfoQ：对企业来说，大模型生产力工具相比传统工具，在提升工作效率、降低人力成本、创新业务模式等方面有哪些显著优势？

贾安亚：从对企业价值角度分为 3 层，以研发助手为例，第一层是增强当前工作效率，通过研发助手辅助生成代码，生成单元测试等，增强研发人员的工作效率。这也是市面上大多数研发助手在做的。

第二层是积累优质研发资产，企业有自己积累多年的文档、代码库等等，如何让代码生成是符合企业要求的，如何将大量的技术文档的价值给释放出来，给所有的人员赋能，是企业关注的。同时如何将新生成文档和通过大模型提高质量，变成优质资产，持续的积累起来，也是企业关注的。从生产到消费，大模型都可以发挥重要作用。

第三层是探索新的研发模式，从更全局的视角来看，代码辅助只是整个软件研发流水线的一环，整个流水线是：需求（客户）=》需求规格书（产品经理）=》概要设计书、详细设计书（架构师）=》代码编写（研发人员）=》测试用例编写和执行（测试人员）=》部署上线（运维人员）。真正的让整个流水线能够向更快速的业务价值闭环验证，才是真正的改变生产力。

InfoQ：企业如何将大模型生产力工具商业化？目前有哪些正在或者已经验证的商业模式和盈利途径？

贾安亚：一， SaaS 服务：提供基于订阅的服务，让客户按需使用。二，私有化部署或一体机：对于数据安全要求较高的服务，提供私有化部署或一体机的方案。三，帮助企业落地的过程中提供专业咨询服务。

大模型生产力工具的应用与推广

InfoQ：在大模型生产力工具的推广和应用过程中，会遇到哪些挑战？如用户使用门槛、数据隐私保护、技术门槛等。

贾安亚：用户使用门槛是基于对话的交互模式要求用户提出高质量的问题，以获得有用的回答。然而，很多用户可能不熟悉如何构建有效的问题，这增加了使用难度，可能影响工具的普及和效果。再是信息安全需求，处理企业内部各类资产和敏感信息时，信息安全是首要考虑的问题。为满足企业的信息安全和合规要求，通常需要在本地或私有云上进行私有化部署，确保数据不外泄。这增加了部署和维护的复杂性。

最后是同质化竞争。目前市场上各厂商推出的大模型生产力工具功能相似，缺乏显著的差异化。这导致市场竞争激烈，企业在选择产品时难以根据功能特性作出决策，也给厂商带来了提升市场份额的挑战。

InfoQ：在选择和使用大模型服务时，企业应关注哪些关键因素？

贾安亚：模型性能和适用性：确保模型能够满足业务需求。安全性和合规性：服务商是否具备完善的安全措施和符合相关法规。可扩展性和定制性：模型和服务是否可以根据企业需求进行扩展和定制。成本：考虑总拥有成本，包括初始投入和长期运营费用。

InfoQ：企业应如何制定战略以有效利用大模型生产力工具，实现业务增长和创新？

贾安亚：一，明确业务目标：确定哪些业务领域可以受益于大模型工具。二，人才培养和引进：建立专业的团队或与外部专家合作。三，持续迭代和优化：根据反馈不断改进模型和流程。四，跨部门协作：促进技术团队与业务部门的合作，确保工具的有效落地。

InfoQ：企业如何适应大模型生产力工具带来的组织结构和文化变化？

贾安亚：大模型原生产品的落地应用，可采用自顶向下管理要求 + 自下向上员工主动相结合的方式，从确定性较强的场景，以辅助软件研发场景为例，如测试报告、测试用例生成，运营数据分析，向前面的设计、需求逐步推进，辅之以激励员工的方式方法。让全体员工明白，未来趋势是让大家变成更会用 AI 的人，才能提升个体和企业的竞争力。

大模型生产力工具的未来发展

InfoQ：大模型生产力工具在未来几年的发展趋势是什么？可能会出现哪些新的应用场景？

贾安亚：多模态模型：融合文本、图像、语音等多种数据类型的应用将更加普及；快慢思考场景分离：基于 GPT O1 的理念，针对慢思考场景的应用会更加成熟；实时协作和交互：工具将更注重实时性和交互性，提升用户体验。

InfoQ：未来几年内，市场对大模型生产力工具的需求将如何变化？

贾安亚：随着企业数字化转型的推进，对智能化工具的需求将持续增长，竞争也将加剧，更多参与者进入市场，促进行业创新。

InfoQ：未来大模型生产力工具在技术上的创新方向是什么？如何进一步提升其性能和效率？

贾安亚：多模态融合、代码数理等理科能力进一步增强；和智能硬件、具身智能的深度融合，进一步对物理世界产生影响；推理性能优化：创新的推理框架、量化技术等等。

InfoQ：近期各种生成式 AI 的工具助手产品层出不穷，未来大模型生产力工具如何能卷出差异化？市场竞争格局将如何演变？

贾安亚：一，专注于用户体验：提供更直观、易用的界面和功能。二，垂直整合：深耕特定行业，提供更专业的解决方案。三，开放生态：建立开放的平台，吸引开发者和合作伙伴，共同创新。