汇丰科技工商金融资讯科技部高级架构师经理寿恒围绕《开源大语言模型在银行应用中的实践和挑战》展开主题分享，内容分为四个主要部分：

第一部分：生成式人工智能简介

• 定义了生成式人工智能（GenAI），并介绍了几个典型的应用案例，如 GitHub Copilot、ChatGPT、Midjourney 和 Sora。
• 讨论了大语言模型家族的发展历程，特别是 BERT 和 GPT 模型的演变，以及 OpenAI 和 Meta 在 LLM 领域的贡献。

第二部分：银行业的产业机会

• 分析了生成式人工智能在银行业的产业机会，指出银行业由于其数字化努力、面向客户的员工队伍和严格的监管环境，特别适合整合生成式人工智能应用。
• 列举了潜在的使用案例，如市场营销、顾问服务、渠道和运营、产品开发、风险合规以及客户关系管理等。

第三部分：开源大语言模型

• 讨论了为什么需要开源模型，特别是在遵守法规要求、银行的安全策略和控制成本方面。
• 介绍了开源大模型的选择和推理加速框架，如 vLLM 的 PagedAttention 技术，以及模型量化的实践和优势。

第四部分：挑战和解决方案

• 描述了生成式人工智能在银行业面临的风险和挑战，包括合规风险、模型的准确性和偏见、模型的可解释性、数据安全和隐私等问题。
• 提出了开源模型的技术原则，包括开源模型的潜力、云服务提供商的利用、模型交互的审计、人类判断的参考、模型反馈循环的设计等。
• 讨论了自托管 LLM 的架构、采纳的路径、提示工程（prompt engineering）、检索增强生成（RAG）的优化路径，以及 RAG 在数据准备、召回层、合适的 Embedding 模型、人工选择、上下文压缩、父文档检索、rerank 模型和知识图谱微调等方面的应用。