作者：IBM watsonx.ai 产品主管 Maryam Ashoori、IBM AI 平台（watsonx.ai 和 watsonx.governance）产品管理副总裁 Armand Ruiz、 IBM watsonx.ai 产品经理 Nisarg Patel
IBM 日前宣布，DeepSeek-R1 的 Llama 3.1 8B 和 Llama 3.3 70b 蒸馏版本现已在 IBM 的企业级 AI 开发平台 watsonx.ai 上提供。
DeepSeek-R1 在 MIT 许可证下发布，主要是通过在基础模型 DeepSeek-V3 上直接使用强化学习 （RL） 开发的，这是微调 LLM 的一项重大创新。
此外，DeepSeek 还使用了一种称为知识蒸馏的技术，使用较大的 R1 模型生成的数据来微调多个 Llama 和 Qwen 模型。用户可以通过两种方式在 watsonx.ai 上访问 DeepSeek 蒸馏模型：
IBM 通过 “按需部署目录”在 watsonx.ai 中提供两种 Llama 蒸馏变体，允许用户部署专用实例进行安全推理。
用户还可以使用自定义基础模型导入功能导入 DeepSeek-R1 模型的其他变体，如 Qwen 蒸馏模型。
DeepSeek-R1 支持哪些类型的用例？
DeepSeek-R1 以其卓越的推理能力而著称，支持各行各业的广泛应用：
规划：DeepSeek-R1 专注于思维逻辑链，能够执行需要逐步推理的任务，因此非常适合为智能体
（代理）应用程序提供支持。
编码： DeepSeek-R1 擅长编码任务，提供代码生成、调试辅助和优化建议。
数学问题解决： 该模型强大的推理能力使其善于解决复杂的数学问题，这对学术研究、工程和科学计算大有裨益。
开发人员可在 IBM watsonx.ai 中使用 DeepSeek-R1 等已部署的模型和解决方案功能构建人工智能解决方案：
以易于理解的格式和用户界面测试和评估模型输出
通过连接各种向量数据库和嵌入模型来构建 RAG 管道
与 LangChain、CrewAI 等流行框架和连接器协同工作
为何要在 watsonx.ai 上使用 DeepSeek 蒸馏模型？
IBM watsonx.ai 使客户能够定制实施 DeepSeek-R1 等开源模型，从部署环境的完全灵活性到智能体（代理）开发、微调、RAG、提示工程和与企业应用程序集成的直观工作流，用户可以利用 watsonx.ai 的内置护栏来保护他们的应用程序。
当然，数据安全和 AI 治理是客户最关心的问题。除防护栏外，在 watsonx.ai 上部署时，这些模型将成为专用实例，这意味着除平台外，不会在其他任何地方共享数据。此外，与 IBM watsonx.governance 这一功能强大的治理、风险和合规性（GRC）工具包的无缝集成，可确保客户的 AI 在整个 AI 生命周期内都是负责任、透明和可解释的。
开始在 IBM watsonx.ai 上使用 DeepSeek
支持 DeepSeek-R1 的蒸馏变体是 IBM 致力于 AI 开源创新的一部分。DeepSeek Llama 的两个蒸馏模型都已纳入 IBM watsonx.ai 上按需部署目录，能够在专用 GPU 上按小时部署。
如何从 watsonx 资源中心按需部署 R1 模型
从资源中心按需部署基础模型，需要完成以下步骤：
1. 从导航菜单打开资源中心。
2. 从 “按小时付费 ”部分，找到要按需部署的 DeepSeek 模型。
3. 从模型详细信息页面，单击 “Deploy(部署)”。
4. 从基础模型磁贴中单击 “Deploy(部署)”，然后选择要部署基础模型的部署空间。
5. 单击“Create(创建)”。
6. 通过 Prompt Lab 或 API/SDK 开始使用模型。
IBM watsonx.ai 在这里会用斜体显示模型的思维过程，而最终输出则用非斜体显示。只需一个简单的提示，模型就能推理并规划出响应中需要包含的各个部分。
如何通过 REST API 在 watsonx 上部署 R1 模型
此外，用户也可以使用 REST API 来部署模型
当然，前提是必须将 bearer token 和 space-id 等信息替换为相应的凭证。模型部署完成后，用户可以从 Prompt Lab 或 watsonx.ai API 提示基础模型。
通过让用户访问 watsonx.ai 上同类最优的开源模型（包括第三方模型和 IBM Granite），我们以期能够塑造协作和知识共享的文化。
腾讯云云原生提质增效实践精选集 2024
《2024腾讯云云原生提质增效实践精选集》出炉，5大热门技术领域，13个行业精选标杆案例，痛点到解决方案全...
评论