写点什么

接入 5 家 DeepSeek 模型提供商!火山引擎边缘大模型网关助力一键畅享大模型

  • 2025-03-27
    北京
  • 本文字数:2529 字

    阅读完需:约 8 分钟

大小:1.22M时长:07:07
接入 5 家 DeepSeek 模型提供商!火山引擎边缘大模型网关助力一键畅享大模型

01. 背景

随着 DeepSeek 大模型在文本生成、代码解析、逻辑推理等领域展现出的突破性能力,这场由国产 AI 模型引发的技术革新正持续发酵。火山方舟、阿里百炼、腾讯云 LKE 等越来越多的平台通过接入 DeepSeek 向终端用户提供大模型调用服务。伴随持续飙升的热度,服务器繁忙、调用超时、调用失败等问题频繁出现,DeepSeek 调用稳定性成为了困扰终端用户的新问题。


如何能够不宕机地使用 DeepSeek 大模型?火山引擎边缘大模型网关通过支持多厂商服务调用,实现了调用故障自动迁移,保障 DeepSeek 模型的稳定调用,为智能服务保驾护航。


边缘大模型网关能够帮助您通过一个 API 接口访问多家模型提供商接入的 DeepSeek 模型服务,在端侧基于遍布全球的边缘节点就近调用,利用边缘云基础架构优势,提高模型访问速度,并通过配置调用顺序、自动重试、请求超时等能力,实现模型调用失败自动请求备用模型单次请求失败自动重试单次调用响应超时配置。通过产品化的配置,您可以迅速创建出与 OpenAI 的 API 和 SDK 完全兼容的网关访问密钥(API),并通过选配 DeepSeek 模型进行调用,节省大量适配成本,快速完成业务接入。


02. 5 家模型提供商,助力多渠道接入

截止日前,边缘大模型网关已经支持火山方舟、DeepSeek 开放平台、硅基流动 SiliconCloud、腾讯云大模型知识引擎 LKE、阿里云 DashScope 模型服务灵积共计 5 家 AI 服务平台累计 8 种面向不同场景的 DeepSeek 系列模型接入。


您可以使用边缘大模型网关的自有三方模型调用功能,通过创建调用渠道将您在第三方模型平台的密钥纳管至边缘大模型网关,实现通过边缘大模型网关签发网关访问密钥进行对应模型的访问与调用。同时,边缘大模型网关也通过平台预置模型助力您直接使用由火山方舟提供的 DeepSeek R1、DeepSeek V3、DeepSeek-R1-Distill-Qwen-7B/32B 模型调用,无需与三方模型提供商交互,使用更便捷。



结合您的业务场景选择 DeepSeek 服务提供商,在边缘大模型网关产品控制台创建网关访问密钥并关联您选配的服务提供商,即可在不同厂商间实现服务容灾,并通过配置多尺寸模型实现小尺寸模型无感降级,最大化保障模型调用效果的同时实现终端业务的服务稳定


03. 如何实现不宕机的 DeepSeek 模型调用

Step 1 选择模型服务提供商

您可以在边缘大模型网关产品控制台上创建网关访问密钥用于调用 AI 服务。您可以为您的网关访问密钥配置用于 DeepSeek 调用的模型提供商,创建完成后,即可获得大模型网关 OpenAPI 的请求示例代码与 API Key,并对选配的 DeepSeek 模型发起请求。


边缘大模型网关已经完成火山方舟、DeepSeek 开放平台、硅基流动 SiliconCloud、腾讯云大模型知识引擎 LKE、阿里云 DashScope 模型服务灵积共计 5 家服务提供商接入,您可以通过“支持模型”查看该提供商可通过边缘大模型网关进行调用的模型列表。




使用大模型网关调用自有三方模型,您必须在大模型网关通过创建渠道配置您在第三方平台 AI 服务平台中的调用密钥,不同模型提供商平台获取方式可能存在不同,查看详情可复制链接在浏览器打开,(https://www.volcengine.com/docs/6893/1337145)。大模型网关通过您配置的调用渠道来访问您的第三方模型,完成渠道创建后,即可调用对应渠道商下的 DeepSeek 系列模型。







同时,您也可以通过边缘大模型网关的平台预置模型实现由火山方舟提供的 DeepSeek 模型一键调用,无需与三方模型提供商进行交互或创建调用渠道,您可直接用于通过网关访问密钥的模型配置与调用。




Step 2 创建网关访问密钥

完成用于边缘大模型网关调用的模型配置后,您可以开始为您的业务场景创建 DeepSeek 调用的网关访问密钥(API)。


模型选配

在创建网关访问密钥的第一步,您首先需要选择可通过该网关访问密钥进行调用的 DeepSeek 模型,您可以通过勾选来自多个提供商的 DeepSeek 模型轻松在多厂商间实现故障迁移,您也可以通过配置不同尺寸的蒸馏版本模型,实现降级备用,增加稳定保障



调用配置

完成模型选择后,您可以通过手动调整上一步所选模型的顺序实现不同厂商、不同尺寸的服务调用故障无感转移。根据您所配置的顺序,前一个模型调用失败后,边缘大模型网关将自动依次调用后续模型,直到成功调用一个模型。如您想保证 DeepSeek-R1 的成功调用,可以通过配置来自不同提供商的 R1 模型来实现多厂商轮询。如您需要在资源受限的场景下进行调用,可以通过配置由字节跳动火山方舟与阿里云 DashScope 模型服务灵积提供的小尺寸蒸馏模型,通过降级备用保证最优效果。


结合重试次数配置,您可以设置对一个模型进行调用的最大重试次数。当一个模型调用失败后,大模型网关将重新尝试调用此模型,直到重试次数耗尽,才会基于您配置的调用顺序调用下一个模型。



通过启用缓存,边缘大模型网关会就近将调用结果返回并缓存在边缘节点,从而缩短重复查询的响应时间并为您降低调用成本。可设置缓存的保留时长,一旦超过指定时长,缓存将被清除。通过定义请求超时时间,您可以设置单次模型调用的超时时长,模型请求发出后,若在超时时长内未收到响应,则判定该请求失败。当您调用支持深度思考(Reasoning)的 DeepSeek 模型时,请根据使用场景判断是否需要适当延长请求超时定义。



Step 3 调用 DeepSeek 模型!

您可以在网关访问密钥列表中查看已完成创建的信息,并在详情页面查看基本信息、用量统计、请求方式等信息。



通过详情页调用示例,您可以获得由边缘大模型网关提供的请求示例代码,包含 Curl 和 Python。当您从网关访问密钥绑定的模型中选择一个模型作为首次请求模型后,代码中的model参数值将自动替换成模型对应的值。如果网关访问密钥绑定了多个同一类型的模型,那么当选择一个模型后,可以通过单击右侧的图标查看模型故障转移的预览效果。当前模型调用失败时,大模型网关将依次调用后续的模型。在调用时,您需要将详情页-请求方式中的密钥替换示例代码中的$VEI_API_KEY



04. 200 万 tokens 免费额度,体验边缘大模型网关


面向平台预置模型,我们已为您提供了 200 万 tokens 的免费调用额度。使用自有三方的 DeepSeek 模型,将消耗您在第三方模型服务平台的额度,通过用量统计,您可以同时观测不同渠道类型下的模型调用用量。



欲知更多,请点击链接https://console.volcengine.com/auth/login立即体验 DeepSeek 模型~

2025-03-27 11:254526

评论

发布
暂无评论
发现更多内容

为什么MySQL数据删除了一半,表文件体积却没变小?

程序员拾山

MySQL

来自掘金和 InfoQ 的“新年礼物”,时序数据库 TDengine 荣登两大知名技术社区重磅榜单

TDengine

数据库 tdengine 时序数据库

适配 Laravel 多版本的开源项目版本号规划

ModStart

IoTDB 可实现的基本操作 —— 数据写入、删除、导出、元数据管理、时区设置 | 小白教程文档(四)

Apache IoTDB

时序数据库 国产数据库

理想问鼎销冠,数据库能帮助新能源车企赢得下半场么?

YMatrix 超融合数据库

案例分享 新能源汽车 造车新势力 超融合数据库 YMatrix

北邮一号卫星搭载 IoTDB 成功发射!高效轻量数据管理,助力航天观测分析

Apache IoTDB

数据库 时序数据库 国产数据库

一个 go-sql-driver 的离奇 bug

SOFAStack

OpenHarmony如何切换横竖屏?

OpenHarmony开发者

OpenHarmony

华为云GaussDB(for MySQL)通过中国信通院“可信数据库”评测

华为云开发者联盟

数据库 后端 华为云 企业号 1 月 PK 榜

MySQL性能优化浅析及线上案例

京东科技开发者

MySQL 性能优化 索引性能 数据库· 企业号 1 月 PK 榜

利用 IoTDB 替换 Druid.io 服务太极股份电厂、军工制造类项目,采集精度达纳秒级

Apache IoTDB

时序数据库 国产数据库

Sealer 0.9 :帮助集群和分布式应用实现 Build、 Share、Run

阿里巴巴云原生

阿里云 开源 云原生 sealer

致 Tapdata 开源贡献者:聊聊 2022 年的进展和新一年的共建计划

tapdata

企业内部沟通,即时通讯软件要怎么选?

BeeWorks

Databend v0.9.0 版本发布

Databend

TDengine 时序数据特色查询语法详解,助力时序场景下的应用开发

TDengine

数据库 tdengine 时序数据库

Volcano 社区 v1.7.0 版本正式发布 | 云原生批量计算

华为云开发者联盟

云计算 云原生 华为云 Volcano 企业号 1 月 PK 榜

中冶赛迪*IoTDB | 多项目全流程以IoTDB为时序数据处理方案,预计写入查询效率提升一倍

Apache IoTDB

国产时序数据库

WorkPlus移动办公平台,助力企业随时随地“指尖办公”

BeeWorks

【提升团队运营效率】交易履约之订单中心实践

京东科技开发者

平台搭建 平台赋能 数智创新 效能提升 企业号 1 月 PK 榜

玖章算术CEO叶正盛:程序员必须掌握的数据库原理

NineData

数据库 程序员 开发 dba 数据库技术

阅文加入 OpenCloudOS 操作系统社区,作为成员单位参与社区共建

OpenCloudOS

Linux

软件测试/测试开发 | 接口自动化测试中,如何做断言验证?

测试人

软件测试 自动化测试 接口测试 测试开发

Cloud Kernel SIG月度动态:建立社区第三方驱动研发流程、发布ANCK 4.19-027版本 | 龙蜥 SIG

OpenAnolis小助手

内核 龙蜥社区 sig 版本发布 anck

一次偶然机会发现的MySQL“负优化”

骑牛上青山

MySQL 数据库 索引

特定领域知识图谱(DKG)融合方案:技术知识前置【一】-文本匹配算法、知识融合学术界方案、知识融合业界落地方案、算法测评KG生产质量保障

汀丶人工智能

自然语言处理 知识图谱 实体对齐

技术型创业公司如何把握发展与管理的节奏感?

石云升

极客时间 1月月更 技术领导力实战笔记

华为云云原生数据库:A Philosophy about “less”

华为云开发者联盟

数据库 后端 华为云 企业号 1 月 PK 榜

IoTDB 可实现的基本操作 : 数据导入、基本查询、聚合查询 | 小白教程文档(三)

Apache IoTDB

国产时序数据库

服务网格领域的百花齐放,是否存在一个更优解?

API7.ai 技术团队

Service Mesh 服务网格 APISIX

接入 5 家 DeepSeek 模型提供商!火山引擎边缘大模型网关助力一键畅享大模型_字节跳动_火山引擎_InfoQ精选文章