大模型“四虎”出山,亮相 4 月 QCon 北京。 了解详情
写点什么

未来 AI 应用更依赖 API?F5 给出了自己的 AI 方案

  • 2025-03-04
    北京
  • 本文字数:3646 字

    阅读完需:约 12 分钟

大小:1.88M时长:10:57
未来 AI 应用更依赖API?F5给出了自己的AI方案

近期,F5 分享了自己的技术洞察,并介绍了针对 AI 领域提供的技术方案。

 

F5 亚太区首席技术官 Mohan Veloo 判断,未来,每个应用都将是 AI 应用或受 AI 赋能。全球各国客户都在探讨 AI 及其应用,AI 并非大国专属,全球皆参与其中。企业愿为 AI 投入,其在企业 IT 预算占比达 18%且持续上升。

 

AI 分训练与推理阶段,训练需超大且多模态的数据集,与 AI 互动方式趋于多模态。“数据引力”使 APP 靠近数据,“能源引力”让 AI 数据中心选址倾向靠近廉价可再生能源地。AI 发展伴随 API 接口增长及安全威胁,多数企业用推理,少数做训练,企业用 RAG 技术提升 AI 准确性。受 AI 影响,企业 APP 使用模式变为混合模式,关键应用回归本地,先云端测试再本地部署。

 

Mohan 认为,未来 AI 应用更依赖 API,呈现多模态、分布式特点。F5 则多年利用传统机器学习技术,现融入生成式 AI 能力,同时在 AI 数据设置、工程负载均衡及推理安全方面提供支持,还推出 F5 AI 网关,从保护模型、防止未经授权输出、优化成本三方面提供安全解决方案 。

 


为此,F5 将更多聚焦在应用层、AI 层还有大模型。F5 针对 AI 领域提供了六个解决方案,具体内容如下:

 

  • 数据传输与存储:AI 三要素为算力、算法和数据,数据在训练和推理过程中至关重要。训练时需收集、标注海量数据用于大模型训练,推理和服务拉取也需大量数据传递与使用。为保障数据安全、高效、可靠、低延时传输,在关键数据存取点部署高性能、低延时且稳定的 F5 设备,根据后台处理能力分发流量。F5 性能高,有冗余机制,与众多厂商合作构建广泛生态体系,助力解决数据存储问题,如在车企自动驾驶训练数据传输中发挥重要作用。

  • 高效安全的 AI 应用与模型推理 Kubernetes 入口控制:AI 作为现代化应用,迭代快、适配迁移性强,容器是最佳选择,超 50%企业部署容器化,AI 是主要部署应用,容器是支撑 AI 和大模型的基础底座。但容器环境存在连接异常、后台应用故障等问题,分布式应用安全曝露节点防护以及多厂商容器管理工具复杂等挑战。F5 提出有效管理解决方案,F5 NGINX 在全球容器入口下载工具排名第一,与众多容器化厂商联盟,在容器入口推荐使用 F5 NGINX 进行统一控制,保障应用安全可靠,同时与 Intel、NVIDIA、Red Hat、Dell 等合作,提供一体化解决方案。

  • 针对 DPU 的高性能 K8S 入口控制:在 AI 数据中心,有 CPU、GPU 和 DPU 三种核心芯片,DPU 负责安全流量、网络协议流量、存储流量等,可节省 CPU 算力资源。若安全产品或负载均衡产品不能在 DPU 上卸载,会导致 CPU 资源消耗大,GPU 闲置。F5 将原在 CPU 运行的部分放在 DPU 运行,可减少 CPU 算力消耗,节省机架空间和电力资源,提高 GPU 算力。

  • 安全:在 AI 世界,API 成为主流协议,90%开发者开发应用迁移到 API,75%互联网流量是 API 流量,基于 API 的数字化经济达 2000 多亿美金,但 API 攻击事件逐年增加,传统防火墙和 WAF 难以应对。F5 收购 Wib,具备开发、安全扫描、API 代码安全分析等能力,从开发到上线全生命周期提供解决方案,通过前端 F5 可发现和防护 API 攻击风险,如国内某保险公司前端部署 F5 软件保障 API 安全。

  • F5 AI 网关:旨在化解大模型风险,包括模型安全和多模型扩展调用问题。大模型存在安全漏洞,OWASP 针对 LLM 发布十大风险漏洞,如 Prompt Injection 提示词注入攻击、信息泄露、幻觉问题等。多模型场景下,需解决模型调用、Token 处理、成本观测、输出控制等问题。F5 AI 网关部署在应用、Web 页面和大模型之间,以软件形式部署,提供生态开发接口,致力于解决 LLM Top10 安全问题并不断拓展服务能力。

  • 全球服务节点支撑:依托全球服务节点,F5 一方面通过骨干节点帮助分布式部署全球化服务的客户高效互联网络,实现数据传输、调用和 AI 迁移;另一方面提供 AI 应用框架,适配不同云厂商,降低适配复杂程度,通过一套体系保障 AI 安全、API 安全、数据收集及可靠性。

 

总结来说,F5 核心要帮助客户解决四大问题:一是最大化提升 GPU 算力资源利用率,减少断网和应用故障导致的 GPU 闲置;二是保证 AI 大模型安全可靠稳定运行,在容器化入口保障运行效率;三是保障 API 和大模型安全;四是通过分布式部署模型简化客户管理复杂程度,加速部署速度,全面提升客户在 AI 使用中的体验 。


下面是针对一些大家关注较多问题,F5 给出的回复。

 

Q:据 F5 观察,请问大模型在企业真正落地的应用困难和问题是什么?

    

Mohan:我们看到大部分的企业自己不会再去做模型的培训,他其实只是在使用模型的推理能力。在进行推理的时候,其实他必须要找到以往的使用案例,根据以往的使用案例可以进行 RAG 技术,就是检索增强生成的能力,这样可以把以往的数据调出来,保证数据更加准确。

 

我们还提到考虑到现在数据引力,还有数据主权,以及数据隐秘性,现在越来越多的数据中心会考虑建在本地。在一些政府管理非常严格的行业,比如说银行业、制药业和公共事业,他们其实要符合政府的很多相应的合规要求,所以对数据他们会更加谨慎。所以可以看到现在对很多企业来说他们的选择是这样的,他们的应用放到云端,由云的供应商提供;他们的 AI 模型由 AI 模型的供应商来提供,放到 AI 模型的供应商那一端,但是数据保存在本地。

 

这样其实就带来了企业要面对很大的挑战,联网方面的挑战,性能方面的挑战和安全方面的挑战。所以回答您的问题,我们面临什么样的挑战呢?他们现在要保证需要联系越来越多的 API 接口,而且现在越来越多的数据以分布式存在不同的地方,要保证连接性,这就是面临的挑战。

    

Q:怎么看待 2025 年中国市场的需求及发展趋势?伴随着 F5 一系列的创新性的 AI 产品和解决方案的推出,其对 F5 伙伴的能力提出了哪些要求?

    

王学军:F5 的业务模型 99.99%都是跟合作伙伴在一起,我们在中国 24.5 年的时间,我们一直都跟伙伴在一起,跟伙伴一起成长,包括我们的客户。

    

我们今年大概会有六个方向。第一,我们在银行和电信的渠道是非常强的,我们大会里面可能一半以上都是 F5 的合作伙伴,但他们都是传统行业的,所以今年我们会加大在新行业伙伴的拓展。这毫无疑问,因为要做新行业了。我们从人力覆盖面上一定要依靠新的伙伴。

    

第二,针对新行业伙伴的相应项目,还有产品。我们今年还会根据特别、特定的合作伙伴怎样用 F5 产品等问题,为客户提供服务。从服务角度看,我们今年会针对这一类特定伙伴而推出相应的产品和计划。

 

第三,产品卖得不容易,在怎么赋能伙伴方面,我们有一套非常完整的线上线下结合方案,在每个季度进行很多场次培训。赋能是必须的,因为 F5 的产品购买过程非常复杂、产品非常复杂、迭代很快,所以要非常重视。当然,我们对伙伴有要求,需要一定数量的工程师完成 F5 标准的应用交付产品的认证培训与考试,这样才能确保合作伙伴为客户提供专业的服务,这也是 F5 在 24 年间从来没有间断过的对伙伴的赋能原因所在。

 

第四,除了 F5 自己正在向 SaaS 公司转型,我们更多的还是依靠本地 ISV,本地的 ISV 是渠道的重点方向之一。

 

F5 的责任是把高科技产品和方案能够带给全球的客户,包括中国。在大语言模型训练的时候,客户花了大价钱买 GPU,F5 可以使其变得更高效,实际上某种程度在帮客户降低成本。

 

比如我们在 SSL 加密流量的管理上,很多企业的安全设备是用糖葫芦串的部署方式,所有 SSL 流量进来之后都要经过多道安全设备处理,然后每道安全设备都会加解密,中间这些设备的性能就会浪费,延时也会加大,扩展也不灵捷,如果现在企业部署了 F5 的 SSLO,我们可以集中针对 SSL 流量进行加解密处理,释放安全设备的压力,节省投资,同时通过对安全设备的池化部署方式,扩展更灵捷,性能也可以成倍提升。

    

此外,F5 推出了 AI 网关(AI Gateway)助力企业高效整合应用、API 与大语言模型(LLM),加速 AI 技术的广泛部署。作为一款强大的容器化解决方案,F5 推出的 AI 网关可实现性能优化、提升可观测性,并强化安全防护,从而有效降低成本。其卓越的数据处理能力和用户体验,为运维与安全团队提供了一条无缝衔接 AI 服务的高效路径。 

 

Q:针对不同的 AI 场景,例如模型训练、推理,企业接入大模型等方面,F5 在今年的开放重点是什么?

    

Mohan:企业的重点还是放在推理这一方面,因为训练这个过程是非常贵的,不是所有的企业都能够负担得起,只有超级大规模的运营商,还有那种超级互联网厂商和云厂商才能够负担得起。大部分企业会选择便宜得多的,现成的 AI 模型,同时再加上自己的 RAG 能力,检索增强生成能力,这样来使用 AI。

 

还有 AI 人才短缺,那些 AI 人才、数据人才他们在其他非常大的企业里,你就是有钱都找不到人去雇。

    

Q:F5 在今年的开发重点是什么?

    

 Mohan:主要是两个方面,一个是 AI For F5,也就是说 F5 在全产品线中都增加了 AI 的能力,帮助我们的用户更简便地使用 F5。第二点,反向来看,F5 能为 AI 做什么?就是 F5 For AI。在 AI 数据中心建立的时候,通过 F5 的技术,使其更加高效,并且更容易扩展。我们和 NVIDIA 进行密切的合作,作为合作伙伴来帮助 AI 集群的建设。

 

还有 AI 模型里面,AI 大模型里面非常重要的一点就是安全问题,所以 F5 就推出了 AI 网关。AI 网关能保证大模型的安全。我在和亚洲区的客户进行沟通的时候,我发现大家脑子里放在第一位的 AI 方面的问题就是 AI 安全。

 

2025-03-04 16:284055

评论

发布
暂无评论

上班路上也是一道美景

xcbeyond

生活 摄影 摄影征文

Python 自动化测试全攻略:五种自动化测试模型实战详解

葡萄城技术团队

自动化测试

缓存解决方案-技术专题-Caffeine Cache

洛神灬殇

MySQL varchar类型最大值,原来一直都理解错了

架构精进之路

MySQL varchar

从大数据的角度来谈谈运维监控这件事儿

小清新同学

运维 监控

架构师训练营第二周学习总结

尹斌

不一样的面向对象(二)

书旅

php 面向对象

java安全编码指南之:可见性和原子性

程序那些事

Java java安全编码 java编码指南 java安全编码指南

Go中的HTTP请求之——HTTP1.1请求流程分析

Gopher指北

HTTP Go web Go 语言

什么才是“应用拓扑”?

小清新同学

运维 监控

程序执行太慢?快来学习SIMD加速技术,这个案例下的加速效果我也没想到(附带动手实验)

Optimize-Lab

优化代码 优化技巧 开源社区 simd Go 语言

自己动手写SQL执行引擎

无毁的湖光

Java MySQL 数据库 Linux 算法

如何快速制造OOM

Since

JVM OOM

收藏+下载!Flink 社区最全学习渠道汇总

Apache Flink

flink

保留时序数据波动细节的一种采样算法

小清新同学

监控 时序数据库

高难度对话读书笔记—认知篇2

wo是一棵草

架构师训练营第 1 期第 2周作业

owl

极客大学架构师训练营

监控应用,应该监控什么?

小清新同学

云计算 运维 监控

项目实战,动态增删form表单

麦洛

jquery 克隆

架构师训练营第 1 期第 2 周学习总结

owl

极客大学架构师训练营

如何设计Go语言中的channel

soolaugust

channel goroutines Go 语言

架构师训练营第 2 周作业

netspecial

极客大学架构师训练营

难得干货,揭秘支付宝的2维码扫码技术优化实践之路

JackJiang

支付宝

三步带你开发一个短链接生成平台

葡萄城技术团队

Java SpreadJS Node

Dolphinscheduler系统架构设计

dll

Apache DolphinScheduler

关于Java 编译Servlet或者自定义Tag,引入包的问题

谷鱼

Java

架构师训练营第二周作业

尹斌

2B还是2C,这真是个问题

MavenTalker

SaaS

架构师训练营第 1 期第二周课后练习题

Leo乐

极客大学架构师训练营

刷爆朋友圈的字节跳动编码题,今天把解析思路分享下!

Java架构师迁哥

RN运行项目报错:Unable to resolve module `./debugger-ui/debuggerWorker.js` from ``

凌宇之蓝

ios android React Native

未来 AI 应用更依赖API?F5给出了自己的AI方案_AI&大模型_褚杏娟_InfoQ精选文章