写点什么

Uber 创建镜像 OpenAI API 的 GenAI 网关,支持 60 多个 LLM 用例

作者:Rafal Gancarz

  • 2024-10-28
    北京
  • 本文字数:1070 字

    阅读完需:约 4 分钟

Uber 创建镜像 OpenAI API 的 GenAI 网关,支持 60 多个 LLM 用例

Uber 为服务外部供应商及自托管的大语言模型而创建的统一平台,为便于内部的采用而选择了镜像 OpenAI 的 API。GenAI 网关提供了一致且高效的接口,可为多个领域内的 60 多个不同的 LLM 用例提供服务。


Uber 是大语言模型(LLM)最早的一批采用者之一, 公司内有多个团队专注于将以 AI 驱动的功能融入到流程自动化、客户支持和内容生成等各个领域之中。然而,不同的集成类型也导致了工作的重复和方法的不统一。为应对这些挑战,Uber 决定将大模型相关的服务集中都在 GenAI 网关这一项服务中。


Uber 高级软件工程师 Tse-Chi Wang 和 Roopansh Bansal 解释了创建网关的原因:


GenAI 网关是为简化团队在项目中集成大模型的工作流程,简易的载入流程减少了团队的工作量,为利用大语言模型强大的功能提供了清晰且直接的途径。此外,工程安全团队所提供的标准化审核流程也会根据 Uber 的数据标准审查用例,审核通过才会允许用例访问网关。


出于 LangChain 和 LlamaIndex 等开源库的广泛采用和高可用性,Uber 团队选择在网关中使用 OpenAI API,通过镜像这一知名的应用程序接口可以简化载入的流程,扩大网关的负载范围。


GenIAI 网关是一项用 Go 语言编写的、位于服务层中的服务,结合了外部(OpenAI、Vertex AI)、内部的大语言模型和许多通用的能力(如验证和账户管理、缓存、可观测性和监控)。


GenAI 网关的架构图(来源:Uber Engineering Blog)


GenAI 网关可减少个人身份信息(PII),这对大语言模型来说不仅重要也是一项挑战。Uber 要在将请求转发至第三方供应商之前确保其中的 PII 数据是经过匿名处理的,从而避免敏感数据的暴露风险。但从另一方面来说,PII 的减少可能会导致请求中丢失重要上下文信息,从而让大语言模型无法提供有用的回复。此外,数据的减少对大语言模型的缓存和检索增强生成(RAG)来说也是个问题。为应对这些挑战,Uber 团队鼓励使用 Uber 托管的大语言模型或是考虑依赖第三方供应商提供的安全保障。


作者在这里提供了一个案例研究,通过为客服提供聊天内容总结,减少处理用户查询的时间,从而提高客服的运营效率。在这一案例中,大语言模型所生成的总结有 97% 被客服认为有用,用户查询时间缩短了 6 秒。目前该方案每周生成约 2,000 万份总结,Uber 团队计划将其扩展到更多的地区和使用类型中。


集成 GenAI 网关以支持特定用例(来源:Uber Engineering Blog)


Uber 团队从 GenAI 网关的开发和运行中学到了很多,并计划通过智能大模型缓存机制和更优秀的回滚逻辑、模型幻觉检测和安全策略维护进行改进。


查看英文原文

https://www.infoq.com/news/2024/09/uber-genai-gateway-llm-openai/

2024-10-28 08:083608

评论

发布
暂无评论
发现更多内容

大数据培训:HiveSQL技术优化与面试

@零度

Hive SQL 大数据开发

PendingIntent重定向:一种针对安卓系统和流行App的通用提权方法——BlackHat EU 2021议题详解(上)

安第斯智能云

安全 安卓

WPF 与 Winform 的区别以及应用场景

神农写代码

阿里巴巴发布最佳实践 | 阿里巴巴DevOps实践指南

阿里云云效

云计算 阿里云 DevOps 云原生 迭代管理

AQS 源码流程分析

网易云信

java

干货|一次完整的性能测试,测试人员需要做什么?

云智慧AIOps社区

测试 性能测试 测试 单元测试 测试类型 测试管理

CRM复杂业务场景的低代码开发实践

鲸品堂

低代码

WPF 项目版本控制以及布局控件

神农写代码

中科柏诚本地生活引数字化活水,解银行疫情期困局

联营汇聚

Java基础重要面试题(一)

逆锋起笔

java面试 java基础 3月月更

微博系统中”微博评论“的高性能高可用计算架构

孙强

架构师实战营

Web 键盘输入法应用开发指南 (8) —— 模拟事件

天择

JavaScript 键盘 输入法 3月月更

Nginx 反向代理(二)

神农写代码

我们不太可能一直存在着失控的人生,我们要做的是,让拥有自控力的时间长一点,让失控的日子短一点。

叶小鍵

面试突击30:线程池是如何执行的?拒绝策略有哪些?

王磊

java面试

22.04 LTS爆料现场 - UKUI 3.1实操界面曝光,简约却不简单!

优麒麟

Linux 开源 操作系统 优麒麟 UKUI

免费下载 |《Serverless 开发速查手册》让你速查秒懂 Serverless

阿里巴巴云原生

云原生

WPF -资源引用、资源字典引用以及容器模板和数据模板

神农写代码

To程序员:要写出好代码,你需要懂点儿“底层思维”

博文视点Broadview

Qunar【业务架构解析与探索】系列课重磅来袭啦!!

Qunar技术沙龙

架构

基于微信小程序的驾校预约学车平台的概要设计和详细设计

CC同学

什么是 RabbitMQ

Ayue、

RabbitMQ 3月月更

Nginx反向代理(三)

神农写代码

WPF-依赖属性、依赖附加属性以及类型转换

神农写代码

智慧停车场-车牌识别自动计费系统

DS小龙哥

车牌识别 3月月更

Nginx反向代理(一)

神农写代码

StarRocks 2.1 新版本特性介绍

StarRocks

数据库 大数据 StarRocks

Linux下玩转nginx系列(三)---nginx日志配置文件说明

anyRTC开发者

nginx Linux 音视频 WebRTC 服务器

遵循Promises/A+规范,手把手带你实现Promise源码(核心篇)

战场小包

JavaScript 前端 Promise 3月月更

petite-vue源码剖析-双向绑定`v-model`的工作原理

CRMEB

Uber 创建镜像 OpenAI API 的 GenAI 网关,支持 60 多个 LLM 用例_AI 工程化_InfoQ精选文章