QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

Uber 创建镜像 OpenAI API 的 GenAI 网关,支持 60 多个 LLM 用例

作者:Rafal Gancarz

  • 2024-10-28
    北京
  • 本文字数:1070 字

    阅读完需:约 4 分钟

Uber 创建镜像 OpenAI API 的 GenAI 网关,支持 60 多个 LLM 用例

Uber 为服务外部供应商及自托管的大语言模型而创建的统一平台,为便于内部的采用而选择了镜像 OpenAI 的 API。GenAI 网关提供了一致且高效的接口,可为多个领域内的 60 多个不同的 LLM 用例提供服务。


Uber 是大语言模型(LLM)最早的一批采用者之一, 公司内有多个团队专注于将以 AI 驱动的功能融入到流程自动化、客户支持和内容生成等各个领域之中。然而,不同的集成类型也导致了工作的重复和方法的不统一。为应对这些挑战,Uber 决定将大模型相关的服务集中都在 GenAI 网关这一项服务中。


Uber 高级软件工程师 Tse-Chi Wang 和 Roopansh Bansal 解释了创建网关的原因:


GenAI 网关是为简化团队在项目中集成大模型的工作流程,简易的载入流程减少了团队的工作量,为利用大语言模型强大的功能提供了清晰且直接的途径。此外,工程安全团队所提供的标准化审核流程也会根据 Uber 的数据标准审查用例,审核通过才会允许用例访问网关。


出于 LangChain 和 LlamaIndex 等开源库的广泛采用和高可用性,Uber 团队选择在网关中使用 OpenAI API,通过镜像这一知名的应用程序接口可以简化载入的流程,扩大网关的负载范围。


GenIAI 网关是一项用 Go 语言编写的、位于服务层中的服务,结合了外部(OpenAI、Vertex AI)、内部的大语言模型和许多通用的能力(如验证和账户管理、缓存、可观测性和监控)。


GenAI 网关的架构图(来源:Uber Engineering Blog)


GenAI 网关可减少个人身份信息(PII),这对大语言模型来说不仅重要也是一项挑战。Uber 要在将请求转发至第三方供应商之前确保其中的 PII 数据是经过匿名处理的,从而避免敏感数据的暴露风险。但从另一方面来说,PII 的减少可能会导致请求中丢失重要上下文信息,从而让大语言模型无法提供有用的回复。此外,数据的减少对大语言模型的缓存和检索增强生成(RAG)来说也是个问题。为应对这些挑战,Uber 团队鼓励使用 Uber 托管的大语言模型或是考虑依赖第三方供应商提供的安全保障。


作者在这里提供了一个案例研究,通过为客服提供聊天内容总结,减少处理用户查询的时间,从而提高客服的运营效率。在这一案例中,大语言模型所生成的总结有 97% 被客服认为有用,用户查询时间缩短了 6 秒。目前该方案每周生成约 2,000 万份总结,Uber 团队计划将其扩展到更多的地区和使用类型中。


集成 GenAI 网关以支持特定用例(来源:Uber Engineering Blog)


Uber 团队从 GenAI 网关的开发和运行中学到了很多,并计划通过智能大模型缓存机制和更优秀的回滚逻辑、模型幻觉检测和安全策略维护进行改进。


查看英文原文

https://www.infoq.com/news/2024/09/uber-genai-gateway-llm-openai/

2024-10-28 08:083579

评论

发布
暂无评论
发现更多内容

金融领域研发效能的特性有哪些?拓展边界是什么?

思码逸研发效能

研发效能 金融科技 研发效能度量 研发效能管理 思码逸

鸿蒙元服务审核上的一些思考

flfljh

英特尔IEDM 2024大晒封装、晶体管、互连等领域技术突破

E科讯

Hume 语音模型 OCTAVE:实现情感语音合成、声音克隆和多角色对话生成;通义开源多模态说话人识别项目 3D-Speaker

声网

【YashanDB知识库】如何处理报错"UDT column batch insert" has not been implemented yet

YashanDB

数据库 yashandb

阿里P8面试官重磅首发2025年Java岗春招面试总结!

程序员高级码农

Java 编程 程序员 java面试 Java面试题

什么是原生IP?

Ogcloud

IP 海外原生IP 海外IP 海外IP代理 海外静态IP

今日分享 | 新增任务交互秘籍

inBuilder低代码平台

设计 UX 交互设计

矩阵起源荣膺"2024AI最佳实践案例"------多模态AI数据智能平台,让您的数据成就您的AI

MatrixOrigin

数据库 AI InfoQ 技术创新 MatrixOrigin

【YashanDB知识库】启动数据库时报错:YAS-02059 control file version 0.2.64 is incompatible with YashanDB version 0.2.65

YashanDB

数据库 yashandb

【YashanDB知识库】如何排查YMP报错:”OCI版本为空或OCI的架构和本地系统的架构不符“

YashanDB

数据库 yashandb

比特币市场震荡:回调背后的机遇与挑战

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

什么是企业组网?企业组网的重要性解析

Ogcloud

组网 企业组网 企业网络 公司网络

京东科技基于 Apache SeaTunnel 探索复杂场景适配

白鲸开源

Clickhouse 数据同步 数据集成 Apache SeaTunnel 京东科技

一文了解多云原生的现代化实时数仓 SelectDB Cloud

SelectDB

云计算 数据仓库 云原生 云数据库 SelectDB

开源for Huawei,Beam适配GaussDB实践案例分享

华为云开发者联盟

Beam GaussDB Java’ #数据库 #开源

天润融通解决方案:大模型让SOP执行监管更智能

天润融通

和鲸科技荣获 2024 全国人工智能应用场景创新挑战赛二等奖,赋能“学科+AI”人才培养与实验室建设

ModelWhale

人工智能 大数据 AI

【YashanDB知识库】如何解决共享集群部署遇到报错:YAS-05721 invalid input parameter, reason: node name invalid.

YashanDB

数据库

开发一个DApp项目:DeFi、DApp开发与公链DApp开发

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 公链开发 代币开发

图像识别大揭秘:从安防到自动驾驶,视觉模型如何重塑世界

测吧(北京)科技有限公司

测试

测试人生 | 手工转测试开发成功秘籍揭秘:从裁员到入职18k+,收获4个Offer,道阻且长不怯步

测吧(北京)科技有限公司

测试

技术干货丨OptiStruct 非线性之前车门下沉分析

Altair RapidMiner

汽车 制造 仿真 sheji altair

告别传统FAQ,天润融通如何通过AI优化员工服务体验?

天润融通

启用Linux防火墙日志记录和分析功能

运维有小邓

IT自动化运维 linux日志管理 防火墙日志管理

JVM简介—垃圾回收器和内存分配策略

不在线第一只蜗牛

Python JVM

Uber 创建镜像 OpenAI API 的 GenAI 网关,支持 60 多个 LLM 用例_AI 工程化_InfoQ精选文章