HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

让你的 AI 模型尽可能的靠近数据源

  • 2019-10-24
  • 本文字数:2036 字

    阅读完需:约 7 分钟

让你的AI模型尽可能的靠近数据源

今天我们发布了一个 RedisAI 的预览版本,预集成了[tensor]werk 组件。RedisAI 是一个可以服务 tensors 任务和执行深度学习任务的 Redis 模块。在这篇博客中,我们将介绍这个新模块的功能,并解释我们为什么会认为它能颠覆机器学习(ML)、深度学习(DL)的解决方案。


RedisAI 的产生有两大原因:首先,把数据迁移到执行 AI 模型的主机上成本很高,并且对实时性的体验很大的影响;其次,Serving 模型一直以来都是 AI 领域中 DevOps 的挑战。我们构建 RedisAI 的目的,是让用户可以在不搬迁 Redis 多节点数据的情况下,也能很好地服务、更新并集成自己的模型。

数据位置很重要

为了证明运行机器学习、深度学习模型中数据位置的重要性,我们举一个聊天机器人的例子。聊天机器人通常使用递归神经网络模型(RNN),来解决一对一(seq2seq)用户问答场景。更高级的模型使用两个输入向量、两个输出向量,并以数字中间状态向量的方式来保存对话的上下文。模型使用用户最后的消息作为输入,中间状态代表对话的历史,而它的输出是对用户消息和新中间状态的响应。



为了支持用户自定义的交互,这个中间状态必须要保存在数据库中,所以 Redis +RedisAI 是一个非常好的选择,这里将传统方案和 RedisAI 方案做一个对比。

1、传统方案

使用 Flask 应用或其它方案,集成 Spark 来构建一个聊天机器人。当收到用户对话消息时,服务端需要从 Redis 中获取到中间的状态。因为在 Redis 中没有原生的数据类型可用于 tensor,因此需要先进行反序列化,并且在运行递归神经网络模型(RNN)之后,保证实时的中间状态可以再序列化后保存到 Redis 中。


考虑到 RNN 的时间复杂度,数据序列化/反序列化上 CPU 的开销和巨大的网络开销,我们需要一个更优的解决方案来保证用户体验。


2、RedisAI 方案

在 RedisAI 中,我们提供了一种叫 Tensor 的数据类型,只需使用一系列简单的命令,即可在主流的客户端中对 Tensor 向量进行操作。同时,我们还为模型的运行时特性提供了另外两种数据类型:Models 和 Scripts。



Models 命令与运行的设备(CPU 或 GPU)和后端自定义的参数有关。RedisAI 内置了主流的机器学习框架,如 TensorFlow、Pytorch 等,并很快能够支持 ONNX Runtime 框架,同时增加了对传统机器学习模型的支持。然而,很棒的是,执行 Model 的命令对其后端是不感知的:


AI.MODELRUN model_key INPUTS input_key1 … OUTPUTS output_key1 …


这允许用户将后端选择(通常由数据专家来决定)和应用服务解耦合开来,置换模型只需要设置一个新的键值即可,非常简单。RedisAI 管理所有在模型处理队列中的请求,并在单独的线程中执行,这样保障了 Redis 依然可以响应其它正常的请求。


Scripts 命令可以在 CPU 或 GPU 上执行,并允许用户使用 TorchScript 来操作 Tensors 向量,TorchScript 是一个可操作 Tensors 向量的类 Python 自定义语言。这可以帮助用户在执行模型前对数据进行预处理,也可以用在对结果进行后处理的场景中,例如通过集成不同的模型来提高性能。



RedisAI 的数据类型和后端概览


我们计划未来通过 DAG 命令支持批量执行命令,这会允许用户在一个原子性操作中批量执行多个 RedisAI 命令。例如在不同的设备上运行一个模型的不同实例,通过脚本对执行结果做平均预测。使用 DAG 命令,就可并行地进行计算,再执行聚合操作。如果需要全量且更深的特性列表,可以访问 redisai.io


新的架构可以简化为:


模型服务可以更简单

在生产环境中,使用 Jupyter notebooks 来编写代码并将其部署在 Flask 应用并不是最优方案。用户如何确定自己的资源是最佳的呢?如果用户主机宕机之后,上述聊天机器人的中间状态会发生什么呢?用户可能会重复造轮子,实现已有的 Redis 功能来解决问题。另外,由于组合方案的复杂度往往超出预期,固执地坚持原有的解决方案也会非常有挑战性。


RedisAI 通过 Redis 企业级的数据存储方案,支持深度学习所需要的 Tensors、Models 和 Scripts 等数据类型,很好的实现了 Redis 和 AI 模型的深度整合。如果需要扩展模型的计算能力,只需要简单的对 Redis 集群进行扩容即可,所以用户可以在生产环境中增加尽可能多的模型,从而降低基础设施成本和总体成本。


最后,RedisAI 很好地适应了现有的 Redis 生态,允许用户执行脚本来预处理、后处理用户数据,可使用 RedisGear 对数据结构做正确的转换,可使用 RedisGraph 来保持数据处于最新的状态。

结论和后续计划

1、短期内,我们希望使用 RedisAI 在支持 3 种主流后端(Tensorflow、Pytorch 和 ONNX Runtime)的情况下,尽快稳定下来并达到稳定状态。


2、我们希望可以动态加载这些后端,用户可以自定义的加载指定的后端。例如,这将允许用户使用 Tensorflow Lite 处理边缘用例。


3、计划实现自动调度功能,可以实现在同一模型中实现不同队列的自动合并。


4、RedisAI 会统计模型的运行数据,用于衡量模型的执行情况。


5、完成上文中解释的 DAG 特性。


本文转载自公众号中间件小哥(ID:huawei_kevin)。


原文链接:


https://mp.weixin.qq.com/s/XKUI_J9Fc_CguoA7AEXrgQ


2019-10-24 09:561046

评论

发布
暂无评论
发现更多内容

如何把域名解析到自己的网站?怎么设置域名解析?

国科云

复盘自研产品,总结技术实践

小院里的霍大侠

CoT思维链 , 大模型“智能涌现”的关键

澳鹏Appen

大模型 模型推理 AGI 智能涌现 思维链

基于阿里云服务网格流量泳道的全链路流量管理(三):无侵入式的宽松模式泳道

阿里巴巴云原生

阿里云 云原生 服务网格

未来5年,只有这种产品团队才能开启上帝视角【玩转IPD】

IPD产品研发管理

产品 项目管理 产品开发 软件研发

TechSmith Snagit for mac(强大的屏幕截图软件) v2023.3.1中文版

Mac相关知识分享

Mac 截图 Mac软件 截图软件

Flink⼤状态作业调优实践指南:Flink SQL 作业篇

Apache Flink

大数据 flink flink sql

抖音面试:说说延迟任务的调度算法?

王磊

京东商品评论数据接口(JD.item_review)丨京东平台实时API接口指南

tbapi

京东API接口 京东商品评论接口 京东商品评论采集

2024-06-05:用go语言,给定三个正整数 n、x 和 y, 描述一个城市中由 n 个房屋和 n 条街道连接的情况。 城市中存在一条额外的街道连接房屋 x 和房屋 y。 需要计算对于每个街道数(

福大大架构师每日一题

福大大架构师每日一题

「C++」深度分析C++中i++与++i的区别 _

不在线第一只蜗牛

c++ 编程 开发语言

淘宝/天猫商品详情API接口与数据挖掘技术的结合应用

技术冰糖葫芦

API 接口 API 文档 API 策略

摄影师必备软件XnViewMP for Mac(图片浏览查看器) v1.7.2版

Mac相关知识分享

Mac软件 mac软件下载 图像处理软件

区块链最新热点新闻:技术升级与市场动态

dappweb

政界人士敦促拜登从尼日利亚带回币安高管

区块链开发团队DappNetWork

Affinity Publisher for Mac(专业排版设计软件) v2.5.2版

Mac相关知识分享

Mac Mac软件 排版设计软件 mac下载

软件测试学习笔记丨Vue常用指令-条件渲染(v-if)

测试人

软件测试

为什么身份控制是确保API接口访问安全的关键?

幂简集成

安全 API 身份控制

ForkLift for Mac(文件管理程序) v4.1.3版

Mac相关知识分享

软件 文件管理 mac软件下载 Mac办公软件

SpaceX 星舰周四晚八点再试飞;Backseat AI 发布《英雄联盟》实时辅导工具丨 RTE 开发者日报 Vol.219

声网

心诺安 x TapData:快速搭建云中数仓,助力电商企业实施“以用户为中心的”精细化运营

tapdata

数据库

LPS完成战略性收购 增强数据实践和营销云能力

财见

再见,PCA 主成分分析!

EquatorCoco

Python 人工智能 机器学习

8个实用的Java Streams API

快乐非自愿限量之名

Java API 开发语言

PostgreSQL 17 Beta1 发布,酷克数据再次贡献核心力量

酷克数据HashData

容器网络实现(中):为容器插上”网线“

EquatorCoco

php 容器 网络

数据库市场或迎变局 天翼云TeleDB打造企业数据管理最优解

Geek_2d6073

智能封面提取方案在广电媒体中的应用

爱AI的猫猫头

人工智能 音视频 低代码 办公效率 内容分析

速卖通商品详情API(aliexpress.item_get)返回值详解与实战

技术冰糖葫芦

API 接口 API 文档 API 策略

让你的AI模型尽可能的靠近数据源_云原生_Redislabs_InfoQ精选文章