HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

基于融合计算的在线学习:打通流计算与机器学习

  • 2019-10-18
  • 本文字数:833 字

    阅读完需:约 3 分钟

基于融合计算的在线学习:打通流计算与机器学习

金融领域越来越多的活动场景,如双十一、双十二、财富日、新春大促,具有活动持续时间短强度高的特点,解决场景中的计算冷启动问题,优化系统效率和用户体验的需求越来越多。在生产环境的应用中,还需要满足高吞吐和端到端强数据一致性的需求,解决高维稀疏特征的大模型的训练、更新和服务问题。


在线机器学习,能够根据线上反馈数据,实时快速地进行模型调整,使得模型及时反映线上的变化,提高线上预测的准确率,能够有效的解决上述的一些问题,在金融场景也得到越来越多的应用。


基于融合计算的在线学习,通过打通流计算和机器学习两种计算模式,将不同系统间的数据传输转化为同一系统内部数据和计算之间、计算和计算之间,从而将不同的数据和计算的组织方式衔接在一起。在性能方面,通过内存间的数据共享减少数据的序列化和反序列化,大幅减少网络和计算开销,减少了 60%的机器资源使用,将端到端的延迟降低到原来的十分之一。同时,基于融合计算的在线学习通过流计算和 Tensorflow 的自然衔接,实现了端到端的数据一致性保障,并采用一体化编程、自助云化、智能运维大大简化了系统的开发、部署、运维成本。


融合计算由蚂蚁金服自主研发,它基于蚂蚁金服联合 UC Berkeley 大学推进的新一代计算引擎 Ray,通过动态数据流来实现流、批、离线数据的共享,在同一计算框架内兼容分布式服务、流处理、机器学习、图等计算模式,减少数据交换和落盘来优化计算和网络开销,是一个解决金融场景中需要衔接多个不同计算模式的开放计算框架。


通过流处理和机器学习两种计算模式的有机组合,基于融合计算的在线机器学习兼顾了各自的功能,并实现资源的优化和共享。在金融领域的其他场景也有其他类似的组合,如流式图计算。蚂蚁金服通过在线机器学习和流式图计算的探索,初步验证了融合计算框架。9 月 27 日,融合计算的理念与具体的案例将在云栖大会数字金融技术专场上进行分享,敬请期待。


本文转载自公众号蚂蚁金服科技(ID:Ant-Techfin)。


原文链接:


https://mp.weixin.qq.com/s/ZVR5zCE5CE3jmtPitVAj1A


2019-10-18 18:301151

评论

发布
暂无评论
发现更多内容

一份秀出新天际的SpringCloudAlibaba笔记,把微服务玩的出神入化

Java 编程 程序员 架构 微服务

翻译:《实用的Python编程》08_01_Testing

codists

Python

全面提升鸡群产能!Newcher智慧养鸡场解决方案剖析

Rancher

一周信创舆情观察(3.29~4.4)

统小信uos

新的物联网技术应用有哪些

cdhqyj

互联网 物联网 通信 计算机

你真的懂反馈吗?

石云升

28天写作 职场经验 管理经验 4月日更

你可能不是真的懂let和const

前端树洞

JavaScript ecmascript 大前端 ES6 4月日更

嘿,朋友!和你讲讲这15年来我的成长吧

亚马逊云科技 (Amazon Web Services)

AI 事件驱动场景 Serverless 实践

阿里巴巴云原生

人工智能 Serverless 容器 云原生 消息中间件

Android音视频 - MediaCodec编解码音视频

LoveYFan

android 音视频 编解码

一个DNS引发的“血案”

穿过生命散发芬芳

Wireshark 数据包分析 4月日更

深入浅出 LVS 负载均衡系列(一):NAT、FULLNAT 模型原理

UCloud技术

负载均衡

经典递归

山@支

我的 2015-2018 —— 银行软开三年项目回顾

清秋

大前端 重构 鉴权 4月日更

19张图带你梳理SpringCloud体系中的重要技术点!

Java架构师迁哥

游戏数据埋点

data_y

游戏 数据埋点 游戏数据分析 埋点定义

【得物技术】算法入门一:算法的好坏?复杂度告诉你

得物技术

算法 时间复杂度 大前端 入门 复杂度

新华三“云屏”发布:云屏融合重塑工作体验,全力构建智“会”时代

DT极客

JavaScript小笔记

赫鲁小夫

4月日更

Fl Studio真的不如Cubase或者Logic Pro等电音软件专业吗?

奈奈的杂社

编曲 电音 电音制作 中国电音 编曲宿主

Github限时开放!阿里内部强推的《微服务容器化参考指南》简直太牛了!

Java架构之路

Java 程序员 架构 面试 编程语言

聪明人的训练(九)

Changing Lin

4月日更

在业务高峰期拔掉服务器电源是一种怎样的体验?

冰河

分布式 微服务 数据恢复 MySQL 高可用 异常处理

平面设计之PS(中)

空城机

PhotoShop ps 4月日更

CIAM的7个基本原则

龙归科技

安全性 用户 业务增长

调整云计算资源大小时要避免的10个错误

云计算

三翼鸟的羽翼下,人诗意地栖居在智能生活里

脑极体

一位五年Java开发经验程序员的拼多多/蚂蚁金服/百度面经分享!

Java架构之路

Java 程序员 架构 面试 编程语言

【软件推荐】TOP级YouTube视频下载工具2021

科技猫

软件 分享 工具软件 视频 youtube

这里有一份2021年Java面试必备的《并发编程》学习资料,你要还是不要?

Java架构之路

Java 程序员 架构 面试 编程语言

Android音视频 - EGL源码解析以及C++实现

LoveYFan

android 音视频 OpenGL ES

基于融合计算的在线学习:打通流计算与机器学习_阿里巴巴_Geek_cb7643_InfoQ精选文章