写点什么

eBay 的数据处理框架 Accelerator 提供并行执行和实时推荐功能

  • 2018-06-04
  • 本文字数:1032 字

    阅读完需:约 3 分钟

看新闻很累?看技术新闻更累?试试下载 InfoQ 手机客户端,每天上下班路上听新闻,有趣还有料!

eBay 的数据处理框架 Accelerator 提供并行执行和自动组织源代码、输入数据及计算结果的功能。它可以用于数据分析、算法开发,以及拥有大型数据文件和多个 CPU 的实时推荐系统。它也有助于管理和记录数据文件、计算、计算结果和它们之间相互关系。

eBay 的团队最近开源了 Accelerator 框架。Accelerator 最初是由瑞典 AI 公司 Expertmaker 于 2012 开发。eBay 在 2016 年收购了 Expertmaker。

该框架用于处理像事物日志、事件日志和数据库转储这样的日志文件。Accelerator 是基于 C/S 的应用程序。它的架构包括一个“runner”客户端和两个名为“daemon”和“urd”的服务器。

runner 程序运行在 daemon 服务器上执行作业的脚本(称为构建脚本,build scripts)。该服务器将加载并存储执行的所有作业的信息和计算结果。同时,所有作业将由 urd 服务器存储到作业日志文件系统数据库中。

Urd 服务器把作业和它们的依赖项一起存储在基于日志文件的数据库中。所有在构建脚本中发生的事情都可能被记录到 Urd 中。

数据集是 Accelerator 的默认存储类型,专为并行处理和高性能而设计的。

数据集构建于作业之上,因此,数据集通过各种方法创建并存储在作业目录中,就像任何一个作业结果一样。单个作业也许包含任意数目的数据集,因此可以把一个输入数据集分成若干个新数据集。

该 Accelerator 的关键特性是重用计算结果和数据流。如果一项作业已经存在,Accelerator 将不再构建此项作业。这节省了执行时间,并有助于在用户之间共享计算结果。它还提供了可见性并确保了确定性。数据流有助于处理连续的数据块,比在数据库里执行查询更有效率。流式传输是实现从硬盘到 CPU 高带宽的最佳途径,可以很好地利用操作系统基于 RAM 的硬盘缓冲区。

Accelerator 内存占用很小,可以在笔记本电脑或机架式服务器上运行。在开源之前,像 Safeway、星巴克、eBay 和 Vodafone 这样的公司已经把它运用于项目中了。

它获得了 Apache 2.0 许可授权。如果您有兴趣了解更多关于 ExpertMaker Accelerator 的信息,请查阅 Github 存储库安装存储库用户参考手册

阅读英文原文 eBay’s Accelerator Data Processing Framework Provides Parallel Execution and Live Recommendations


感谢冬雨对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

公众号推荐:

AGI 概念引发热议。那么 AGI 究竟是什么?技术架构来看又包括哪些?AI Agent 如何助力人工智能走向 AGI 时代?现阶段营销、金融、教育、零售、企服等行业场景下,AGI应用程度如何?有哪些典型应用案例了吗?以上问题的回答尽在《中国AGI市场发展研究报告 2024》,欢迎大家扫码关注「AI前线」公众号,回复「AGI」领取。

2018-06-04 13:142772
用户头像

发布了 199 篇内容, 共 82.5 次阅读, 收获喜欢 293 次。

关注

评论

发布
暂无评论
发现更多内容

IPQ6000 IPQ6010 VS IPQ5018|A Comprehensive Comparison: Evaluating Wallys' WiFi 6 SoCs Offering

wallyslilly

IPQ6010 IPQ6000 ipq5018

Eagle for Mac(图片管理工具)v1.9.2中文版

iMac小白

RapidClick for mac(鼠标自动点击软件)v1.5.1激活版

iMac小白

WAVE SUMMIT+ 2023 今日开场!奉上完整预告和参会指南,今天见!

飞桨PaddlePaddle

人工智能 深度学习 开发者 WAVE SUMMIT

创新驱动数字经济发展,融云获评「2023 数字经济隐形独角兽」

融云 RongCloud

数字化转型 数字经济 办公 融云 政企

赛博威新一代TPM营销费用管理指南——费用管理类型篇

赛博威科技

数字化转型 营销费用管理 赛博威 销售费用管理 费用管理类型

场外白名单达到1200U?Solana 生态铭文跨链桥 Sobit 是何神圣?

大瞿科技

OmniGraffle Pro for mac(专业图表绘制软件) v7.22.4激活版

影影绰绰一往直前

TI 专访 Merlin Protocol:构建在比特币网络上的资产适配协议

TerpLayer

Ulysses for Mac(让写作变得更加简单) v33.1免激活版

影影绰绰一往直前

软件测试/测试开发丨测试流程体系-学习笔记

测试人

软件测试 测试开发

MAMP PRO for Mac v6.8.1永久激活版 专业的Web开发环境

iMac小白

BERT实现多标签文本分类:强大模型的应用与展望

百度开发者中心

自然语言处理 大模型 LLM

RWKV: 轻松实现大模型本地私有化部署

百度开发者中心

人工智能 深度学习 大模型

Radio Silence for mac(简单好用的防火墙)v3.2激活版

iMac小白

将 Python 和 Rust 融合在一起,为 pyQuil® 4.0 带来和谐

Swift社区

rust Python Monad

Lightroom Classic 2022 for Mac中文破解版:轻松分享你的作品

影影绰绰一往直前

ETLCloud X 明道云实现无缝数据连接

RestCloud

数据同步 ETL 明道云

知识图谱技术在金融领域的分析和应用

悦数图数据库

图数据库 知识图谱

【Linux】硬件性能测试工具安装。

百度搜索:蓝易云

云计算 Linux 运维 服务器 云服务器

火山引擎边缘云获“2023边缘计算年度领航企业”及“最佳CDN创新企业”等多项荣誉

火山引擎边缘云

CDN 边缘计算 边缘云 CDN技术

语音数据集:智能语音技术的基石与挑战

来自四九城儿

软件测试/测试开发丨SQL多表查询 学习笔记

测试人

sql 软件测试 测试开发

做好数据管理体系 发挥企业数据乘数效应

用友BIP

数据

ubuntu20.4服务器安装mysql社区版并开放3306端口

百度搜索:蓝易云

MySQL 云计算 Linux ubuntu 运维

如何在敏捷项目中实现高效测试?

敏捷开发

项目管理 敏捷开发 测试左移 测试自动化 bug管理

mac电脑强大电脑风扇转速管理:Macs Fan Control Pro激活码中文版

胖墩儿不胖y

Mac软件 电脑风扇软件 风扇转速软件

软通咨询助力某新能源头部企业迈向高效数智化时代,塑造行业新典范

软通咨询

数据智能 数字化咨询

北京师范大学心理学部副部长骆方:智能化人才测评技术进展

用友BIP

智能化人才测评

从BERT到ChatGPT:预训练大模型的演变与突破

百度开发者中心

人工智能 nlp 大模型

ABBYY FineReader PDF 15 for Mac(ocr文字识别软件)v15.2.13中文激活版

iMac小白

eBay的数据处理框架Accelerator提供并行执行和实时推荐功能_大数据_Srini Penchikala_InfoQ精选文章