Apache 软件基金会正式宣布 Griffin 为顶级项目。Griffin 是一个适用于各种规模分布式数据系统的开源大数据质量解决方案。它提供一个统一的流程以从不同角度度量数据数据质量,以及构建和验证在流式处理或批处理上下文中的可信数据资产。
Griffin 起源于 eBay,并于 2016 年 12 月进入 Apache 孵化器。
Griffin 副主席 William Guo 说:“对于 Griffin 到达这一重要里程碑,我们感到非常自豪。通过积极提高大数据质量,Griffin 有助于构建可信数据资产,从而提升对业务的信心。”
Griffin 通过以下方式帮助数据科学家和分析师处理数据质量问题:
定义——指明数据质量要求,如准确性、完整性、及时性和描述性等;
度量——摄取到 Griffin 计算集群的源数据将根据用户定义的需求度量数据质量;
应用指标——数据质量报告作为指标,将被导出到指定位置。
此外,Griffin 允许用户将新的要求纳入平台,并编写全面的逻辑来进一步定义数据质量。
Griffin 被广泛应用于网易、eBay、Expedia、华为、京东、美图、PayPal、平安银行、PPDAI、VIP.com 以及 VMWare 等具有大数据量和高需求的环境中 。
eBay、通用汽车中国卓越中心副总裁 Vivian Tian 表示:“2016 年 12 月 eBay 把 Griffin 贡献给 Apache 孵化器,以确保其未来以社区驱动的方式发展。Griffin 的想法始于 eBay 想要解决跨多个系统中(尤其是在流式数据上下文)的数据质量问题 。Griffin 给数据生态系统带来了数据质量解决方案,并确保数据应用程序拥有坚实的质量基础。我们非常高兴看到 Griffin 作为 Apache 顶级项目毕业了,并期望它继续创新并和 Apache 社区继续合作。”
VIPshop Finance 高级总监 Chao Zhu 表示:“两年来,我们一直在使用 Griffin,用数据质量指标监控 1000 多张数据表。我们很高兴看到它成为顶级项目。Griffin 及其数据质量 DSL 有助于我们轻松地在我们的大数据平台上即时识别数据质量问题。此外,Griffin 的架构具有高度可扩展性。我们期盼能够在实时数据质量管理系统中使用它。我们也希望为 Griffin 贡献一些力量,回馈社区。”
PPDAI 实时数据部门总监 Jianfeng Liu 说:“我们感谢 Griffin 项目,它真的对我们的日常工作很有帮助。在努力应对数据质量问题多年之后,我们转向 Griffin,以简化我们的数据质量管道。因为批处理和流处理都可以用到 Griffin 的统一模型,我们已经能够用一种无缝的解决方案替换了传统系统。Griffin DSL 让我们大大简化了我们的管道,并减轻了我们的工作量。我很自豪也很兴奋地看到该项目的毕业。”
PayPal 企业服务平台高级工程经理 Austin Sun 说:“Griffin 是我的团队迄今为止用过的最好的数据质量解决方案之一。看着 Griffin 社区飞速发展是一个非常令人兴奋的过程。很多人不断采用它并贡献更新的功能。在 PayPal 风险部门,我们从 Griffin 中受益良多,借助 Griffin,我们能够提供高质量数据来做出精确决策和保护我们的客户。除了 PayPal 风险部门,我知道还有其他企业也在使用 Griffin 的核心能力作为他们的数据质量解决方案。我很荣幸目睹 Griffin 成长为顶级项目。请继续努力,Griffin。”
ASF 成员和 Griffin 孵化器导师 Henry Saputra 说:“Griffin 项目是另一个展示项目,它展示了社区如何让代码从公司内部走向开源。除了其它几个已经捐赠给 ASF 的项目(如 Apache Kylin 和 Eagle)外,我很自豪参与了 Griffin 项目,并在 eBay 把它贡献出来时成为该项目的导师。整个团队非常努力地去适应 Apache Way,并充分尊重开源社区在设计、开发和发布过程。作为一个顶级项目,我认为 PMC 将有助于领导该项目在未来取得更大的成功。”
Guo 补充道:“毕业不是结束,它是另一段旅程的开始。我们希望通过更广泛的功能和用户把 Griffin 提升到一个新水平。我们欢迎大家加入,通过产品设计、文档、代码、技术讨论或用 Apache Way 来推广 Griffin。”
可用性和监督
Griffin 基于 Apache License v2.0 发行,并由一个活跃贡献者自选的团队进行监督。项目管理委员会(Project Management Committee,简称 PMC)指导项目的日常运营,包括社区开发和产品发布。有关下载、文档以及参与 Griffin 项目的方法,请访问以下网址:http://griffin.apache.org/ 和https://twitter.com/apachegriffin。
评论 1 条评论