【AICon】 如何构建高效的 RAG 系统?RAG 技术在实际应用中遇到的挑战及应对策略?>>> 了解详情
写点什么

10 月不能错过的这场开源大数据大会,有哪些亮点值得开发者关注?

  • 2021-10-13
  • 本文字数:2179 字

    阅读完需:约 7 分钟

10月不能错过的这场开源大数据大会,有哪些亮点值得开发者关注?

数据是 DT 时代新的“石油”,这句话,大家已经耳熟能详。当数据成为石油,其价值则依靠大数据技术的挖掘和变现。


从网购、叫车、订外卖到看电影,人们生活和工作诸多场景的背后都离不开大数据技术。经过十几年的发展,它已经成为互联网企业的基础设施。通过大数据技术,企业可以洞察用户,发现新需求,找到增长点,同时基于大数据实现降本增效,并进行业务决策。因此,无论是业务发展,还是自身转型,大数据技术能力对企业来说都很重要。



对传统企业或成熟型企业来说,为快速实现业务需求,“烟囱式开发”导致企业不同业务线,甚至同一业务线的不同应用之间,数据都是割裂的。割裂形成数据孤岛,无法彰显数据价值,不能驱动业务发展。这是它们的痛。


对新兴的创业型公司而言,开源大数据技术从 Hadoop 生态“一枝独秀”到现在的各种开源大数据技术“百花齐放”,如何选择最适合自己的开源大数据技术,构建功能完整的数据平台。这是它们的痛。


针对上述问题,2021 WeDataSphere 社区大会·深圳分会场可能有你想知道的答案。这场活动面向开源大数据领域的开发者和用户,邀请到开放原子开源基金会 TOC 主席堵俊平、WeDataSphere 社区发起人邸帅、天翼云大数据平台技术专家王小刚等嘉宾进行分享。


本次分享既有对开源大数据技术和工具发展趋势的解读,还有开源一站式大数据平台套件 WeDataSphere 最佳实践和优秀案例的分享,更有如何基于开源项目构建企业级数据平台的探讨和交流。

亮点一:开源大数据技术和工具发展趋势


开放原子开源基金会 TOC 主席堵俊平将介绍开源大数据领域的技术、工具发展历程和最新趋势。通过这个演讲,你将进一步了解大数据领域技术发展的现状、新趋势,洞察大数据技术的演进路径。


此外,WeDataSphere 社区发起人、计算中间件 Apache Linkis (Incubating) PPMC、微众银行大数据平台负责人邸帅将分享 WeDataSphere 层次化模块化高复用建设思路和开源历程。通过这个演讲,你不仅可以了解基于开源项目,构建企业级大数据平台的思路,而且还将学习到如何以高复用方式构建数据平台。

亮点二:如何基于 WeDataSphere 等开源项目构建企业级大数据平台


Apache Linkis 是 WeDataSphere 大数据平台开源的计算中间件。微众银行大数据平台工程师尹强将向大家分享基于 Linkis 实现上下层间真正解耦,助力构建一站式、金融级、全连通的 WeDataSphere 大数据平台开发套件的生产实践。通过这个分享,你将了解大数据平台面临的计算治理问题,同时,了解计算中间件的解决思路和开源社区方案的对比。此外,你还能了解 Linkis 如何助力和加速企业级大数据平台的建设。


随着数据爆发式增长,数据分析工具对一个公司高效挖掘数据价值显得越来越重要。微众银行大数据平台工程师王和平将向大家介绍 WeDataSphere 数据分析工厂的建设和开源思路,阐述 WeDataSphere 数据分析工厂从数据流入 / 数据分析 / 数据可视化 / 数据质量等流程的建设思路、功能介绍和未来规划。基于这个分享,你将了解开源数据分析工具的选型思路,学习数据分析工具的建设经验以及知晓数据分析工具如何有效提升数据分析人员的效率。


目前,各大金融机构积累了海量丰富的数据,对数据的管理和应用能力已经成为核心竞争力之一。同时,大数据的发展带来了企业对个人隐私信息的过度采集和使用问题,监管部门也对金融机构的数据治理提出更高要求。微众银行大数据平台工程师周可将分享基于开源系统打造数据治理系统的实践过程。通过分享,你将知晓数据治理面临的挑战和要解决的问题。同时,了解开源数据治理系统的选型思路,学习金融级大数据平台数据治理系统的建设经验。


近年来,机器学习已经渗透到各行各业,而数据是机器学习模型开发的前提及关键,一个优秀的机器学习平台往往需要与大数据平台做好适配。微众银行大数据平台工程师吴梓煜将分享 WeDataSphere 机器学习平台的构建之路、如何利用云原生技术构建一站式机器学习平台和 WeDataSphere 如何打通大数据平台与云原生机器学习平台。通过本次分享,你将学习开源相关的云原生机器学习平台技术选型,了解大数据平台与云机器学习平台结合的痛点。

亮点三:最佳实践与案例分享


安全是重中之重,大数据平台计算组件多,治理繁杂。一直以来,天翼云尝试提升大数据平台的安全性,解决计算治理的问题,后来选择 WeDataSphere 开源组件进行相关工具建设,尝试降低数据分析使用人员的学习成本,提高工作效率。天翼云大数据平台技术专家王小刚将分享 WeDataSphere 开源组件在天翼云大数据平台产品中的应用实践。通过本次分享,你将了解如何解决公司计算组件多,治理繁杂问题,同时,全方位地保证大数据平台的使用安全,以及如何提升一站式开发管理工具的用户体验,降低用户学习使用成本。


来自萨摩耶云的数据业务部总监易小华将分享 WeDataSphere 在萨摩耶云的应用,详细阐述萨摩耶云基于 WeDataSphere 研发的数据治理和用户行为分析模块,以及 WeDataSphere 的应用效果和给业务带来的价值。

亮点四:现场“0”距离分组交流探讨


为更好的利用难得的线下见面机会,更多的增加现场互动,我们专门设计了按会前提交的“感兴趣议题”,现场分组讨论的环节。您可以与各位讲师及同行,就自己最感兴趣的话题,做现场充分交流探讨,碰撞火花,激发灵感。


想了解更多分享干货?我们在 10 月 30 日的 2021 WeDataSphere 社区大会·深圳分会场等你!



或点击下方链接参与报名


https://www.infoq.cn/event/?id=205

2021-10-13 11:081475
用户头像
万佳 前InfoQ编辑

发布了 677 篇内容, 共 331.2 次阅读, 收获喜欢 1793 次。

关注

评论

发布
暂无评论
发现更多内容

彻底清除本地的MySQL数据库

Java学术趴

7月月更

java零基础入门-抽象类

喵手

Java 7月月更

Flutter 实现爱心三连动画效果

岛上码农

flutter ios 安卓 移动端开发 7月月更

面试官灵魂暴击:如何保障消息100%投递成功及保证消息的幂等性?

冉然学Java

Java后端 #技术干货#

第三届中国工业互联网大赛在杭州闭幕 第四届大赛即日启动

科技热闻

TCP拥塞控制详解 | 4. 控制算法

俞凡

算法 网络 TCP拥塞控制

Arbitrum 推出 AnyTrust 链,满足生态项目多元需求

TinTinLand

ThreeJS 动画之 Noisy Lines

南城FE

CSS 前端 动画 7月月更

重新签名 iOS 51启蒙英语 App

贾献华

7月月更

你以为,设计一个RPC框架很简单?应该从哪入手,深入剖析? Java架构新资讯

了不起的程序猿

Java RPC java程序员 java 编程

DFINITY 整合技术解读——阈值ECDSA 实现 IC 与比特币、以太坊整合

TinTinLand

PoS机制随机性解读,波卡的随机性原理如何运作?

One Block Community

Java基础:IO流最全汇总

百思不得小赵

io Java’ 7月月更

LeetCode-136. 只出现一次的数字(java)

bug菌

Leet Code 7月月更

给自己点鸡汤吧

沃德

程序员 心灵鸡汤 7月月更

【这款插件在IntelliJ IDEA中,可以大幅提升工作效率,强烈推荐!】

了不起的程序猿

Java java程序员 实用工具

Substrate 技术及生态6月大事记 | Polkadot Decoded 圆满落幕,黑客松获胜项目为生态注入新生力量

One Block Community

【玩转 RT-Thread】I2C 内核

攻城狮杰森

I2C协议 7月月更 RT-Thread

机器学习-异常检测

AIWeker

机器学习 异常检测 7月月更

PPT制作

逝缘~

PPT 7月月更

GitHub标星1w+超牛的微服务项目,开发脚手架

冉然学Java

Java 编程 程序员 面试 Spring Cloud

去中心化的底层是共识——Polkadot 混合共识机制解读

One Block Community

【C语言】进阶指针Two

謓泽

7月月更

【LeetCode】玩筹码Java题解

Albert

LeetCode 7月月更

Qt|实现边加载数据边显示页面

中国好公民st

qt 7月月更

Java 技术栈中间件优雅停机方案设计与实现全景图

bin的技术小屋

dubbo 优雅停机 netty SpringFramework Graceful Shutdown

注入攻击

沃德

程序员 7月月更

MySQL灵魂16问,你能撑到第几问?

了不起的程序猿

Java MySQL 面试题 java程序员

基于STM32+华为云IOT设计的智能家居控制系统_语音+环境检测

DS小龙哥

7月月更

学一招,docker自启动以及容器自启动的解决方案

麦洛

Docker docker image

深入理解Linux 进程管理之CFS负载均衡

C++后台开发

Linux 负载均衡 C++后台开发 进程管理 C++开发

10月不能错过的这场开源大数据大会,有哪些亮点值得开发者关注?_开源_万佳_InfoQ精选文章