在ArchSummit深圳2018大会上，李光跃讲师做了《大数据云的数据交换共享平台的架构探索》主题演讲，主要内容如下。
演讲简介：
容器技术的兴起催生出一系列基于容器的应用，而容器云正是其中的重要应用之一，在容器云中，大数据云是当前发展火热的方向之一。星环在过去的几年中，一直着力于容器技术(Docker，Kubernetes)的探索，并成功的将 Hadoop 平台包括自身的诸多产品全部云化，在这其中做了非常多的优化和改进使得大数据服务在容器中能够稳定且高效的运行，比如有状态容器本地存储，存储感知调度，数据局部性优化计算等等。由于容器独特的存储，网络的隔离性，多租户实现在容器云平台上体现的尤为简单，但是同时，这也为数据共享交换带来了难度，比如大数据平台本身的安全机制，容器空间的相互隔离，巨量数据流转以及业务层面的合规性要求等等。在原有的数据交换架构并无法满足容器云上数据交换需求的情况下，星环探索了全新的数据交换的架构设计，最终实现了多租户场景下的，租户和云平台间以及租户和传统大数据平台安全数据共享交换。
在本次分享中，将会着重分享分布式文件系统，分布式数据库上的数据共享交换的架构和实现。主要从多租户模型，权限管控，数据管理，任务调度和生命周期管理，工单审批／通知系统以及数据应用等对架构进行阐述，同时描述该架构在高性能、高可用、高并发的方面所做的工作以及下一步迭代改进的方向。
星环大数据云平台简介
云平台上数据共享交换
i. 数据共享交换的业务场景
ii. 数据共享交换所需要解决的难题
数据共享交换实现
i. 架构介绍
ii. 安全与权限
iii. 任务和调度
iv. 性能和优化
改进计划和未来展望
讲师介绍：
李光跃
星环科技 数据云架构师
2015 年于南京大学计算机科学与技术系毕业后加入星环工作至今。现主要负责容器云平台上数据相关技术的研究，内容大致涵盖数据共享交换，数据治理，数据资产化等等。
完整演讲 PPT 下载链接：
https://archsummit.infoq.cn/2018/shenzhen/schedule
中国开源发展研究分析 2022
本次报告为开发者，技术管理者，开源社区运营、市场，开源办公室工作人员带来信息上的增量以及对开源趋势、...
评论