写点什么

仇应俊谈阿里云 OTS

  • 2012-11-18
  • 本文字数:643 字

    阅读完需:约 2 分钟

11 月 9 号的阿里云开发者大会上。来自与阿里的仇应俊分享了阿里云 OTS(开放结构化数据服务的技术实践),他首先分享了 OTS 的产生背景:

  1. 用户规模和应用所处理的数据呈现爆炸式增长;
  2. 服务的高可用性要求;
  3. 应用的数据库表结构会随着业务的增长而改变;

随后他又举了一个实例来说明传统数据库的局限:

用户数到达 3500 万的应用,图片记录数达到 10 万,每秒新增 3000 条记录,总数据量近百 TB。在这样的场景下,对于单机数据库,在规模处理时无能为力,最多支撑 1TB。静态表的分区、扩容也容易出现问题。

OTS 采用飞天的内核实现调度与底层通讯,在其上有结构化数据处理的引擎,应对用户的并发请求,并通过简介的 API 来供开发者调用。他指出了 OTS 在处理这些问题时的原则:

  1. 规模可伸缩性;数据会被水平分割成很多分区,自动调配到数据节点进行处理,当原有的数据分区不能满足需求以后自动进行再次的调配;
  2. 高可用性;针对硬件比如交换机之类的故障将会自动被侦测到,失效机器上的数据分区会被转移到其他的节点上;通过热升级的方式保证高可用性;
  3. 自动应对表结构变化。OTS 的数据模型对于属性列没有限制,可以实现动态增加;

数据安全一直都是一个敏感的话题,针对 OTS 的数据,他们目前会在几个层面上做保证:

  1. 数据会统一存储在底层分布式的文件系统,分布式文件系统会保证每个数据有多份的拷贝,当拷贝丢失或者损害的时候,系统会自动检测到会恢复。
  2. 每个数据在 OTS 里面都是隔离的,这样保证用户的数据是本身是安全可靠。

目前阿里的“冰火鸟”以及“云·OS”的用户存储空间都使用的 OTS。

2012-11-18 03:192890
用户头像

发布了 89 篇内容, 共 32.7 次阅读, 收获喜欢 4 次。

关注

评论

发布
暂无评论
发现更多内容

java培训:SpringBoot高频面试考点分享

@零度

JAVA开发 springboot

大数据培训:Hadoop和MPP有什么区别

@零度

hadoop MPP 大数据开发

企业知识管理的目标是什么?

小炮

打造优质的车联网体验,仍需注意数据安全保护

FinClip

Gitlab-ci 替代 webhook 触发Jenkins job

网易云信

gitlab

如何进行数据挖掘?

郑州埃文科技

数据挖掘 数据库

Jaeger docker部署实操

非晓为骁

Docker Jaeger Go 语言 http client

Go HTTP Server 基于OpenTelemetry 使用Jaeger - 代码实操

非晓为骁

Go Docker Trace Jaeger OpenTelemetry

实用机器学习笔记二十五:超参数优化

打工人!

学习笔记 超参数调优 机器学习算法 3月月更

ICASSP 2022 | 前沿音视频成果分享:基于可变形卷积的压缩视频质量增强网络

阿里云CloudImagine

阿里云 计算机视觉 音视频 视频编码 视频云

JavaScript深入理解之闭包

锋享前端

【51单片机】室友用一把王者时间,学会了去使用数码管

謓泽

3月月更

如何从头到脚彻底解决一个MySQL Bug?华为云数据库高级专家带你看

华为云数据库小助手

bug GaussDB 华为云数据库 GaussDB(for MySQL)

中国AI的下一站:从两会高地奔涌向产业河谷

脑极体

WebRTC 简单入门

ZEGO即构

WebRTC 动手实践 音视频开发 即构科技

移动域全链路可观测架构和关键技术

阿里巴巴终端技术

架构 App 移动端 体验优化

云计算及国内主流云厂商概述

穿过生命散发芬芳

3月月更

APICloud平台使用融云模块实现音视频通话实践经验总结分享

YonBuilder低代码开发平台

前端开发 APP开发 APICloud 融云 跨端开发

【IT运维】多台海外主机运维用什么工具好?

行云管家

服务器 IT运维 服务器运维 海外主机

【直播回顾】OpenHarmony知识赋能第四期直播——标准系统HDF开发

OpenHarmony开发者

直播 HDF OpenHarmony

数字化时代下,智能运维全栈监控解决方案及案例盘点

云智慧AIOps社区

运维 解决方案 场景应用 自动化运维 运维安全

hexo+github搭建个人博客前期部署工作

静Yu

Hexo

OceanBase 社区版 运维管控平台 OCP 功能解读

OceanBase 数据库

OCP oceanbase OceanBase 开源 OceanBase 社区版

企业内PAAS建设的经验与教训

Crazy

中间件 PaaS 经验 云原生应用

盲盒风潮过后,中国收藏玩具市场该何去何从?

易观分析

盲盒 潮玩

N个技巧,编写更高效 Dockerfile|云效工程师指北

阿里云云效

阿里云 云原生 Dockerfile 部署与维护 构建工具

TiDB 可观测性方案落地探索 | “我们这么菜评委不会生气吧”团队访谈

PingCAP

喜讯!openGauss社区入选2021年 “科创中国”榜单

openGauss

如何使用OKR管理团队?

优秀

低代码实现探索(三十七)业务的流程,开发的框架

零道云-混合式低代码平台

向工程腐化开炮 | Java代码治理

阿里巴巴终端技术

Java android JVM 代码治理

仇应俊谈阿里云OTS_服务革新_水羽哲_InfoQ精选文章