何为数据服务?
通俗来讲就是数据中台在落地实施过程中的一个对外输出数据的环节,将数据服务化后提供给业务系统,将数据生产为一个个数据 API,以更高效的方式提供给业务。
传统业务开发的痛点
数据主要存在于关系型数据库、数据仓库中,而在传统业务开发使用数据的过程中会遇到如下痛点:
一、查询数据成本高
1、部分数据查询需要在调用接口时去计算复杂的业务关系;
二、烟囱式开发成本高
1、增加一个报表,开发时长就需增一周;每次新增一个数据查询需求,意味着需要开发一个新接口,期间还得经历开发、测试、上线等完整流程;
2、存在某些数据各业务线拷贝一份,重复开发功能相同接口,烟囱式开发,无法共享接口服务。
三、维护成本高
1、很多数据查询操作直接调用业务方的接口,需要业务团队开发和维护,而业务快速变更下线接口会导致接口不可用的风险,无法进行统一管理与维护。
四、稳定性风险高
1、接口基本都从业务库查询的数据,计算也在业务库,跟业务生产无关的查询提高了业务库不稳定的风险;
应用开发为什么需要数据中台?因为数据中台能解决这些痛点,让前台开发团队的开发速度不受后台数据开发的影响。
DataSimba——数据服务
针对以上的痛点,DataSimba(奇点云自研的一站式大数据智能服务平台 )提供数据服务来解决上述问题。
1、统一数据源,统一业务认知,解决数据烟囱。一个数据源,通过统一数据接口服务让企业各个层级对同一个问题/业务情况达成统一认知,避免数据烟囱。
2、通过简单数据查询服务、复杂数据查询服务满足客户多样的数据查询需求。
3、提供快捷简单的半自动化创建数据 API 服务的 IDE,对于新手也能在 10 分钟内上线一个数据服务 API。
4、支持企业对数据服务 API 进行统一管理与维护,如对数据服务 API 进行分组、项目/企业级授权、上/下线、API 计量收费等操作。
5、数据的处理和维护全部下沉到 DataSimba,应用服务调用链相比之前更简单清晰,利于后续对业务线统一升级维护。
DataSimba 数据服务体系架构如下图所示:
以下为 DataSimba 半自动化创建数据服务 API 的两种方式:
一、简单数据查询服务 API 的创建流程
1、以【向导模式】新建 API,填入接口的基本信息,含 API 名称、API 路径、协议等。
2、选择数据源,含库类型、库名称、表名称后,系统会自动展示表结构的 Schema 信息,该模式仅支持单表查询。
3、基于表结构勾选出需要的入参及出参字段,并设置好查询条件、是否分页及使用过滤器等选项。
4、点击测试按钮即可对新 API 进行验证,结果符合预期后点击发布,新 API 就正式上线提供服务了。
二、复杂数据查询服务 API 的创建流程
1、以【脚本模式】新建 API,该操作与简单数据查询服务操作一致。
2、先选择数据源,含库类型、库名称后,再编写一条完整的 SQL 语句,支持同一数据源下多张表的关联查询、支持字段别名、SQL 函数等。
3、编写好 SQL 语句后,系统会自动分析出 API 的入参和出参,请对参数信息进行设置如是否分页、使用过滤器等选项,方便 API 调用者。
4、点击测试按钮可对新 API 进行验证,结果符合预期后点击发布,新 API 就正式上线提供服务了。
通过向导/脚本两种模式,可以便捷快速的完成数据服务 API 的创建。另外基于 DataSimba 数据服务的访问控制模块,客户还可以对 API 进行分组、授权、上下线等统一管理。
结语
数据中台离业务最近,能更快地响应业务和应用开发的需求,数据的可追溯性也会更强,更精准。DataSimba 在数据仓库和数据平台的基础上,提供统一的数据查询服务的功能,解决了数据烟囱的问题,让业务开发无需编写代码即可使用数据,进行下一步的业务处理逻辑及展示。支持客户半自动化对数据 API 的创建、管理、访问控制等操作,能简化客户跨项目/跨企业获取数据的成本与时间,提升开发效率,保障项目快速上线,最大化释放数据的价值。
作者:烟火 @奇点云
评论