HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

从 0 到 1 构建企业大数据体系

  • 2019-09-03
  • 本文字数:694 字

    阅读完需:约 2 分钟

从0到1构建企业大数据体系

QCon上海2018大会上,谢巍盛讲师做了《从 0 到 1 构建企业大数据体系》主题演讲,主要内容如下。


演讲简介


经过几年的迅猛发展,甜橙金融注册用户突破 5 亿,月均活跃 3000 多万用户,年交易额超 1, 700 亿。旗下拥有翼支付、红包套餐、甜橙理财、橙分期、甜橙保险、甜橙国际、甜橙信用等业务。业务的增长带来了海量的数据,也随即为大数据平台带来了严峻的挑战。


甜橙金融大数据经历了从 TD 到 Spark 的迁移;自助 BI 分析平台开发建设,高效支撑业务部门数据提取,数据下发及长短时,交互式查询需求;数据科学平台研发,真正做到“平民化”机器学习,以最低门槛赋能业务人员进行业务模型开发与应用;将流计算应用于诸如实时业务监控,实时交易风控监测等场景并通过优化提升 10 倍性能,利用复杂网络进行精准营销及团体反欺诈等。此次分享将聚焦我们在平台建设规划,架构选型及实践中碰到的问题并探讨诸如集群规划建设,作业调度优化,权限中心建设,标签体系构建及 AI 算法模型落地等方面的问题。

听众受益

传统互联网企业如何进行企业大数据体系建设,包括:


  1. 数据治理及数据应用;

  2. 企业大数据平台建设与应用,包括:自助 BI 分析平台、数据科学平台建设、流计算、复杂网络平台等;

  3. AI 应用中的案例分享并探讨 AI 赋能业务中最大的阻力是什么。


讲师介绍


谢巍盛


甜橙金融 大数据总监


曾任 Intel 大数据高级架构师,负责 Hadoop/Spark 生态开源工作,专注于分布式计算、机器学习模型与优化算法等领域,曾负责语音识别、图形图像处理、分布式机器学习算法研发及 AI 应用系统等项目。目前负责甜橙金融大数据和 AI 体系建设。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-03 15:092283

评论

发布
暂无评论
发现更多内容

神锁离线版和Bitwarden的自动填充:超级英雄 vs 被斗转星移的瞎鸟

神锁离线版

密码管理 密码管理器 密码安全 Bitwarden 神锁离线版

辞旧岁立新年 | 展望前端工程师的2023

字节跳动终端技术

云原生 前端 前端工程师

Vue3项目框架搭建封装,一次学习,终身受益【万字长文,满满干货】

虎妞先生

前端 前端架构 Vue 3 vue cli

云安全之浅谈密钥泄露

HummerCloud

云安全 密钥

七年的开源商业化探索,PingCAP 为什么选了这样一条路?

TiDB 社区干货传送门

数据库前沿趋势

【SOP】新扩容节点与集群版本不一致处理

TiDB 社区干货传送门

实践案例 版本升级 管理与运维 故障排查/诊断 扩/缩容

众生皆苦,我选pnpm

虎妞先生

npm 原理 前端工程化 pnpm

十分钟用vitepress搭建项目文档

虎妞先生

前端 vite Vue 3

架构实战营第 10 期 - 模块六:拆分电商为微服务

kaizen

「架构实战营」

TiKV RocksDB读写原理整理

TiDB 社区干货传送门

TiDB 底层架构 TiKV 底层架构

畅销10年的数据库技术图书,当之无愧的霸主!还有谁?

博文视点Broadview

大型集团企业数据治理实践,推进全域数据资产体系建设 | 数字化标杆

袋鼠云数栈

云原生场景下,如何缓减容器隔离漏洞,监控内核关键路径?

OpenCloudOS

Linux 云原生 服务器

海外多语言数字货币交易app系统开发搭建

开发微hkkf5566

云数据库 TiDB 试用实践——部署&运维

TiDB 社区干货传送门

版本测评

我的2022,从紫竹院到通惠河畔

虎妞先生

学习 前端 成长 年终总结

微信小程序底层框架实现原理|万字长文

虎妞先生

微信小程序 前端 原理 架构、

前端包管理工具 npm yarn cnpm npx

虎妞先生

前端 包管理工具 #面试

java核心技术-多线程基础

蓦然

Spring Java

云数据库 TiDB试用

TiDB 社区干货传送门

C++到Python全搞定,教你如何为FastDeploy贡献代码

飞桨PaddlePaddle

c++ paddle 飞桨

图片竟能直接生成逼真音效?这AI模型也太神奇了吧!

人称T客

给webpack提了一个pr之后......

虎妞先生

前端 webpack #开源

谈谈干前端三年的几点感受

虎妞先生

前端 成长 代码人生

# 文盘Rust -- rust 连接云上数仓 starwift

TiDB 社区干货传送门

开发语言

BSN-DDC基础网络详解(二):快速接入指南

BSN研习社

BSN-DDC

从零开始学习BOM&DOM

虎妞先生

前端 DOM

不常用但却常问的迭代器

虎妞先生

前端 ES6

软件测试/测试开发 | App自动化之dom结构和元素定位方式(包含滑动列表定位)

测试人

软件测试 自动化测试 测试开发

迈铸半导体完成1500万Pre A+轮融资,用于实现规模化量产

硬科技星球

前端如何实现将多页数据合并导出到Excel单Sheet页解决方案|内附代码

葡萄城技术团队

数据库 前端 架构分布式

从0到1构建企业大数据体系_QCon_谢巍盛_InfoQ精选文章