在QCon北京2018大会上，焦向讲师做了《SnappyData 在美团酒店实时数据分析中的应用》主题演讲，主要内容如下。
演讲简介：
以 Flink 和 SnappyData 为核心，将原有的非实时、开发周期长、维护成本高的以“预处理”为核心的方案，转化为目前以“后处理”为核心的方案。
开发效率：得到质变，无需预处理，周级别需求小时级完成。
节省存储空间：比如原方案 Kylin 中 150T+预处理结果数据不再需要。
其他一些收益：比如指标一致性显著提升。
历史数据问题：采用类 SCD Type 2 的方式，处理历史事实数据和数据压缩，有不少对比数据。
建模问题：直接从原始表支持需求，中间缺少传统数仓建模的抽象层次，尝试实现类似 Shasta 的 RVL 层。
介绍 SnappyData 的优势劣势，当前的问题，我们在调优方面的努力，以及我们的定制化修改：
支持注册 Spark 声明式 UDF，相比于命令式 UDF，性能提升一个量级，很好的解决了酒店的特殊场景；
Boxing/Unboxing 优化；
QueryPlan Cache 相关的优化。
讲师介绍：
焦向
美团点评 高级技术专家，酒店经营效率组负责人
焦向，2015 年加入美团点评，现为美团酒店经营效率组负责人，曾负责美团平台推荐系统架构。先前就职于百度，主要做分布式缓存，是社区第三代 Redis 集群化方案的设计者和主要实现者，支持了包括贴吧、手百在内的多个产品，有丰富的分布式存储理论和实践经验；工作之余，对编程语言基础理论、编译器优化、机器学习都有浓厚兴趣和一定深入。
完整演讲 PPT 下载链接：
https://qcon.infoq.cn/2018/beijing/schedule
中国开发者画像洞察研究报告 2024
分析开发者的行为模式、工作价值、职业发展等内容，帮助整个行业生态更深入地理解开发者，为他们提供更精准...
评论