看新闻很累？看技术新闻更累？试试下载 InfoQ 手机客户端，每天上下班路上听新闻，有趣还有料！
容器技术（如 Kubernetes）为现代数据管道的实现带来了可能性。来自 lguazio 的大数据架构师 Eliran Bivas 在最近举行的北美KubeCon+CloudNativeCon 2017 大会上做了演讲，谈论了大数据管道以及Kubernetes 将如何帮助构建现代大数据管道。
在过去，大数据主要依赖Hadoop，而近年来，大数据生态系统出现了新的数据库、流式数据和机器学习解决方案，Hadoop 的部署模型（Map Reduce、YARN 和HDFS）已经无法完全满足它们的要求。它们还需要集群调度层来托管各种工作负载，如Kafka、Spark 和TensorFlow，并使用存储在各种数据库中的数据，如Cassandra、Elasticsearch 和云存储。
Bivas 谈论了软件开发生命周期中的各种团队和他们的主要目标。应用工程师想要敏捷式的软件开发，数据工程师更关心数据被保存在哪里，想要让数据库运行在最佳状态，而 DevOps 团队希望所有系统都能正常工作，减少维护和中断时间。得益于容器技术的发展，所有这些目标都有望达成。
他介绍了一种通用框架，用于创建端到端的云原生分析应用程序。开发人员负责对数据服务与应用程序进行解耦，框架则让大数据解决方案更灵活和高效。该框架也可用在数据服务上，用于管理各种结构化、非结构化和流式数据。
整个解决方案应该要基于云原生应用和框架，并使用 Kubernetes 提供的统一编排层。
Bivas 描绘了一种持续分析流模型，包括处于中间层的数据服务，它们使用容器化的 Spark、TensorFlow 等大数据分析工具来分析来自数据存储（关系型数据库）和外部（物联网）的数据。
无服务器框架 Kubeless 和 OpenFaaS 可用在这些解决方案中。无服务器解决方案可以在不使用 YAML、Dockerfile 等文件的情况下进行方便的部署。它们还支持自动伸缩和触发事件。
Bivas 还介绍了 Nuclio 的架构细节，Nuclio 是最近开源的一个实时无服务器平台。它使用 Kubernetes 作为 YARN 之外的替代方案，还使用了 Spark ML、Presto、TensorFlow 和 Python，以及无服务器 Function。Nuclio 还支持可插拔的事件源和数据源。
他还谈论了实时分析技术在汽车维护方面的应用，通过 Web API 流式化汽车相关数据，并使用微服务进行数据摄取。他们使用天气数据和道路数据来增强汽车数据，根据天气条件组装合适的汽车配件。
Bivas 在演讲中进行了一个演示，展示了基于云原生架构进行大数据分析的优势。在演讲结时，Bivas 总结了一些最佳实践，如使用 Kubernetes 提供的工具、记录应用日志、收集度量指标、通过度量指标了解应用程序的性能。
暂无签名
腾讯大规模云原生技术实践案例集
本案例集详细阐释了 QQ、腾讯会议、和平精英、小红书、斗鱼、微盟等十多个亿级用户产品背后的大规模云原生...
评论