看新闻很累？看技术新闻更累？试试下载 InfoQ 手机客户端，每天上下班路上听新闻，有趣还有料！
Sahil Dua 是 Booking.com 的一名开发人员。在今年的 QCon 伦敦大会上，他介绍了 Booking.com 是如何使用Kubernetes 实现机器学习模型的扩展，为客户推荐目的地和住处。他重点展示了 Kubernetes 是如何通过容器的弹性和避免资源饥饿特性，帮助企业运行计算和数据密集的、难以并行处理的机器学习模型。
Kubernetes 所提供的隔离性（进程不必竞争资源）、弹性（基于资源的消费情况而自动向上或向下扩展）、灵活性（具备快速测试软件库或架构的能力）和支持 GPU（尽管 Kubernetes 对 NVIDIA GPU 的支持依然是 Alpha 版，但已经实现 20 到 50 倍的速度改进）等特性，对于以 Booking.com 的规模（每日约 150 万次房间预订，每月约 4 亿访客）运行大量的机器学习模型是十分关键的。下面的配置通过指定 Pod 所需的 GPU 资源，告知 Kubernetes为节点调度一个 GPU 单元：
resources: limits: alpha.kubernetes.io/nvidia-gpu: 1
每个模型以无状态应用运行在一个容器中。但容器镜像中并不包括模型本身，而是在启动时从 Hadoop 获取。这使得镜像可以维持较小的规模，避免了每推出一个新模型，就要为此创建一个新的镜像，进而加速了模型的部署。模型一旦部署，就可通过 REST API 访问，Kubernetes 将开始轮询容器是否准备好，可以接收预测请求，最终直至流量导向新的容器。
除了Kubernetes 的自动扩展和负载均衡之外，Dua 还介绍了Booking.com 为优化模型延迟而采用的其它一些技术，就是保持模型加载在容器的内存中，并在启动容器后对模型做热身（即通过向 Google 的机器学习框架 TensorFlow 发送初始请求。TensorFlow 的首轮运行通常比较慢）。但是并非所有请求均来自于运行中的系统，在一些情况下，可以预先计算预测情况并存储，以供其后使用。预先计算重在优化通量（即单位时间完成的工作量）。Dua 指出，批处理请求和并行处理异步请求有助于降低网络开销，进而提高通量。
机器学习模型在提供给 Booking.com 做预测之前，需要使用一些预先挑选的数据进行训练。训练过程也是运行在 Kubernetes 架构上的。训练运行在容器的基础镜像中，但基础镜像中仅包含了训练所需的框架，例如 TensorFlow 和 Torch 等，它从 Git 代码库获取实际训练的代码。Dua 强调，这种设计再次使得容器可维持较小的规模，避免了镜像随新版本代码而不断增殖。训练数据也是从 Hadoop 集群获取。一旦模型训练好（即完成训练工作负载），模型将导出到 Hadoop。
查看英文原文： How Booking.com Uses Kubernetes for Machine Learning
暂无签名
腾讯大规模云原生技术实践案例集
本案例集详细阐释了 QQ、腾讯会议、和平精英、小红书、斗鱼、微盟等十多个亿级用户产品背后的大规模云原生...
评论