GO-JEK：将机器学习用于预测和动态定价

使用 Google Cloud Platform 和 Google Maps Platform，GO-JEK 确立了其作为领先按需多服务平台的市场地位并且是东南亚为数不多的独角兽企业之一。

Google Cloud 带来的成效

• 快速触达乘客和优化的路线，为 100 万摩托车驾驶员提供支持

• 支持需求预测和定价调整

• 使企业有能力实现国际扩张

每天管理高达 5TB 的数据

对于大部分的印尼居民，交通拥堵是生活中无法回避的一个事实。要支持 2.6 亿人（其中约 1 亿居住在首都雅加达）的工作和生活，该国的道路和相关基础设施面临着巨大的压力。为了最大限度减少延误，印尼人的日常工作或生活出行高度依赖摩托车（包括称为 ojek 的摩的）。

2010 年创立、总部位于雅加达的 GO-JEK 最初是作为 ojek 预约呼叫中心。该公司看到了对这项服务的旺盛需求，转而成为东南亚少有的“独角兽”之一 —— 市值超过 10 亿美元的私营初创企业。

“Google Maps Platform 现在是我们引擎的核心所在，它能够帮助我们找出优化路线并预估我们司机的抵达时间。”

— Ajey Gore，集团首席技术官，GO-JEK

自 2010 年起，GO-JEK 采集数据以了解客户行为，并且在 2015 年推出了捆绑专车服务、送餐以及杂货采买等功能的移动应用程序。GO-JEK 数据科学平台主管 Willem Pienaar 指出：“对这款应用程序有着无法满足的强大需求，我们很快便迎来了疯狂增长期。”

GO-JEK 不断倾听客户的意见和建议并获得使用反馈，以指引新产品的开发。该企业现在已经在其应用程序中捆绑了超过 18 款产品、一个忠诚度计划以及一项电子货币服务，除了该应用程序外，还有其他一些产品。该应用程序的客户下载量接近 1.08 亿次。

如今，GO-JEK 在整个印尼的 167 座城市和行政区运营，是许多垂直行业中的最大参与者。Pienaar 坦言：“仅专车服务一项，我们的平台就有超过 100 万名司机，通常一天我们会有数十万名司机同时在线，为我们的客户提供服务。在我们的送餐平台的商家数量超过  300,000。我们称它们为商家，原因在于它们并非仅仅是餐厅，也可能是从自己车库里售卖食品的父亲和母亲。通过让人们摆脱贫困，我们的平台为印尼的社会经济流动性提供了支持。而且，我们的支付服务已成为东南亚地区领先的电子货币平台之一。”

Google 生态系统是关键所在

该企业高度依赖其技术团队所具有的技能和专业知识以及选择正确的技术，来实现增长和拓展新市场。GO-JEK 选择基于 Google Cloud 运行其应用程序和数据，主要原因在于包括 Google Cloud Platform 以及其他技术的生态系统。

GO-JEK 集团首席技术官 Ajey Gore 解释道：“我们必须使司机和需求完美匹配 —— 无论是载客、送餐还是从 A 地到 B 地的其他服务项目 —— 以尽可能快的方式。Google Maps Platform 现在是我们引擎的核心所在，它能够帮助我们找出优化路线并预估我们司机的抵达时间。”

Google Cloud Platform 解决方案对于使 GO-JEK 能够采集和分析与遍布 167 个城市和行政区的 100 万名司机及 250 万客户相关的数据起着不可或缺的重要作用。Gore 指出：“例如，我们每十秒钟会 ping 我们的每位司机，这意味着每分钟 600 万次 ping，每天 80 亿次 ping。如果再考虑到我们客户互动的规模和数量，每天生成的数据量约为 4TB 至 5TB。我们需要利用这类数据来告诉我们的司机哪里的客户需求最旺盛以及如何达到那里。”

“Google Cloud Professional Services（专业服务）团队对于促进 GO-JEK 数据科学团队一些关键项目的成功起到了至关重要的作用。 最终，得益于 Google Cloud Professional Services，我们更深入地了解了 Google 技术，实现了更好的协作、采用了更智能的设计并且更快地将产品推向市场。”

— Willem Pienaar，数据科学平台主管，GO-JEK

国际扩张迫在眉睫

随着 GO-JEK 着眼于拓展国际市场，数据科学和机器学习正变得对企业愈发重要。Pienaar 解释道：“数据科学对于了解我们的客户起着关键作用。2018 年我们加快了国际扩张的步伐，要了解不同市场中客户的独特需求。而且，当有如此多的决策要实时制定时，机器学习至关重要。”

Pienaar 调查了 GO-JEK 的数据科学性如何利用其时间以及他们是否能够访问所需要的工具。他解释道：“我们的一位数据科学家询问我们是否能够帮助他优化自己的时间。这位工程师是我们企业中众多工程师的代表，他当时正在参与一些领域（例如，欺诈检测、个性化、司机分配和预测）中的有意思的项目。不过，他将大量时间用于工程，而非探索数据并创建特征和模型。”

通过三个视角审视数据科学家的项目：数据寻源、特征工程和机器学习，Pienaar 的团队明确了建立集中数据基础的必要性。

GO-JEK 随后与 Google Cloud Professional Services 密切合作来进一步探索和完善其设想。“Google Cloud Professional Services 团队对于促进 GO-JEK 数据科学团队一些关键项目的成功起到了重要作用。团队带来管理高强度项目（从开始直至投入实用）方面的丰富经验。最终，得益于 Google Cloud Professional Services，我们更深入地了解了 Google 技术，实现了更好的协作、采用了更智能的设计并且更快地将产品推向市场。”

Professional Services 团队开展了研讨、架构与设计会议以及实践型技术深度剖析等活动。团队成员与 GO-JEK 合作利用技术（例如，基于 Cloud Dataflow 运行的 Apache Beam、Cloud Bigtable 和 BigQuery）开发了概念证明，并以此作为 GO-JEK 特征工程和存储平台的基础。

平台所使用的其他技术 —— 可采集和存储来自 GO-JEK 产品和其他团队的数据 —— 包括 Apache Kafka、Cloud Pub/Sub 以及 Cloud Storage。这些团队通过这一基础将受益于自动报告、归档、监控、事件警报以及安全功能，而数据科学和机器学习团队能够访问所需要的数据以生成洞察。

由于通过将 Cloud Dataflow 和 Apache Beam 相结合解决了特征创建、标准化和一致性问题，企业必须选择一个特征存储环境。Pienaar 指出：“我们选择 BigQuery 来存储我们的训练数据，原因在于它所具有的高可扩展性以及它是完全基于云的服务这样一个事实，这意味着你不必管理任何基础架构。另外，它与其他 Google Cloud 服务紧密集成。”

“我们相信团结的力量，过去两年，我们与 Google 密切合作开拓了新的领域和可能性。谁会想到我们打造的产品如今会成为印尼涵盖交通、餐饮和其他服务领域首屈一指的应用程序？”

— Ajey Gore，集团首席技术官，GO-JEK

对于服务，GO-JEK 引入了两个数据库：Cloud Bigtable 和 Cloud Memorystore for Redis。Pienaar 指出：“对我们而言，Cloud Bigtable 是真正的‘颠覆者’。 它使我们能够以不到 10 毫秒的延迟一致地访问特征数据并且可处理非常高的负载，因此，你可以每节点每秒读/写最多 10,000 次，而如果要扩展，只需添加更多的节点。”

“Cloud Memorystore for Redis 还使我们能够适应诸如每秒进行 200,000 或 300,000 次特征更新的情况。”他补充道。

特征服务 (feature-serving) API 可支持从 Cloud Bigtable 或 Cloud Memorystore 进行快速特征查找并提供缓存。

由于所有此类数据都被记录并且对于数据科学家极其有用，GO-JEK 将元数据转储到 PostgreSQL 数据库。由此，企业可使用 Google Data Studio 对预测结果或目标优化中特定特征的有效性进行可视化。GO-JEK 还创建了特征资源管理器 (feature explorer)，其数据科学家可以利用它来查找特征，在 BigQuery 中选择它们，并对其模型进行训练。

借助云机器学习，实现动态定价

利用已建立的数据源和特征工程构建块，GO-JEK 使其数据科学家能够采用可扩展的机器学习模型来实现动态定价和其他举措。“我们引入了 Cloud Machine Learning Engine（云机器学习引擎），它与 BigQuery 紧密集成，作为我们的特征和原始数据仓库。”Pienaar 解释道。Cloud Machine Learning Engine 是一种可扩展的托管服务，使 GO-JEK 的数据科学家能够训练和服务 TensorFlow 模型。

GO-JEK 架构还包括适用于流式推理的 Cloud Dataflow 以及基于 Apache Kafka 的未来需求。企业现在能够有效地预测由于天气变化或者定价变化之类的事件导致的需求变化，从而调整驾驶员的应对方式。企业还能够实现其应用程序首页个性化，并且满足服务水平要求：30 毫秒延迟以及每秒高达 10,000 个请求的吞吐能力。

GO-JEK 工程师现在只需要关心使用 Cloud Datalab 来构建机器学习模型；在特征资源管理器中查找特征；使用 BigQuery 创建训练集；以及采用 Cloud Machine Learning Engine 来训练其模型。

Pienaar 指出：“对 GO-JEK 产生的影响是我们的数据科学家能够更快地交付项目，我们的客户体验被大幅提升，随着我们向新市场扩张，我们每客户的数据科学家数量更少，在基础架构上花费的时间和金钱也更少。我们相信团结的力量，过去两年，我们与 Google 密切合作开拓了新的领域和可能性。谁会想到我们打造的产品如今会成为印尼涵盖交通、餐饮和其他服务领域首屈一指的应用程序？”

关于 GO-JEK

自 2015 年推出其应用程序以来，GO-JEK 已逐步发展成为印尼首屈一指的按需多服务平台。总部位于雅加达的 GO-JEK 是一个“超级应用程序”，使印尼约 167 个城市和行政区的居民能够访问超过 18 种服务产品 —— 从交通、送餐、杂货采买、按摩、保洁到物流和支付等。GO-JEK 技术已经为数百万人改善了生活，同时还为非正规部门以及微型、小型和中型企业 (MSME) 赋能。