打造工业级推荐系统（三）：推荐系统的工程实现与架构优化_开源_Databri_AI



 写点什么

导读：个性化推荐系统，简单来说就是根据每个人的偏好推荐他喜欢的物品。互联网发展到现在，推荐系统已经无处不在，在各行各业都得到普遍都应用。亚马逊号称 40% 的收入是来自个性化推荐系统的，淘宝的个性化推荐系统也带来非常大的收益，新闻媒体的个性化推荐系统典型的是今日头条，直播平台给用户推荐喜欢的主播，金融网站给用户推荐需要的理财产品，社交网络给用户推荐大 V 或者其他朋友……越来越多的公司将推荐系统作为产品的标配。

大家接触推荐系统的概率会越来越大。作为程序员，了解推荐系统也越来越必要，甚至可以主动选择“推荐系统算法工程师”的相关职位。那大家一定会关心推荐算法工程师需要哪些知识储备，以及作为一个推荐算法工程师，未来的发展道路怎样？

本文是作者计划的一系列文章中的一篇。作者在上篇文章《推荐系统介绍》中简单对推荐系统做了一个较全面的介绍，相信大家对推荐系统有了初步的了解。本篇文章作者会结合多年推荐系统开发的实践经验粗略介绍推荐系统的工程实现，简要说明要将推荐系统很好地落地到产品中需要考虑哪些问题及相应的思路、策略和建议，其中有大量关于设计哲学的思考，希望对从事推荐算法工作或准备入行推荐系统的读者有所帮助。为了描述方便，本文主要基于视频推荐来讲解，作者这几年也一直在从事视频推荐系统开发的工作，其他行业的推荐系统工程实现思路类似。本篇文章主要从整体上来介绍推荐系统工程实现，以后发布的系列文章会逐步介绍工程实现的各个细节实现原理与策略。

推荐系统架构设计

作者在早期构建推荐系统时由于经验不足，而业务又比较多，当时的策略是每个算法工程师负责几个推荐业务(一个推荐业务对应一个推荐产品形态)，由于每个人只对自己的业务负责，所以开发基本是独立的，每个人只关注自己的算法实现，虽然用到的算法是一样的，但前期在开发过程中没有将通用的模块抽象出来，每个开发人员从 ETL、算法训练、预测到插入数据库都是独立的，并且每个人在实现过程中整合了自己的一些优化逻辑，一竿子插到底，导致资源(计算资源，存储资源，人力资源)利用率不高，开发效率低下。经过几年的摸索，作者在团队内部构建了一套通用的算法组件 Doraemon 框架(就像机器猫的小口袋，有很多工具供大家方便构建推荐业务)，尽量做到资源的节省，大大提升了开发效率。开发过程的蜕变，可以用下面的图示简单说明，从中读者也可以对 Doraemon 架构落地前后的推荐业务开发变化有个大致的了解。

Doraemon 框架前后开发方式对比

作者构建 Doraemon 框架的初衷是希望构建推荐业务就像搭积木一样(见下图)，可以快速构建一套算法体系，快速上线业务。算法或者处理逻辑就像一块一块的积木，而算法依赖的数据(及数据结构)就是不同积木之间是否可以衔接的“接口”。

本着上面朴素的思想，下面作者详细说说构建这套体系的思路和策略。

为了支撑更多类型的推荐业务，减少系统的耦合，便于发现和追踪问题，节省人力成本，方便算法快速上线和迭代，需要设计比较好的推荐系统架构，而好的推荐系统架构应该具备 6 大原则：通用性，模块化，组件化，一致性，可拓展性，抽象性。下面分别对上述 6 大原则做简要说明，阐述清楚它们的目标和意义。

通用性：所谓通用，就是该架构具备包容的能力，业务上的任何推荐产品都可以用这一套架构来涵盖和实现。
模块化：模块化的目的在于将一个业务按照其功能做拆分，分成相互独立的模块，以便于每个模块只包含与其功能相关的内容，模块之间通过一致性的协议调用。将一个大的系统模块化之后，每个模块都可以被高度复用。模块化的目的是为了重用，模块化后可以方便重复使用和插拨到不同平台，不同推荐业务逻辑中。
组件化：组件化就是基于可重用的目的，将一个大的软件系统拆分成多个独立的组件，主要目的就是减少耦合。一个独立的组件可以是一个软件包、web 服务、web 资源或者是封装了一些函数的模块。这样，独立出来的组件可以单独维护和升级而不会影响到其他的组件。组件化的目的是为了解耦，把系统拆分成多个组件，分离组件边界和责任，便于独立升级和维护，组件可插拔，通过组件的拼接和增减提供更丰富的能力。

组件化和模块化比较类似，目标分别是为了更好的解耦和重用，就像搭积木一样构建复杂系统。

一致性：指模块的数据输入输出采用统一的数据交互协议，做到整个系统一致。
可拓展性：系统具备支撑大数据量，大并发的能力，并且容易在该系统中增添新的模块，提供更丰富的能力，让业务更加完备自治。
抽象性：将相似的操作和流程抽象为统一的操作，主要目的是简化系统设计，让系统更加简洁通用。针对推荐系统采用数学上的概念抽象如下：

操作/算法抽象：我们先对数据处理或者算法做一个抽象，将利用输入数据通过“操作”得到输出的的过程抽象为“算子”，按照这个抽象,ETL、机器学习训练模型、机器学习推断都是算子。其中输入输出可以是数据或者模型。

算法或者操作的算子抽象

业务抽象：任何一个推荐业务可以抽象为由数据/模型为节点，算子为边的“有向无环图”。下图是深度学习的算法处理流程，整个算法实现就是一个有向无环图。

下图是我们做的一个利用深度学习做电影猜你喜欢的推荐业务流程，整个流程是由各个算子通过依赖关系链接起来的，就像一个有向无环图。

推荐业务的有向无环图抽象

根据 Doraemon 系统的设计哲学及上面描述的推荐系统的核心模块，结合业内，一般将推荐系统分为召回(将用户可能会喜欢的标的物取出来)和排序(将取出的标的物按照用户喜好程度降序排列，最喜欢的排在前面)两个过程，推荐系统可以根据如下方式进行设计。

基础组件：业务枚举类型、常量、路径处理、配置文件解析等。
数据读入组件：包括从 HDFS、数据仓库、HBase、Mysql 等相关数据库读取数据的操作，将这些操作封装成通用操作，方便所有业务线统一调用；
数据流出组件：类似数据读入组件，将推荐结果插入最终存储(如 Redis，CouchBase 等)的操作封装成算子，我们一般是将推荐结果流入 Kafka，利用 Kafka 作为数据管道，最终再从 Kafka 将数据插入推荐存储服务器；
算法组件：这个是整个推荐系统的核心。在工程实现过程中，我们将推荐系统中涉及到的算子抽象为 3 个接口， AlgParameters(算子依赖的参数集合)、 Algorithm/AlgorithmEx (具体的算法实现，如果算法依赖模型，采用 AlgorithmEx，比如利用模型做推断)、Model(算法训练后的模型，包括模型的导入、导出等接口)。所有的算子实现实现上面 3 个接口的抽象方法。下图给出了这 3 个接口包含的具体方法以及 Spark mllib 中的矩阵分解基于该抽象的实现。

在我们的业务实践中，发现上述抽象很合理，基本推荐业务涉及到的所有算子(ETL、模型训练、模型推荐、排序框架、数据过滤，具体业务逻辑等)都可以采用该方式很好的抽象。

评估组件：主要是包括算法训练过程的离线评估等；
其他支撑组件：比如 AB 测试等，都可以整合到 Doraemon 框架中；

这里要特别说一下数据(模型)，数据作为算子的输入输出，一定要定义严格的范式(具备固定的数据结构，比如矩阵分解训练依赖的数据有三列，一列用户 id，一列物品 id，一列用户对物品的评分)，Spark 的 DataFrame 可以很好的支撑各种数据类型。数据格式定义好后，在算子读入或者输出时，可以对类型做校验，可以很好的避免很多由于业务开发疏忽导致的问题。这有点类似强类型编程语言，在编译过程(类似算子)可以检查出类型错误。

我们将上面的 6 类组件封装成一个 Doraemon 的 lib 库，供具体的推荐业务使用。

基于大数据的数据中心和计算中心的抽象,我们将所有推荐业务中涉及到的数据和算子分别放入数据仓库和算子仓库,开发推荐业务时根据推荐算法的业务流程从这两个仓库中拿出对应的“积木”来组装业务,参考下图。

基于 Doraemon 框架的算法组件化开发方式

基于上面的设计原则，推荐业务可以抽象为“数据流”和“算子流”两个流的相互交织，利用 Doraemon 框架构建一个完善的推荐业务流程如下图。

基于 Doraemon 框架开发的推荐业务，数据流与算子流相互交织，非常清晰

另外，如果公司做产品线的拓展，比如今日头条拓展新产品抖音、西瓜视频、火山小视频等，可以基于上面所提到的“推荐算法的范式”实现很多推荐业务(比如猜你喜欢、相似影片、热门推荐等)，将这些业务封装到一个 DoraemonBiz.jar 的 jar 包，这样这些能力可以直接平移到新的产品线，赋能新业务。这种操作就是二次封装，具有极大的威力，下面给一个形象的图示来说明这种二次赋能的逻辑，让大家更好理解这种思想。

通过二次封装，构建推荐业务单元，赋能到新产品矩阵

从上面的介绍，相信大家已经感受到了 Doraemon 框架的威力了，有了这套框架，我们可以高效的开发算法了，如果有新的技术突破，我们可以将这些新算法实现并封装到 Doraemon 框架中，不断拓展 Doraemon 的能力，让 Doraemon 成长为具备更多技能(算子)的巨人！

近实时个性化推荐

推荐系统在实际业务实现时一般是 T+1 推荐(每天更新一次推荐，今天利用昨天之前的数据计算用户的推荐结果)，随着移动互联网的深入发展，特别是今日头条和快手等新闻，短视频 APP 的流行，越来越多的公司将 T+1 和实时策略相结合(比如采用流行的 lambda 架构，下图是一个采用 lambda 架构的推荐架构图，供参考)将推荐系统做到了近实时推荐,根据用户的兴趣变化实时为用户提供个性化推荐。像新闻、短视频这类满足用户碎片化时间需求的产品，做到实时个性化可以极大提升用户体验，这样可以更好地满足用户需求，提升用户在产品的停留时间。这里我们只是简单的介绍了一下实时个性化推荐，我在后续的系列文章中会详细讲解实时推荐系统。