在最近的几年中，人工智能随着神经网络的突破，得到了巨大的发展，特别在图像、分析、推荐等领域。
在人工智能快速发展的同时，计算规模不断扩大、专家系统过于单一、神经网络模型的灵活性、应用领域的复杂行等问题，也在不断升级。在这样的环境下，分布式人工智能的发展被研究机构和大型企业提上日程。
分布式人工智能，可以解决集中化人工智能的几个主要问题：
规模化的计算问题。
计算模型的拆分训练。
多智能专家系统的协作。
多智能体博弈和训练演化，解决数据集不足的问题。
群体智能决策和智能系统决策树的组织，适应复杂的应用场景，比如工业、生物、航天等领域。
适应物联网和小型智能设备，联合更多的计算设备和单元。
针对现有的分布式人工智能组件和框架的研究，可以看下几个主流框架的方案。
Tensorflow 的分布式方案
Tensorflow 底层数据是高性能的 gRPC 库，分布式集群的组件主要是三个部分：client、master、worker process。运用它的组件，可以形成两种主要的分布式部署模式：单机多卡（single process）和多机多卡（multi-device process）。方案出于 Martin Abadi、Ashish Agarwal、Paul Barham 论文《TensorFlow:Large-Scale Machine Learning on Heterogeneous Distributed Systems》。
它的部署和运作模式，如图 1-1 所示：
图 1-1 Tensorflow 单机单卡与多级多卡部署模式
对于普通的机器学习，单机单卡就可以进行运算，在运算规模不断升级的时候，就需要
对 tensoflow 的训练设计分布式结构。
机器学习在的参数训练，主要是两大过程：
使用卷积参数训练梯度
根据梯度再优化更新参数
在大规模的计算过程中，就需要进行集群计算，在小型规模的时候，可以使用单个机器，多个 CPU/GPU 来进行计算，在规模越来越大的时候，可以使用多个机器进行并行计算。
在 tensorflow 中分布式集群定义为一个“集群任务”（tf.train.ClusterSpec），将任务分布在不同的“服务器”（tf.train.Server）中，服务器中包含了“master”运行进程和”worker“计算进程。在分布式集群运算中，主要有以下结构：
Task：分布式中的计算任务，每个 job 结构中，每个任务拥有唯一索引。
Job：每个 Job 表示了一个完整的训练目标，其中的 Task 都有唯一的目标，为同一个训练目标进行任务拆分。
Cluser：集群集合，其中管理了多个 Job，一般一个集群对应了一个专门的神经网络，其中不同的 job 负责了不同的目标，比如梯度计算、参数优化、任务训练等。
Tensorflow Server：处理服务节点过程，并且对外提供 master server 和 worker server 的接口服务。
Master Server：和远程分布式设备进行交互的服务，协调多个 worker server 工作。
Worker Service：Tensorflow 图计算过程中，任务进程处理的服务，单独运行各自的任务。
Client：客户端，用来管理和启动 AI 工作，与远程服务集群交互。
Tensorflow 的多机多卡分布式模式，主要有以下几种：
In-graph 模式：在多机多卡的模式下，各自的节点和运算服务，都通过单一的节点进行数据分发，拥有集中化的管理方式，最终数据归并到统一的节点上。
Between-graph 模式：训练的数据保存在各自的节点上，不进行分发。每个节点的权重都是平等的，当计算节点各自计算完以后，需要告诉参数服务器，并且更新优化参数，是比较推荐的分布式方式。
根据 Tensorflow 的分布式机器学习方案，我们可以总结它存在的一些缺点，如下所示：
Tensorflow 在分布式的计算方式中，分为了训练和参数更新服务，极大得扩展了规模化的计算能力，但是在数据归并和多级分层上，并没有提供非常好的解决方案。没有较好的计算模型，去提供多层次的分布式结构。
Tensorflow 在分布式的计算模型中，主要分为了训练任务、梯度计算、参数更新等，但是确没有提供一个较好的计算模型构造方式，去提供分布式 AI 所需要的任务分发、数据归并、模型更新等能力。
Tensorflow 在分布式的组织方式上，更像是一个平级层次的分布式，最终统一归并成为一个最终模型，它最终完成的是一个集中化的单一专家系统，无法提供群体智能能力，也无法形成多群体博弈对抗的协调决策，无法支持多专家系统的兼容和协调。
Tensorflow 需要运行在高性能计算机，高性能的 GPU 下，很难支持小型设备、物联网等多设备的边缘化集群计算。
Spark 分布式机器学习
上面提到，Tensorflow 在机器学习并行计算的多层结构上，没有较好的解决方案，Spark 根据它在大数据领域的分布式框架，很好的解决了分层任务划分的处理。
在 Spark 中，计算模型可以设计成为有向无环图 DAG，无环图的顶点是 RDD，它是 Spark 的核心组件。RDD 是一种弹性的分布式数据集，它可以支持多个 RDD 分片的依赖、变换（transformation）和动作 (action)，它可以从从 RDD A 变换成为 RDD B，这个 transformation 就是 DAG 无环图的边。通过 DAG 的表示方法，表示计算模型，并且编译成为 Stage。这个模型的表示，如图 1-2 所示：
图 1-2 Spark 计算模型和 Stage 形成的 DAG 图
Spark 运用它的分布式机制，可以支持多个 Stage 并行计算，也能支持 Stage 下属 Stage 模型分层结构。Spark 基于它的 master-worker 架构，可以将 DAG 中的 stage 分割，指定到不同的机器上面执行任务。它的驱动器 driver 负责协调任务和调度器组件 scheduler，调度器分为 DAG 和 Task 调度器，用来分配 Task 到不同的运算单元。它的分布式并行运算流程，如图 1-3 所示：
图 1-3 Spark 分布式并行计算分层
上图表示了在分布式 AI 的训练环节，通过 Driver 规划整体模型，通过节点 Executor 端分别计算，再回归汇总给 Driver，它们的具体要点如下所示：
一个具体的 AI 系统总结为一个工作流 Work Process，其中包含了许多 action 算子操作。
action 算子将不同的工作类别划分为不同 Job。
Job 根据模型的宽以来，划分给不同的 Stage 小模型。
Stage 的内部也可以再划分成为多个小型的 Stage 模型，如图 1-2 所示。
Stage 将功能相同的，DAG 中的边运算归纳为不同的 Task。
Task 可以提交 Executor 做最小运算单元的运算，最终反馈给 Driver 进行模型更新和存储。
通过 Spark 的分布式计算框架与机器学习 caffe 运算库进行结合，伯克利大学 Michael I. Jordan 组发布了论文《SparkNet: Training Deep Network in Spark》，他们开发了 SparkNet 库，它是基于 Spark 的深度神经网络架构，主要能力如下所示：
提供易用的，用于神经网络的接口，可以快速访问 RDD。
提供 Scala 的接口，可以与 caffe 进行交互。
提供轻量级的卷积 tensor 库。
提供简单的并行机制和通讯机制。
即插即拔，易于部署。
兼容现有的 caffe 模型。
根据 Spark 的分布式机器学习机制，我们可以总结它存在的一些缺点，如下所示：
Spark 支持大规模的模型计算分层，但是计算消耗较大，不适合用在较小规模的分布式方案。
Spark 在节点和节点之间的数据路由不是非常灵活。
Spark 难以在小型化设备进行联合学习运算，无法部署在小型化设备之上。
Spark 的框架是一个并行计算框架，它的模式是任务确认调度-模型划分-分片计算-归并总结，更适合大数据集的机器学习，不适合多节点博弈等强化学习方法。
Google 联合学习方案
针对小型化设备，google 在一篇文章《Federated Learning: Collaborative Machine
Learning without Centralized Training Data》中，提出了联邦联合学习的概念。
它的工作原理如下所示：
手机或者其他小型设备，下载云端的共享模型。
每个小型设备的用户，通过自己的历史数据来训练和更新模型。
将用户个性化更新后的模型，抽取成为一个小的更新文件。
提取模型的差异化部分，进行加密，上传到云端。
在云端将新用户的差异化模型和其他用户模型，进行 Average 平均化，然后更新改善现有共享模型。
这样工作的好处有如下部分：
聚合了边缘的小型化设备（比如手机），增加了 AI 的数据来源和计算能力来源。
在机器学习的模型结果上，更加适应广泛用户的行为数据模型。
不同群体之间，可以产生博弈和不断强化的模型结果，模型可以在广泛的分布式基础下，不断迭代更新。
本文转载自：金科优源汇（ID：jkyyh2020）
原文链接：三种分布式人工智能主流框架方案对比
腾讯云云原生提质增效实践精选集 2024
《2024腾讯云云原生提质增效实践精选集》出炉，5大热门技术领域，13个行业精选标杆案例，痛点到解决方案全...
评论 1 条评论