边缘 AI 对数据量大的应用将至关重要

到 2020 年，我们预计将有超过 7.5 亿的边缘人工智能芯片（执行或加速机器学习任务的芯片或芯片部件，不是在远程数据中心里）被售出，这意味着 26 亿美元的收入。此外，边缘 AI 芯片市场的增长速度将远远快于整个芯片市场。我们预计，到 2024 年，边缘人工智能芯片的销量将超过 15 亿。这意味着年销量至少增长 20%，是整个半导体行业 9%年复合增长率的两倍多。

本文最初发布于 EE TIMES 博客，经原作者授权由 InfoQ 中文站翻译并分享。

这些边缘人工智能芯片可能会进入越来越多的消费设备，如高端智能手机、平板电脑、智能音箱和可穿戴设备。它们还将用于多个企业市场：机器人、相机、传感器和其他物联网设备。

随着开发人员意识到物联网系统需要将更多的运算部署到边缘，以克服延迟、性能、数据隐私、安全和带宽挑战，我们探索追求更智能的边缘：是什么、为什么和在哪里。

消费者边缘人工智能芯片市场比企业市场大得多，但其增长速度可能会更慢，预计在 2020 年至 2024 年之间的复合年增长率将达到 18%。企业级边缘 AI 芯片市场的增长速度要快得多，预计在同一时间段的 CAGR 为 50%。

就目前而言，到 2020 年，消费设备市场可能会占据边缘 AI 芯片市场 90%以上的份额，无论是销量还是金钱价值。绝大多数边缘人工智能芯片将用于高端智能手机，占目前消费者使用的边缘人工智能芯片的 70%以上。因此，在 2020 年及未来几年，人工智能芯片的增长将主要由智能手机驱动。我们相信，到 2020 年，在 15.6 亿部智能手机市场中，超过三分之一的手机将配备边缘 AI 芯片。

由于极端的处理器密集型需求，AI 计算几乎都是在数据中心、企业核心设备或电信边缘处理器上远程执行的，而不是在本地设备上。边缘 AI 芯片正在改变这一切。它们体积更小，相对便宜，消耗的能量更少，产生的热量更少，这使得将它们集成到手持设备和非消费设备（如机器人）中成为可能。通过使这些设备能够在本地执行处理器密集型的计算任务，边缘人工智能芯片减少或消除了向远程位置发送大量数据的需要，从而带来可用性、速度、数据安全和隐私方面的好处。

在设备上进行处理可能更好地保证隐私和安全，从不离开手机的个人信息不会被拦截或滥用。当边缘 AI 芯片在手机上时，它可以做所有这些事情，即使不连接网络。

当然，并非所有人工智能计算都必须在本地进行。对于某些应用程序来说，发送数据给远程 AI 阵列处理可能就足够了，甚至是更好的选择。例如，当设备的边缘 AI 芯片处理太多数据时。事实上，大多数时候，人工智能将以一种混合的方式实现：一部分在设备上，一部分在云中。在特定情况下，根据需要执行的人工智能处理类型的不同，首选组合也会不同。

图1：可以嵌入智能的位置（图片来源：Deloitte Insights）

智能手机作为边缘设备

智能手机并不是唯一使用边缘 AI 芯片的设备，其他设备类别，比如平板电脑、可穿戴设备、智能音箱也都包含这些芯片。短期内，这些非智能手机设备的销售影响比智能手机小，很难发生实质性的区别（例如，智能扬声器和可穿戴设备的组合预计 2020 年仅可能销售 1.25 亿件）。不过，许多可穿戴设备和智能音箱都依赖于边缘 AI 芯片，因此，普及率很高。

图2：边缘AI芯片市场（图片来源：Deloitte Insights）

目前，只有最贵的智能手机，也就是消费价格在前三分之一的手机，可能会使用边缘 AI 芯片。对消费者来说，在智能手机中植入人工智能芯片并不一定使价格高得令人望而却步。

我们有可能对智能手机的边缘 AI 芯片做出合理的估计。迄今为止，三星、苹果和华为的手机处理器图像可以显示裸露的硅模，所有功能都清晰可见，我们可以看到芯片的哪些部分用于哪些功能。三星 Exynos 9820 芯片的一个模片表明，芯片总面积的大约 5%用于人工智能处理。三星整个 SoC 应用处理器的成本估计为 70.50 美元，这是该款手机上第二贵的组件（仅次于显示屏），约占设备总材料成本的 17%。假设人工智能部分的成本与芯片的其他部分相同，Exynos 公司的边缘人工智能神经处理单元（NPU）大约占芯片总成本的 5%。换句话说，大约是 3.5 美元一个。

图3：三星Exynos 9820芯片的模切图显示，总芯片面积的大约5%是专门的人工智能处理器。（图片来自：ChipRebel，标注：AnandTech）

同样，苹果的 A12 仿生芯片将大约 7%的模具区域用于机器学习。整个处理器的估计价格为 72 美元，这意味着边缘 AI 部分的成本为 5.10 美元。据估计，华为麒麟 970 芯片的制造成本为 52.50 美元，而 NPU 芯片的制造成本为 2.1%，也就是说成本为 1.10 美元。（然而，芯片面积并不是衡量芯片总成本中人工智能所占比例的唯一方法。据华为称，麒麟 970 的 NPU 有 1.5 亿只晶体管，占芯片 55 亿只晶体管总数的 2.7%。这意味着 NPU 成本略高，为 1.42 美元。）

图4：苹果公司的A12仿生芯片将大约7%的模具区域用于机器学习。 （图片来源：TechInsights / AnandTech）

虽然这个成本范围很广，但可以做个合理地假设，NPU 的平均成本为每个芯片 3.5 美元，再乘以 5 亿部智能手机（更不用说平板电脑、音箱和可穿戴设备），尽管每个芯片的价格很低，但这将形成一个巨大的市场。

更重要的是，对制造商而言，平均成本为 3.5 美元，最低成本可能为 1 美元，在智能手机处理芯片上添加一个专门的边缘 AI NPU，似乎是一件自然而然的事情。如果正常加价，在制造成本上增加 1 美元对最终客户来说只会多出 2 美元。这意味着 NPU 及其附带的好处，比如更好的摄像头、离线语音助手等，可以用不到 1%的价格加到 250 美元的智能手机上。

AI 芯片采购：内部或第三方？

制造智能手机和其他类型设备的公司采取不同的方法来获得边缘人工智能芯片，其决策受到手机型号和（有时）地理位置等因素的影响。有些人从第三方公司购买应用处理器/调制解调器芯片，这些公司专门制造此类芯片并出售给手机制造商，但他们不制造自己的手机。高通和联发科就是两个典型的例子，2018 年，这两家公司总共占据了智能手机 SoC 芯片市场约 60%的份额。

高通和联发科都提供各种价格的 SoC，虽然并非所有的产品都包含边缘 AI 芯片，但高端产品（包括高通的 Snapdragon 845、855 以及联发科的 Helio P60）通常都有。另一方面，苹果完全不使用外部的 AP 芯片：它设计并使用自己的 SoC 处理器，如 A11、A12 和 A13 仿生芯片，所有这些芯片都有边缘 AI。

其他设备制造商，如三星和华为，则使用混合策略，他们从外购市场硅供应商那里购买一些 SoC，剩下的则使用他们自己的芯片（如三星的 Exynos 9820 和华为的麒麟 970/980）。

50 多家 AI 公司就边缘 AI 展开竞争

如果用于智能手机和其他设备的边缘 AI 处理器如此出色，为什么不把它们也用于企业应用？事实上，有些场景已经在用了，比如一些自主无人机。无人机配备了智能手机 SoC 应用处理器，可以在没有网络连接的情况下，在设备上进行实时导航和避障。

然而，针对智能手机或平板电脑而优化的芯片并不适合许多企业或工业应用。如前所述，智能手机 SoC 的边缘 AI 部分仅占总成本的 5%，约为 3.50 美元，比整个 SoC 的功耗低约 95%。如果有人制造了一种芯片，它只有边缘 AI 的部分（以及一些其他必需功能，比如内存），成本更低，耗电量更少，体积更小。

据称，总共有多达 50 家不同的公司正在研发各种各样的人工智能加速器。面向开发人员的独立边缘人工智能芯片已于 2019 年上市，他们可以每次购买一块，价格约为 80 美元。如果量大，这些芯片可能会大大降低设备商的购买成本：有些仅为 1 美元（甚至更少），有些则高达数十美元。目前，我们假设平均成本在 3.5 美元左右，使用智能手机边缘 AI 芯片作为替代。

除了相对便宜之外，独立的边缘 AI 处理器还具有体积小的优势。它们的功率也相对较低，为 1 到 10 瓦。相比之下，16 个 GPU 和两个 CPU 组成的数据中心集群（尽管功能非常强大）的成本为 40 万美元，重量为 350 磅，功耗为 10000 瓦。

随着此类芯片的研发，边缘 AI 可以为企业带来许多新的可能性，尤其是在物联网应用方面。使用边缘人工智能芯片，公司可以极大提高它们分析（而不仅仅是收集）联网设备数据的能力，并将这种分析转化为动作，避免将大量数据发送到云的成本、复杂性以及所带来的安全挑战。人工智能芯片可以帮助解决的问题包括：

• 数据安全和隐私。即使公司对数据保护保持警惕，收集、存储和移动数据到云中不可避免地会使组织面临网络安全和隐私威胁。随着时间的推移，应对这一极其重要的风险变得更加关键。有关个人身份信息的法规正在各个司法管辖区出现，消费者对企业收集的数据越来越了解，其中 80%的人表示，他们认为企业并没有尽其所能保护消费者的隐私。一些设备，如智能音箱，正开始在医院等机构中使用，医院对病人隐私的监管更加严格。

通过允许大量数据在本地处理，边缘 AI 芯片可以降低个人或企业数据被截获或滥用的风险。例如，具备机器学习处理能力的安全摄像头可以通过分析视频来确定哪些片段有价值，并只将这些片段发送到云端，从而降低隐私风险。机器学习芯片还可以识别更广泛的语音指令。因此，需要在云中分析的音频更少。更准确的语音识别还能带来额外的好处，帮助智能扬声器更准确地检测“唤醒词”，防止它听到不相关的对话。

• 低连通性。设备必须连网才能在云中处理数据。然而，在某些情况下，连接设备是不切实际的。以无人机为例。根据无人机的工作地点不同，维持与无人机的连接可能会很困难，而且连接本身和向云中上传数据都会降低电池的使用时间。在澳大利亚新南威尔士州，装有嵌入式机器学习的无人机在海滩上巡逻，保护游泳者的安全。他们可以在没有网络连接的情况下识别被激流袭击的游泳者，或者在受到攻击前警告游泳者有鲨鱼和鳄鱼。

• （太）大数据。物联网设备可以产生大量数据。例如，一架空客 A-350 喷气式飞机有 6000 多个传感器，每天飞行时产生 2.5TB 的数据。在全球范围内，安全摄像头每天产生约 2500PB 的数据。将所有这些数据发送到云存储并分析非常昂贵且复杂。将机器学习处理器放在端点上，无论是传感器还是摄像机，都可以解决这个问题。例如，相机可以配备视觉处理单元（VPU），这是专门用于分析或预处理数字图像的低功耗 SoC 处理器。通过嵌入边缘人工智能芯片，设备可以实时分析数据，只传输与云中进一步分析相关的数据，而“忘记”其他数据，从而降低存储和带宽成本。

• 电量限制。低功耗的机器学习芯片甚至可以让装有小电池的设备进行人工智能计算，而不会消耗过多电力。例如，ARM 芯片被植入呼吸道吸入器中分析数据，如吸入肺活量和流入肺部的药物。人工智能分析是在吸入器上进行的，然后将结果发送到智能手机应用程序，帮助卫生保健专业人员为哮喘患者开发个性化护理。除了目前可用的低功耗人工智能 NPU，各公司还在致力于开发“微型机器学习”：在微控制器单元那么大的设备上进行深度学习。例如，谷歌正在开发 TensorFlow Lite 的一个版本，使得微控制器可以分析数据，并将需要发送到芯片之外的数据压缩为几个字节。

• 低延迟要求。无论是通过有线网络还是无线网络，在远程数据中心执行人工智能计算，在最好的情况下也意味着至少 1-2 毫秒的往返延迟，在最坏的情况下则意味着数十甚至数百毫秒的延迟。使用边缘 AI 芯片在设备上执行 AI 可以把时间缩短到纳秒——对于设备必须实时收集、处理数据并采取行动的应用场景来说，这至关重要。例如，自动驾驶汽车必须收集和处理来自计算机视觉系统的大量数据来识别物体，以及来自控制汽车功能的传感器的数据。然后，他们必须立即将这些数据转换成决策，比如何时转弯、刹车或加速，从而实现安全操作。要做到这一点，自动驾驶汽车必须在汽车上处理收集到的大量数据。低延迟对机器人来说也很重要，随着机器人从工厂环境中走出来，与人类一起工作，这将变得更加重要。

结束语：边缘 AI 对数据量大的应用将至关重要

边缘 AI 芯片的普及可能会给消费者和企业带来重大变化。对消费者而言，边缘人工智能芯片可以实现多种功能，从解锁手机到与语音助手对话，再到在极其困难的条件下拍摄令人惊叹的照片，而且不需要联网。

但从长远来看，边缘人工智能芯片的更大影响可能来自于它们在企业中的应用，它们可以让企业将物联网应用提升到全新的水平。由人工智能芯片驱动的智能机器可以帮助扩大现有市场，威胁到传统企业，改变制造业、建筑业、物流、农业和能源等行业的利润分配方式。对大量数据进行收集、解释和立即采取行动的能力，对于未来学家认为正在广泛应用的许多数据密集型应用，比如视频监控、虚拟现实、无人驾驶飞机和交通工具等都至关重要，这在很大程度上取决于人工智能芯片的优势：将智能带到终端设备。

拓展阅读：

https://www.eetimes.com/putting-ai-into-the-edge-is-a-no-brainer-and-heres-why