AI 驱动的算力变革：如何突破智能算力瓶颈？

AI 大模型热潮进一步加速了智能算力的稀缺，在这一背景下，如何找到更高效的算力解决方案成为很多企业需要面对的难题。回顾算力的整个演化趋势，从通用算力到智能算力发生了哪些变化？智能算力紧缺的根本原因是什么？如何更好地解决智能算力供应不足的问题？如何提高智能算力的利用率？近日，InfoQ《极客有约》邀请到了首都在线生态副总裁吴锦晟、中关村科金研发总监王素文，共话《AI 驱动的算力变革：如何突破智能算力瓶颈？》。

以下为访谈实录，完整视频参看：https://www.infoq.cn/video/2I8SXyLdICQOjje6gkao

王素文：欢迎大家来到 InfoQ 极客有约，我是今天的特邀主持人，中关村科金研发总监王素文。本期直播，我们邀请到了首都在线生态副总裁吴锦晟来给我们做分享。我们今天直播的主题是《AI 驱动的算力变革：如何突破智能算力瓶颈？》。首先请吴锦晟与网友们打个招呼。

吴锦晟：非常感谢各位能够抽出时间来参加今天的直播活动，我们将一同深入探讨智能算力领域的重要议题，同时也会探讨整个行业的发展趋势。今天，我们希望大家在这次交流中积极提出问题，共同探讨整个行业未来的发展方向。让我们一起来思考如何推动这个行业的进步。

AI 大模型带来哪些趋势变革？

王素文：吴老师在人工智能领域有着丰富的经验。现在让我们回到今天的主题，即算力问题。您在今年 9 月初举办的 QCon 全球软件开发大会·北京站中，分享了《大模型时代下的个人成长》主题演讲。事实上，ChatGPT 这种大型模型的智能化应用已经引起了广泛的关注，而且在各个方面都带来了革命性的变化。您能从个人和行业两个角度，谈谈这轮 AI 大模型热潮带来的变化吗？

吴锦晟：我认为可以从两个层面来回答这个问题。

从个人角度来看，我认为有三个方面的变化。首先，对于我的个人工作效率来说，大模型应用对我产生了巨大的提升。以前，我需要处理许多 PPT 或产品文档等工作，但现在我可以委托模型来生成初步的输出，然后基于这个结构化的输出进行进一步的编辑，这显著提高了我的工作效率。其次，在编写代码方面。如果需要生成代码，以前我可能会查阅各种文档，去 Google 或 Stack Overflow 查找解决方法。但现在，我养成了使用大模型工具的习惯，用它来生成一些代码脚本，这极大地减轻了我的负担。此外，许多软件应用，如办公软件 WPS 或 Office，都具有集成的 AI 助手功能，进一步提高了工作效率。大模型在各种应用场景中都发挥了积极作用，未来预计将在更多场景中带来工作效率的改进。

第二个方面是个人职业发展的拓宽。从技术角度来看，过去我们可能只需要学习一门编程语言并编写业务代码，但现在我们需要学习各种框架、多种编程语言，以解决不同业务或场景的问题。我们还需要深入研究深度神经网络和深度学习，以及与人工智能相关的算法和应用，包括模型训练和推理。这些要求使得个人职业发展更加广泛，从程序员逐渐演变为智能化工程师。

第三个方面是生活方式的改变，这是基于工作效率和职业发展的改变。我们开发的产品和应用已经开始改变我们的生活方式，包括家庭、汽车等各种场景，智能化的交互应用为我们的生活带来更多便利和乐趣。因此，大模型的应用对个人和行业层面都产生了深远的影响。

从行业层面来看，我认为也存在三个方向的变化。首先，大模型需要应用场景，因此行业中的创新应用领域受到广泛关注。大模型为各种应用提供了创新的可能性，如文本生成、意图理解以及多模态应用等，这在金融科技、办公软件等领域都有着广泛应用。

其次，产业链升级是不可避免的。大模型的应用涵盖了应用层、算法层和基础设施层，包括云计算、芯片和服务器等，形成了庞大的产业链。这个产业链会随着大模型的发展而不断升级和演进。

第三，行业格局也会发生变化。随着大模型的诞生和应用推进，行业内的竞争格局会发生一些变化。许多大公司都在强调 AI 驱动的发展，这表明 AI 领域是一个新兴的蓝海市场，吸引了许多新的参与者，这将导致行业格局的变化。因此，大 AI 和国内的 AI 大模型热潮将带来多方面的变革，从个人到整个行业都将受益。

王素文：我个人也在使用大模型等工具，确实能够提高个人工作效率，这对我来说非常有帮助。同时，大模型确实为我们的社会带来了巨大的价值和潜力，这是难以估量的。它可以帮助我们解决各种复杂的问题，并极大地推动各行各业的变革，对每个个体都产生深远的影响。它提高了我们的生活质量，推动了整个社会向前发展，并有可能开辟新的领域和可能性。AI 大模型的快速发展也带动了算力需求，加速智能算力的稀缺，这轮 AI 算力需求的爆发给您带来最大的感受是什么？

吴锦晟：我想从三个方面分享我的主要感受。首先，由于我从事公有云服务行业，我最明显的感受是产品不断加速迭代。例如，我们通常的计算产品，如 CPU 核心的云主机，现在逐渐演变为以 GPU 核心为主的云主机，这从底层逻辑计算转向了并行计算，这是一项重大变化。

其次，产品的选择也在发生变化，包括在 CPU 领域，我们有 AMD、Intel 等，还有一些国产 CPU。在 GPU 领域，目前竞争格局主要由 NVIDIA 等主导，但也有许多国内的 GPU 制造商。未来的发展趋势可能会以一云多芯为主，涉及到异构计算平台。异构计算平台的不同层面也需要进行快速迭代，以提供更出色的云服务产品。

第二个方面是供应链问题，特别是关于 NVIDIA 产能和国内政策的影响，导致供应链不稳定。这对整个行业都产生了一定影响，所以供应链问题需要被解决。此外，国内 GPU 制造和英伟达之外的解决方案也需要度过基础瓶颈，以使供应链更加稳定。

最后，整个产业链的每个环节，从芯片到服务器到云，再到 AI 框架层、算子融合和模型训练，甚至应用层，都还不够成熟或不够稳定。由于技术在快速迭代，商业模式目前还不够明确，所以这个领域仍然充满了创新机会。在这个背景下，我们正面临一个非常具有创新潜力的蓝海市场，这是我个人的最大感受。

如何更好地解决智能算力供给不足问题？

王素文：我们面临挑战，但同时也蕴藏机遇。特别是对国内企业来说，这是一个创新和创业的机会，我认为这非常有潜力。我个人的感受是，从深入学习期间开始，英伟达等公司抓住了宝贵的机会，一路走到大模型的爆发阶段，因此取得了巨大的成功。您认为过去十年，AI 领域主要的算力载体是否发生了变化？从通用算力到智能算力，算力的演化趋势呈现哪些特点？

吴锦晟：我认为，技术栈正在经历一些分叉。首先，在算力层面，我们看到通用算力正在转向专用算力，也可以称为智能算力。专用算力包括以 GPU 为核心的并行训练加速，例如，英伟达正在研发第二代 DPU，谷歌也有自己的 GPU，还有新型的算力形态，如 NPU 等，用于加速 AI 载体。

第二个趋势是从单点到分布式的发展。在十多年前，我们可能只需要使用 CPU 进行 AI 模型训练，然后逐渐转向 GPU 加 CPU 的方式。当时由于 CPU 和 GPU 的编程方式不同，需要重新编译两次才能在 CPU 和 GPU 上运行，因此在那个时候，AI 模型通常在单台机器上单卡上运行。随着模型参数的增加和模型类型的多样化，从单机单卡逐渐演变成了单机多卡，然后随着 GPU 的崛起，从单机多卡又发展为分布式训练。

第三个趋势是能耗和可持续性。随着训练集群的出现，能耗上升成为一个问题，数据中心需要进行改建和升级以满足能耗要求，这也引发了合规和可持续性的关注。高能耗需要政府批准，因此降低能耗、实现绿色和节能成为趋势。

第四个趋势是软硬结合。从纯硬件走向软硬件结合，尤其是英伟达等公司竞争，软件生态系统变得至关重要。软件工程师和人工智能算法工程师的参与推动了这一趋势。

王素文：有观众提问，得算力者达得大模型吗？

吴锦晟：目前，我认为一个关键因素是模型的参数量以及模型是否具有涌现能力。大模型的核心在于其巨大的参数量，而关键在于这些参数是否能够展现出所谓的涌现能力。要实现这种涌现能力，模型训练过程通常需要一个超大规模的算力集群的支持。因此，在目前这个阶段，算力对于大模型的发展确实至关重要。

王素文：我非常认同吴老师的观点，因为在大模型、大数据、和强大算力这三个核心要素中，算力确实扮演着至关重要的角色。大模型通常是开源可用的，而各行各业都积累了大量的数据，但是只有通过强大的算力，才能够高效地训练出这些大模型，以实现更好的效果。另外，我也关注到信通院去年发布的《中国算力发展指数白皮书》显示，2020 年中国智能计算的算力为算力总规模的 41%，而到 2023 年，占比将迅速攀升到 70%。智能算力已经成为新趋势了吗？当前智能算力主要应用在哪些领域？

吴锦晟：这绝对是一个趋势，而且是与国家战略相一致的趋势。中国政府已经将提升整体算力规模作为重要目标，响应了国家发改委的要求，使智能算力的发展成为现实。此外，智能算力的发展也是为了配合人工智能的快速发展。正如你所说，人工智能需要高效的算力，就像没有高速公路，好车也无法发挥作用。这已经成为一个非常明确的趋势。

智能算力的主要应用领域是人工智能，而在人工智能领域中有许多细分场景，包括智慧城市、自动驾驶、智能制造、金融科技、互动娱乐、电子商务等等。举个例子，智慧城市领域的摄像头需要大量的智能算力来计算车流量、人流密度等，从而改善城市运营。对于一个拥有 2000 万人口的城市，可能需要使用 1000P 的算力来支持这些场景，特别是随着自动驾驶车辆的普及，对算力的需求将进一步增加。未来，各种场景都需要强大的算力支持。

王素文：我认为现在基本上只要涉及到人工智能，都需要算力支持，无论是在训练模型还是进行推理的场景下，都离不开强大的算力。因此，人工智能的需求正在不断增加，越来越旺盛。那么，根据您的观察，造成智能算力紧缺的根本原因是什么？整个产业链如何才能更好地解决智能算力供应不足的问题？

吴锦晟：我认为造成智能算力紧缺的根本原因有三个方面。第一，AI 技术的创新突破出乎意料之外，两年前我们对大型模型或基于神经网络的模型的讨论还处于假设阶段，但现在已经确信这些技术的成功。这种技术创新驱动了对算力和智能算力的需求急剧增长，推动了规模的扩大，这是最关键的原因。

第二，尽管需求不断增长，但供应跟不上，导致供需失衡。供需失衡的背后原因复杂多样。首先，智能算力高度依赖于高性能计算卡，受到相关政策限制，造成了困扰。其次，国内加速芯片的生态系统尚不完善，也导致了短期内的供应不足。

第三，规模的快速增长导致了底层智算中心建设跟不上节奏，能耗受到限制。这三个因素是造成智能算力短期内供应不足的根本原因。

那么，如何更好地解决智能算力供给不足的问题呢？我认为有三个关键方面需要考虑。首先，需要政策的正确引导，加大基础设施建设的力度，以根本性解决算力供需不足的问题。第二，需要提高算力效率，尤其在供需失衡的情况下，通过软件优化和算法优化，提高算力的效率以及算力资源的利用率，以帮助解决问题。第三，关键的一点是技术攻关，国内的技术需要在适当的时间点攻克，快速量产，确保产能能够跟上需求，这也是根本性解决智能算力供给不足问题的关键解决方案。

除了前面提到的三个关键解决方案，我认为还有两个值得关注的方面。第一个关注点是新型的算力计算形式。虽然目前的智能算力领域取得了技术突破，但在技术层面可能还存在一些未来的可能性，例如量子计算等。此外，专用芯片的发展也将带来新的计算方式，结合 GPU 等应用，可能会出现新的解决算力不足问题的计算形式。第二个关注点是培育算力产业生态。目前，国内的 GPU 生态还不够完备，因此需要整个产业链的从业者共同努力，才能够发展和完善这个生态系统。这一方面也非常重要。

王素文：除了供应不足，目前智能算力还存在着资源利用不均衡的问题。大型公司拥有足够的资源来提前储备算力资源，但中小型企业或个人可能很难找到可利用的算力资源。有些个人可能拥有算力资源，但不知道如何共享或者利用这些资源，要想提高智能算力的利用率，技术层面需要做出哪些改进和优化？目前行业有哪些比较成熟的解决方案？

吴锦晟：综合来看，解决智能算力不足问题可以从以下四个主要方面着手：

1. 算法优化：通过算法层面的优化，包括算子层面的矩阵调优和元素级算子的融合等，提高现有算法的效率，同时在大规模训练集群调度层面进行并行策略的调优，以提高算力利用率。这需要大量的研究和技术努力。

2. 算力调度：通过动态的算力调度和任务调度，提高算力的利用率。这包括不同颗粒度的调度，在国内已经有一些相关技术努力。

3. 硬件加速：利用新型专用芯片和硬件来加速特定领域的 AI 任务。通过专用硬件的加速，可以提高算力的效率。例如，在视频分析领域可以使用专用硬件（如 DPU）来处理。

4. 云资源共享：充分利用云计算的特性，建立共享的资源池，以提高资源的复用率和利用率。这可以通过公有云构建的共享资源池来实现，为业务提供更敏捷的资源分配。

需要指出的是，在这些方面已经有一些成熟的解决方案，例如在算法优化层面的训练框架、云计算基于 Kubernetes 的容器化方案、以及硬件加速方面的 CUDA 等。我们公司已经在建设 GPU 为核心的资源池，以提供可复用的算力资源。这些解决方案可以为解决智能算力不足问题提供帮助。

王素文：绿色计算也是当前大家比较关心的话题，当前绿色计算面临的主要挑战是什么？在智能算力的应用中，如何平衡算力需求和环保要求？

吴锦晟：环保与能耗之间的平衡问题确实是非常重要的。我认为主要有以下三个方面的挑战：

• 合理的能耗：确保在提高智能算力的同时，能够实现合理的能耗。这需要关注环保方案的成本和效益，以确保能源消耗与投入成本之间的平衡。同时，需要考虑消费者是否愿意分担环保支出的成本，以解决谁来买单的问题。强制监管政策也可以在此方面起到作用，例如对数据中心的 PUE（能源使用效率）进行监管。

• 宏观布局：在国家层面进行数据中心的布局规划是一个重要的考虑因素。将实时计算与底线计算在不同地区分布，可以有助于减少对某一地区的能源消耗压力。这种宏观规划有助于实现地理上的平衡，并减轻某些地区的环境负担。

• 微观层面：在数据中心的微观层面，可以采取低功耗芯片的设计和使用，以减少能源消耗。此外，持续进行绿色能源计算方面的研究和迭代，以寻找更环保的能源来源。这包括太阳能、风能、水能等可再生能源的利用。

综合来看，需要在多个层面采取措施来解决智能算力的环保和能耗问题，包括政策层面的监管、宏观层面的规划，以及微观层面的技术创新。这些努力可以帮助平衡环保和成本之间的关系，同时提高能源利用效率。

王素文：当前算法模型愈加复杂，AI 应用不断延伸，这些都对智能算力的发展提出了更高要求，怎样才能进一步推动智能算力的发展和应用？在技术、人才、产业链建设等方面，有哪些可探索的方向？

吴锦晟：这个问题比较大，我尝试回答，后面我也想听听王素文老师的意见。推动智能算力发展和应用的关键因素有以下几点：

• 应用场景导向：智能算力的发展必须与实际应用场景的需求相匹配。建立国产联盟或合作方式，可以帮助政府、企业和研究机构更好地理解并应对不同行业中的具体问题，以确保技术的发展具有实际意义。

• 技术多维度深耕：在技术层面，硬件、软件、算法和应用等多个维度都有潜力深入研究和开发。这需要不断的技术创新和专业人才的支持，以满足不断变化的需求。

• 人才培养：当前对于与大模型和智能算力相关的高级人才的紧缺情况。提出了培养体系化的人才的重要性，这包括高校、培训机构和企业内部的培训，以确保新一代的工程师和科学家能够胜任复杂的任务。

• 产业链建设：产业链上下游之间的协作和连接的重要性。建议通过建立生态系统，将不同领域的参与者连接起来，以便共同解决问题和实现创新。

王素文：我们中关村科金作为需求方，也希望在智能算力领域发挥供给端的作用，以降低算力成本、加大供给，并推动各种大模型应用产品的更快推出。这种需求确实非常重要，特别是在当前和未来的技术和市场环境下。有观众提问，现在无人驾驶领域的算力需求是什么样的？

吴锦晟：我认为，在智能算力的发展方面，可以从三个不同的角度来考虑。首先是在无人驾驶领域，特别是车辆端。现在，许多汽车配备了强大的车载芯片，具备处理大量任务的算力能力。这为满足无人驾驶的需求提供了供给方式。

第二个方面是近端计算，也就是边缘计算。未来可能会出现一种称为 AIDN（智能算力分发网络）的技术，类似于现在的 CDN（内容分发网络），但专注于智能算力。这意味着在边缘设备上进行处理，例如在无人驾驶汽车、路上通信设备以及车辆之间的通信中，都需要进行智能算力处理。这是第二个方面。

第三个方面是云端计算，其中数据采集后可以进行在线或离线的业务计算。

在这三个端上，都需要提供智能算力。尽管都提供智能算力，但从无人驾驶需求的角度来看，需要根据不同的场景需求，采用不同的供给方式来满足对延迟和静态计算能力的需求。

王素文：确实，在无人驾驶领域，各个新能源汽车厂商采用了不同的传感器和处理方案。最早的一些方案包括使用激光雷达等传感器技术，这些方案对算力需求也相对较高。然而，现在一些公司，例如特斯拉，采用了计算机视觉（CV）技术，这种方法也需要更多的算力来处理图像和视频数据，因此对智能算力的需求也相对旺盛。这说明了在不同的无人驾驶技术路线上，都需要强大的算力支持。

吴锦晟：是的，使用激光雷达等传感器的处理通常在车辆本身的车端进行，而使用计算机视觉（CV）等视觉处理技术的处理则在近端进行。因为不同的无人驾驶场景具有不同的需求，所以对算力供给的方式也会因情况而异。

技术突破是推动算力发展的核心驱动力

王素文：现在企业在构建大模型算力基础设施时通常关注哪些方面？不同行业和应用场景对于算力基础设施的需求和特点是什么？对于那些感兴趣，但还未建设算力基础设施的企业，您会给他们哪些建议？

吴锦晟：在构建大模型算力基础设施时需要精确测算投入和产出比。先回答下需要关注哪些方面：

首先，关注成本是核心，因为企业需要精细化运营。在算力基础设施的构建过程中，必须准确测算投入和产出比（ROI）。

其次，算力规模是一个重要的考虑因素。企业需要决定是一次性投入还是通过云来满足需求的弹性问题，这涉及算力规模的估算。

第三，要考虑算力基础设施的建设周期和供应链问题。这是构建基础设施时必须考虑的因素。

第四，选择适当的技术方案非常重要，因为不同的应用场景需要不同的计算、存储和网络解决方案。

第五，进行可行性研究，考虑性能、安全性、可靠性和可扩展性等多个方面的因素来确定基础设施方案的可行性。

最后，需要理解业务生命周期的理论，这是一个重要的方法论，可以指导企业在业务不同阶段采取不同的策略，包括上云、运营自建和进行生命周期管理。在一个业务的平稳期、生命周期的末端或衰退期，我们通常会考虑进行维护和管理，因为即使业务已经衰退，仍然有用户在使用，我们不能直接关闭它。因此，我们会采取一种语义上的迁移策略，以处理生命周期的尾部工作。这是整个发展过程中的一个重要步骤，与互联网的生命周期理论相似。这个过程确实需要关注如何优化、维护和管理旧业务，以最大程度地提供价值，并且在适当的时候进行有序的退出。这样可以确保资源的有效利用，同时满足用户的需求。

王素文：有观众提问，国内外目前算力产业链现在都存在哪些差距？咱们怎么能才能超越他们？

吴锦晟：首先，我认为算力的核心在于计算芯片。就目前国产 GPU 的发展情况而言，我们在设计能力方面已经不逊色于国外一些大厂，包括 NVIDIA、英特尔。然而，目前最大的问题在于芯片制程方面存在瓶颈。我们缺乏光刻机，而在制程方面与海外厂商相比仍然存在较大差距。最近，我们看到台积电已经不再代工生产国产 GPU，这对国内算力产业链的发展有直接影响。不过，也有一些积极的迹象，例如华为 Mate 60 的发布为我们带来了希望。因此，关键问题在于我们何时能够克服这些挑战，即何时能够迅速缩小与国外的差距，这是一个关键的变数。

第二个关键层面是软件生态。为什么 NVIDIA 能够独领风骚？主要是因为他们以扩大为核心的软件生态做得非常出色。然而，目前国产 GPU 在这方面仍然没有实现行业内的统一，各家仍然各自为战。政策引导、行业倡议，以及国内算力联盟等方式都可能有助于我们解决这个关键的软件生态问题。

第三个关键点是除了计算本身之外，还有其他核心问题，包括大型模型的推理和训练场景对存储的不同需求。如何选择适用于不同场景的存储方案是一个重要问题。此外，通信领域也需要关注，特别是网络方面。我们知道 NVIDIA 已经收购了 IB 公司，这对于通信和集群内网络的供给是一个重要的发展。因此，我们需要联合努力解决这些网络层面的挑战。

王素文：确实，如果我们想要迎头赶上国外，国内的企业需要更加努力，这还包括整个行业和政府层面。我们需要共同努力来建设一个更加健全的生态系统，大家需要全力协作，以实现一些重要突破。最后一个问题，有观点认为“技术突破是算力发展的根本”，您对此怎么看？展望未来，算力发展将呈现怎样的趋势？

吴锦晟：我认为技术突破确实是推动算力发展最核心的驱动力。因为从本质上来说，智能算力的需求呈现出快速增长趋势，所以我们可以将其类比于过去讨论的 CPU 的摩尔定律，现在我们可以谈论新型摩尔定律，这同样对智能算力的发展具有指导性作用。

第二个方面是，我认为智能算力的发展可能会在技术上出现分叉。这个分叉可以在两个层面上发生。首先，大模型的训练层面可能更像高性能计算（HPC）。并非每个公司都需要进行大模型的训练，因此基础大模型的数量可能最终会有限。因此，依托于超大规模训练集群的基础大模型属于高性能计算范畴，它将是科技领域的一个重要存在。

第二个方向是模型应用层。基于大模型进行二次预训练、特征提取和推理等操作需要更多通用性和工程化的智能算力。在这种情况下，我们需要云计算、AIDN（智能算力分发网络）以及边缘计算等解决方案，以推动这一方向的发展。这个趋势对于实现 AI 算力的广泛应用至关重要。

经常会听到一种说法，即让算力像水电一样随时可用。尽管这句话听起来很容易，但在底层，实际上需要产业从业者共同努力才能实现这个目标。

王素文：我认为现在的算力就像是基础能源一样重要。从这个角度来看，我们需要在社会层面，包括技术、人才以及整个产业链建设方面，增加更多的投入。只有这样，我们才能逐步解决这个问题，特别是在国内算力领域。最后我们再回答一个观众问题，国内光刻机有重大突破了吗？

吴锦晟：这个信息相对较为机密，我也没有相关的详细情况。然而，在 7 纳米制程方面，似乎取得了一些突破，因为通过多次反复的多层光刻，Mate 60 芯片似乎可以生产出来。但是，这个过程中会面临两个问题。首先是良品率可能会有问题，第二是产能跟不上。目前，如何解决这些问题还需要进一步观察。

嘉宾介绍

特邀主持：

王素文，中关村科金研发总监。

嘉宾：

吴锦晟，首都在线生态副总裁、TGO 鲲鹏会（上海）学员，技术专家，在政法、钢铁、互联网、人工智能等行业的信息化建设方面有着丰富经验。近几年，致力于智能化应用助力社会变革，并因此对于人工智能与行业应用的复杂关系与互动产生了浓厚兴趣。曾编写《云渲一体技术与应用白皮书》、《Docker 技术入门实践》等多本行业领域的技术书籍。