出品|InfoQ 《大模型领航者》
访谈主持|霍太稳,极客邦科技创始人兼 CEO
访谈嘉宾|贾扬清,Lepton AI 联合创始人兼 CEO
作者|褚杏娟
“我们的目标是在未来几年里,成为 AI Cloud 领域的领导者,就像最初的 AWS、Azure、Google Cloud、阿里云,以及 Data Cloud 领域的 Databricks 和 Snowflake。”这是在离开阿里创业一年多后,贾扬清现阶段的目标。
虽然贾扬清此前否认了这次创业是因为大模型,但他承认,ChatGPT 的问世,让 AI 成为一种更新、更大,且在某种程度上更加基础的计算方式,而这也是他看中的机会。
“当前人工智能对计算的需求,推动了高性能 AI 计算、异构计算及现代云原生软件的结合。”这是贾扬清选择创业赛道的逻辑。在他看来,新的平台需要有 GPU 高性能计算能力,也需要很强的云服务,而这些都是贾扬清团队擅长的事情。
贾扬清的经历带有明显的云和 AI 印记:自己创建过深度学习框架,又曾负责过阿里云计算平台。而和他一起创业的李响是 Kubernetes 底层核心数据库 etcd 的创始人,白俊杰是神经网络标准 ONNX 创始人,并在阿里领导过全栈 AI 工程团队。
“在这个领域,我们最大的优势是‘见过猪跑和养过猪’。”贾扬清说道。
创业的杀手锏
“Lepton AI 是一个颇具意义的名字。”
贾扬清选择创业的时间,正好处于大模型逐渐标准化、但人才相对不足的节点。
在贾扬清看来,大模型会走与数据库相似的路:标准化的底层 SQL 执行不再需要用户自己优化了,同时数据库 SQL 之上会创建各种 BI 工具。对应的,随着大模型逐渐将形态收敛到几个相对确定的设计模式上,像 Llama、Mixtral、DeepSeek,系统性优化不再像之前那样困难。同样,这个领域也会出现更偏应用的 AI 中间件。
但与成熟的数据库路径不同的是,当下 AI 领域可能过早地将编程模式标准化了。毕竟一些概念现在不确定、也没共识,讨论如何为实现这些算法进行抽象显得操之过急。
贾扬清以观察到的 Lang Chain 为例说明了这个问题。用户在实验阶段非常喜欢用 Lang Chain,但做定制化功能时就会自己去写代码,因为 Lang Chain 的设计有时过于固化,而自己写代码涉及的 prompt cash 等并不复杂。这意味着,AI 中间件的产品在早期获得关注度以后,还需要进一步随着需求进化。
回到 AI infra 赛道里,贾扬清把 Lepton AI 定义为一个既小巧又敏捷的公司,运作方式上也更偏“硅谷风”:跟硅谷的许多创业公司一样,团队规模不大。目前,Lepton AI 不到 20 人,主要由工程师和产品经理组成。
创业初期,贾扬清几个创始人见投资人时,PPT 上还没有具体的公司名字,而是写着“new company”,贾扬清笑道,“感觉我们似乎不够认真”。于是他们决定取一个与 AI 相关的名字,但那时与 AI 相关的名字早都被注册了,所以他们开始想其他可用且听起来比较专业、有科学范儿的名字。
“Lepton”本意是物理学中的轻子,一种基本粒子。电子是一种轻子,中微子是一种轻子。“这体现了我们想要做的事情:首先是为 AI 时代构建新的基础设施,比如吴恩达教授说过,AI is the new electricity;其次是以一种轻量级、用户友好且成本低廉的方式构建。”贾扬清还直接道,“另外,lepton.ai 的域名也正好没有注册,所以我们就把它买下来了。”
“我们与大模型公司在一定程度上是互补的。”Lepton AI 没有训练自己的大模型,而是提供大模型训练、部署和应用时所需的基础设施。贾扬清团队要解决 AI infra 层的三个核心问题:快速、便宜和优质。
具体来说,提供高性能的大语言模型推理引擎,用于图片、视频生成;其次,为了实现成本效益,建立一个多云平台,整合各种云资源供应链,让用户找到性价比最高的 GPU 资源;同时,解决平台上不同云之间迁移和抽象化的成本问题,让用户可以自由交互开发;最后,提供很好的稳定性和运维服务,保障用户体验。
从技术层面如何实现呢?贾扬清表示团队没用什么“黑科技”,而是将很多大家耳熟能详的单点技术结合起来,从而显著降低成本。例如,大模型处理服务收到大量请求时的动态批处理(Dynamic Batch)、用小模型预测数个 token 的预测解码等。如何实现这些单点技术,并有机地将它们组合起来,找到速度和成本之间的平衡,是工作中的难点。
而在 AI 加速这件事上,贾扬清说道,“我比 10 年前更加乐观。”
实际上,硬件和软件之间的开发周期很难对齐,加上模型的多样性,专有硬件的可编程性通常比通用硬件要差,因此专用硬件很难全面支持各种模型创新的需求。而随着大语言模型架构开始标准化,异构芯片迎来新的机遇,这个市场也被激活:最大玩家英伟达布局 GPU;AMD 推出了与 CUDA 兼容的加速器;Grok 发布新的 AI 处理器 LPU 来挑战 GPU……
当前企业进行大量模型训练时通常有两种选择:一是自己组建一个至少 10 人的基础设施团队;二是选择 AI 云服务提供商,如 Lepton AI。
贾扬清算了这样一笔账:招聘人员并建立内部架构需要时间,而训练任务涉及许多复杂问题,比如网络中断、GPU 故障或存储速度不足等,算法工程师可能都没有处理这些问题的经验,并且这也不是他们的主要职责。这种情况下,选择与厂商合作既可以节省人力成本,用户也能根据自己的需求直接选择不同的底层资源。
“很多用户都在速度和成本之间寻求平衡,而我们可以帮助他们找到这个平衡点。”贾扬清说道。
怎么讲好故事
“我们没有在这些产品上施加营收压力,可以专注提供卓越的用户体验。”
很多人觉得做 AI infra 没有做大模型性感,贾扬清这群人却义无反顾投入到了这件“无聊但至关重要”的事情上。只是,做 infra 是很难向用户讲好故事的。
贾扬清也深知这一点,“如果跟客户说我们是一家 AI 基础设施公司,他们可能不太了解具体是什么。”
为了更好地讲清楚自己在做的事情,贾扬清和团队亲自下场了。
去年春节,贾扬清和公司前端负责人开发了一个浏览器插件 Elmo Chat,可以为用户迅速总结浏览网页的主要内容。今年 1 月,贾扬清团队用 500 行 Python 代码实现了一个大模型加持的对话式搜索引擎 Lepton Search,甚至还引起了一场与 Perplexity 创始人的“口水战”。
这些都是 Lepton AI 了解市场和用户、做品牌建设的方式,同时也让团队更加了解了端到端构建应用时的效率问题和核心痛点。
“通过这些产品,我们可以展示自己在开源模型上能做的事情,以及 Lepton 平台帮助用户构建应用的能力。”贾扬清说道。团队希望通过这些产品或 demo 可以在用户中形成好的口碑,当有人需要部署大模型时就会想到 Lepton AI。
而对 Lepton AI 来说,构建这些产品的成本非常低,并且从品牌建设和做真正实用的产品角度看,这是非常高效的方式。
在推向市场的过程中,贾扬清主要关注产品质量,他会同工程师和产品经理团队直接面向客户,更好地打磨产品。
目前,Lepton AI 整个团队主要在海外,所以目标客户主要为海外企业和国内想要拓展海外市场的企业。得益于云架构的成熟和标准化,Lepton AI 支持在全球范围内部署,与各个云服务无缝衔接的同时,还能很好地利用全球的计算资源。
产品驱动增长的策略也让 Lepton AI 主动放弃了一些潜在客户,特别是需要大量定制化服务的客户。“B 端的部分客户会希望提供商有更多人力投入到自己的项目中,但我们根据目前的成长阶段,会优先考虑与自己产品契合的客户。这是一种主动的选择,我们没有选择那些需要大量人力投入的业务和客户。”贾扬清说道。
不过贾扬清透露,Lepton AI 目前的客户数量和整体营收都处于非常健康的增长状态,他对此也比较满意,“这验证了我们之前的想法和产品在用户中的接受度。”
最近,贾扬清团队发布了基于 Lepton 平台的云 GPU 解决方案 FastGPU,主打经济高效和可靠,“限时以每小时 0.65 美元的价格提供 RTX 4090 GPU”。发布后就有人给贾扬清留言:缺货。
一个更好的 CEO
“还在学习做一个更优秀的 CEO。”
创业期间,贾扬清越来越乐于向公众表达自己的态度,或者也可以说释放自己的个性。
“在阿里时,同事对我的评价就是直率。技术领域通常没有太多花哨的技巧。因此,我倾向于以事实驱动的方式来表达观点,但这样可能会显得比较直接。”贾扬清说道,“毕竟我们现在还是一家小公司,会更加无所顾忌一些。”
他不认为这种直率的表达有什么不好。“在大公司,我们不想给人一种过于冲动或折腾的形象。但在小公司,直白地表达有时并不是坏事,甚至有时为了吸引注意也是必要的。”
就像他会承认说“所有基准测试都是错的”这样的话比较激进和吸引注意,但实际上这是他对榜单变成市场宣传工具的不满。“我更希望榜单成为一个所谓的入门资格认证,而不是奥运会金牌。”
虽然顶着各种光环,但创业初期也难免会被质疑。
有人会怀疑小公司的服务是否可靠和稳定。贾扬清分享了个小案例,有客户使用 Lepton 提供的推理服务,推理服务流量下降时系统发出了警报,团队检查后发现是客户侧代码的问题,提醒客户后他们非常满意。对于创业团队来说,“行不行”得看实际表现。
任何人的创业都不是一帆风顺的,贾扬清逐渐学会了在各种不确定过程中,做出一些重大决策。
就像在去年下半年全球 GPU 供应非常紧张,公司面临的选择是:要么囤积 GPU 进行交易,要么利用这段时间专注提高产品的成熟度来支持现有客户,并寻找那些拥有 GPU 资源但需要更高效平台和引擎的客户。
贾扬清选择了后者,而随着 GPU 供应情况的好转,也证明了他当时的判断是正确的。但事后看来,这仍然是一个相对冒险的选择,如果市场持续是卖方市场,公司就会陷入困境。
“作为一个创业公司,我们经常面临不确定性,还要在当时做出决策。一方面,我们需要不断观察市场,另一方面则要坚决执行决策,这也是提升我们自身效率的关键点。”贾扬清说道。
在一次次决策的制定中,贾扬清正在逐渐适应并把自己 CEO 的角色扮演得很好。
多样的硅谷、同质的国内
“人们总是能找到证明自己是第一的方法。”
国外创业一年多,贾扬清也亲身经历了硅谷对大模型的狂热。“硅谷现在竞争依然激烈。”贾扬清说道。
根据贾扬清观察,硅谷的企业和研究者现在主要关注两件事情:
一是如何实现产品的实际落地。尽管许多演示案例还停留在卖概念的阶段,但现在整个供应链已经非常充足,接下来的关键就是如何让技术真正被用户采用,尤其企业服务领域还有很长的路要走。
二是对基础模型的研究。越来越多的人开始思考 Transformer 和 Scaling Law 的边界在哪里。GPT-5 尚未发布,大家不确定 Transformer 架构的天花板是否到来,但已经有人探索 Transformer 之外的路径和方法,如 RWKV(Receptance Weighted Key Value)和 Mamba。同时,也有许多人尝试通过数据工程和强化学习等手段,从 Transformer 架构中挖掘更多潜力。
“硅谷的情况我觉得比较有趣。”在贾扬清看来,硅谷的产品更加多元化。“硅谷并没有很多公司做类似 ChatGPT 接口的事情,而是在寻找不同垂直领域的方向。比如做 AI 搜索的 Perplexity,其场景和产品形态就有明显不同。
贾扬清也不掩对 OpenAI 的称赞,“我认为 OpenAI 是一个非常成功的公司,无论是 To C 还是 To B 市场,它在营业数据和用户心智方面都做得非常出色。”据他了解,OpenAI 已经实现了产品市场契合,尽管仍在大量投资研发,但其在产品化方面实际上是盈利的,例如企业服务和 ChatGPT 等。
“这为整个行业带来了信心,表明这不仅仅是一个烧钱的游戏,而是真的能够赚到钱。现在,就要看各家公司是否能够成功走出一条商业化的道路。”贾扬清说道。
国内:好坏参半
对于国内的大模型市场,贾扬清直接指出,“我们可能还处于一个相对追赶的水平。”
“国内的 AI 领域涌现出来很多非常优秀的公司,同时大家也在受到产品同质化的困扰。例如以聊天为中心的产品,用户可能会感到眼花缭乱,因为这些产品看起来太相似了,包括我自己在内,都不知道如何选择,因为它们看起来都差不多,而用户一般也不想一个个去尝试。”
不过,贾扬清也肯定了国内的大模型企业在数据和用户量方面的重要优势。
“在国内,我们有时开玩笑说 100 万用户不算什么,但实际上这已经是一个非常庞大的用户基数了。”贾扬清说道。另外,国内用户也非常愿意尝试新事物,这为企业提供了快速验证产品有效性和市场接受度的机会。
贾扬清对国内的期待是,能有更多的产品经理投入到 AI 领域,思考新的产品形态或研究如何将 AI 更好地嵌入到现有产品形态中。他表示,现在许多应用并非由 AI 专家开发,而是产品经理推动的,而未来产品是否好用会逐渐成为用户采纳的决定性因素。
如今许多技术团队都面临着如何有效应用 AI 技术的问题,即使 ChatGPT 也无法精准解决实际业务问题,因此找到合适的业务场景并不容易,To C 的文生图、聊天机器人等已经成熟,To B 领域却还处于不甚清晰的状态。
对此贾扬清给出的建议是,企业自己的工程师要能轻松使用 AI 技术,同时积极与不同领域的工程师讨论各种概念及 AI 的能力边界。“与其花费大量精力去训练一个更强大的模型,更重要的是培养自己的团队,使他们能够快速理解 AI 的边界,并将这些边界与自身的应用需求有效结合。”
“应用大模型的企业最关心的不是价格,而是 AI 能否真正解决问题。”贾扬清提到,从这个角度看,国内愈演愈烈的大模型价格战意义并不大。不过,大模型价格下降也是趋势。“IT 领域的价格指数级下降是一个持续性的规律,我不认为大模型会是不受限制的一个领域。”
但小公司往往无法承受价格战和补贴战的资金消耗,为此,贾扬清建议小公司去精准支持和服务企业,尤其满足垂直领域的需求,这样也会找到自己独特的发展空间。
国内大模型还面临一个问题,就是常常被质疑套壳。贾扬清认为,一定程度上,使用标准架构或所谓的“套壳”并不是问题,比如大家都使用 AlexNet 或何恺明的 ResNet。他更关注的是,国内开发者如何提高自己的工程实践能力,并与海外开发者和开源社区更紧密地合作。
结合自己之前参与开源社区的经历,贾扬清认为国内大模型社区还需要提高协作等能力。“国内开发者独立工作时表现得都很好,如果能更好地协作,就能创建更大、更健康的开源生态系统和社区。”
实际上在今年 3 月份,贾扬清认为“开源模型能迅速追上闭源模型”。现在他也认同,谷歌和百度等公司的闭源模型某些方面是会领先开源模型的,比如在全网搜索等某些企业本就擅长的领域,还有在超大规模的通用模型领域,因为这样的模型需要强大的资金和人才支持。
尽管如此,贾扬清直言自己更支持开源模型。一方面,开源可以促进更多研究,有助于找到更新、更有用的模型。另一方面,由于具有更好的定制化能力和企业自有知识产权的优势,开源模型有望迅速赶上甚至在某些方面超过闭源模型。他也提到,“有 Meta 这样资金雄厚、专业能力强的公司支持开源社区,是非常幸运的。”
对于 Lepton AI 自身也会从开源中受益的事实,贾扬清也直言不讳:“如果一切都是闭源的,我们就只能支持少数几个闭源公司,市场就不会那么大。我们希望市场能够更加多元化,越多元化越好。从市场经济原理看,竞争能够提升质量。”
结束语
“这一波 AI 浪潮的持续时间超出了我们所有人的预期。”贾扬清说道,“尽管 ChatGPT 会出一些问题,但我现在遇到问题或需要写文案时,还是会先让它帮忙处理。因此,我不认为 AI 行业会出现寒冬。对于一些投入明显超出收益的行为,市场会自我修正。”
在贾扬清看来,未来大模型发展的关键还是要回到商业成功上面。今天,人们已经不再怀疑 AI 是否有用,而是纠结如何让它实际产生商业价值。
但目前,AI 产品和服务还没有真正跨出自己的圈子。“当前 AI 市场,某种程度上是 AI 圈内人在自我消化需求,非 AI 用户消费 AI 服务的量还待起步。”贾扬清表示,未来 AI 技术能够被那些对 AI 一无所知的人以某种方式使用,这是它产生更大商业价值的先决条件。
现在,留给创业公司试错的空间并不多,但留给行业的问题还很多。AI 行业如何更长远地走下去,是包括贾扬清在内的每个参与者需要回答的问题。
活动推荐:
由贾扬清担任联席主席的 AICon 全球人工智能开发与应用大会将于 8 月 18 日至 19 日在上海举办,汇聚顶尖企业专家,深入端侧 AI、大模型训练、安全实践、RAG 应用、多模态创新等前沿话题。现在大会已开始正式报名,6 月 30 日前可以享受 8 折优惠,单张门票节省 960 元(原价 4800 元),详情可联系票务经理 13269078023 咨询。
栏目介绍:
《大模型领航者》是 InfoQ 推出的一档聚焦大模型领域的访谈栏目,通过深度对话大模型典范企业的创始人、技术负责人等,为大家呈现最新、最前沿的行业动态和思考,以便更好地参与到大模型研发和落地之中。我们也希望通过传播大模型领域先进的实践和思想理念,帮助潜在大模型应用者、创业者、开发者等做好各类决策和选型。
如果您有意向报名参与栏目或想了解更多信息,可以联系:T_demo(微信,请注明来意)
评论