写点什么

白海科技卢亿雷:把简单留给用户 把复杂留给自己 | TGO 专访

TGO鲲鹏会

  • 2022-06-30
  • 本文字数:4417 字

    阅读完需:约 14 分钟

白海科技卢亿雷:把简单留给用户 把复杂留给自己 | TGO 专访

卢亿雷,白海科技创始人兼 CEO,TGO 鲲鹏会(北京)董事会成员。曾先后任职于联想研究院、百度和明略科技,负责联想网盘的分布式存储和高性能计算、Hadoop 分布式计算,以及 AI 算法平台和数据分析平台等工作。卢亿雷是 CCF 大数据专委常务委员和高性能专委委员,中国大数据技术大会主席,2017 年中国大数据行业领军人物,超过 15 年大数据和 AI 计算平台经验。


就像农作物是人类赖以生存的基础一样,AI 正成为人类经济发展迈向更高台阶的核心驱动力。育种专家通过科研攻关,把口感好、品质高、价格低的产品送上普通人的餐桌;现在,一批 AI 行业领军者正在从实际应用需求和痛点出发,推出使用简单、成本低廉、性能强劲的 AI 开发生产平台,助力产业转型升级。

卢亿雷,就是这批 AI 领军者中的一员。他始终坚信,AI 技术唯有下沉到各行各业,普惠生活的方方面面,才能发挥它真正的价值。


对于行业趋势卢亿雷表示,AI 开发生产平台今后将呈现简单化、云原生和一站式三大趋势。其中,简单化尤为重要。经历了由简单到复杂集成式工具的演变后,简单、再简单和高度易用将是 AI 开发生产工具的未来发展方向。


“To C 产品通常简单到不需要复杂的用户手册,企业级 AI 开发生产平台也可以做的像 To C 产品一样简单,推动 AI 的普惠化。”卢亿雷说到。


让 AI 下沉产业端,开发效率成破局核心


近年来,在互联网、传统企业深度拥抱数字化、云原生等新兴技术的趋势下, AI 已成为不可或缺的底层支撑。由此带来的是算法进入到“工业化大生产“阶段,模型愈加复杂和庞大,而算法工程师普遍缺乏高易用性用具,难以提升开发效率;此外,机器学习算法使用的计算能力已远超摩尔定律,高性能、低成本算力亦成为制约 AI 发展的重要瓶颈。不少企业为解决这一难题,投身于 AI 开发生产平台的构建之中,但理想与现实尚存不小的差距。


卢亿雷表示,自己和团队在 2015 年便开始尝试用开源工具构建 AI 开发生产平台,但开源工具改造的平台在易用性和性能上差强人意;目前市场上的解决方案主要分为集成式机器学习平台和 AI 开发生产基础软件,两者各有特色,但均不能同时满足企业和专业开发者在性能和易用性方面的需求。


比如由云厂商、垂直一体化平台厂商打造的集成式机器学习平台,其核心特点是数据准备、模型开发、模型训练、模型部署等各功能子产品都集成于同一平台,导致产品较为厚重、配置复杂、上手困难;


而 AI 开发生产基础软件,其核心特点是数据准备功能包 / 插件、算法调试功能包 / 插件、模型部署功能包 / 插件等可以按需自动配置。不过,各组件的适配表现欠佳且门槛较高,需算法开发人员对系统工程有较深了解。不仅如此,AI 开发生产基础软件通常缺乏引擎支撑,较难满足企业级客户对性能和效率的要求。


据卢亿雷介绍,用传统的 AI 开发工具,数据科学家需要把数据下载到本地,这过程就很复杂,且还涉及到数据版本管理的问题;算法工程师需要部署、搭建实验环境,但大多数算法工程师对系统工程领域涉猎有限,环境部署和管理对他们来说具有不小的挑战性;在算法开发过程中,算法工程师还需要很多库包,但第三方库包和开发工具又可能会有兼容性的问题;在训练过程中,由本地单机代码进行分布式训练,面临代码调整和训练性能、效率的挑战;不仅如此,传统的 AI 开发工具的试验环境和生产环境也是割裂的......


一系列降低开发效率、阻碍计算性能的难题,成为 AI 有效下沉产业的阻碍。卢亿雷称,“要解决专业算法工程师日常开发、生产的核心痛点,让他们更专注于算法开发和模型试验本身,以提升开发效率和性能,突破 AI 普惠的瓶颈。”


以应用需求和痛点出发,构建 AI 开发生产解决方案


过去一位数据科学家的工作流程是这样的,首先需要安装一些工具并配置开发环境,在进行完数据探索后,选择算法模型,并对模型进行开发和训练,筛选出最优模型后将模型文件交给工程师团队,工程师用 C++/JAVA 对模型进行工程化处理,但这个过程会涉及很多复杂的问题,比如精度等。另外,上线后随着时间的推移,模型可能也会存在表现得不理想的情况......


卢亿雷表示,传统的 AI 开发工具在数据、环境管理、模型选择、分布式训练、数据精准度等方面存在诸多痛点;他和他的团队以数据科学家、算法工程师的需求和痛点出发,通过自研的云原生 AI 开发生产平台——IDP(Intelligent Development Platform),构建 AI 开发生产解决方案。


IDP 产品架构图


据卢亿雷介绍,白海科技 IDP 有 IDP Studio 和 IDP Engine 两个子产品。其中基于云原生开发环境的 IDP Studio,性能比肩本地 IDE,支持 Python 和 SQL,算法团队与业务团队可进行高效协作。IDP Studio 通过一键式接入主流云端数据库,在数据方面大大减轻数据科学家的工作;在环境管理方面,IDP 预置最推荐的环境并进行优化,让算法工程师专注于算法开发本身;此外,IDP Studio 通过内置常用的库包,并进行了兼容性的优化;提供可视化的模型对比工具;同时实现试验和生产在同一环境下进行,降低 AI 开发应用的门槛。



IDP 产品界面


IDP Engine 提供高性能任务调度和分布式计算两大核心功能,支持 task 级别任务调度,提高集群吞吐量。IDP Engine 对数据预处理、数据探索、机器学习、深度学习、推理等工作统一调度,对单机版进行性能优化,智能分布式执行,帮助企业提升算法开发效率,降低计算资源使用成本。比如,传统的本地单机工具,若想进行分布式训练,需算法工程师自行配置和实现,通常要配置单机和分布式两套代码,操作极其复杂;而 IDP Engine 天然支持分布式训练,且自动执行单机和分布式,算法工程师只写一套代码即可,大幅提升开发生产效率。


卢亿雷总结道,IDP 通过环境管理、数据源接入、模型构建、模型训练、模型管理、模型发布等功能,让算法工程师更专注于算法开发和模型试验本身,而“系统工程”相关的工作,交给 IDP 的工程师们来完成。本质上 IDP 是通过“让专业的人做专业的事儿”来帮助数据科学家、算法工程师降本增效!


IDP 目前在快消零售、游戏、工业、教育等领域已经实现广泛的应用。比如在快消零售领域,IDP 通过帮助零售企业利用 AI 模型构建高维用户画像,对消费者需求进行预测,实现精准营销。通过 AI 实现智能客服;在游戏领域,IDP 不仅能够提升游戏体验和开发效率,还能高效地开发、训练高性能用户分析相关模型,提升了用户转化效率;在工业领域,IDP 可以实现工业品缺陷检测、开发生产环节的安全监测;在教育行业,IDP 可用于高校科研训练、赛事准备,助力其大幅提升开发训练效率等。


把简单留给客户,把复杂留给自己


软件行业,特别是大数据、AI 相关的软件,如果使用很复杂、很难维护的话,那么它的产品生命周期通常会很短,只有简单易用的软件才可能保持长青。做 To B 产品要有同理心,产品多向前优化一步,每位用户操作时就能减少一步。


为此,卢亿雷会亲自参加公司内部各部门会议。他最担心的是产品没有被客户认可,因此会在各个环节都做到精益求精。比如,产品要做用户展示材料,他会亲自给产品界面截图,截图中涉及很多界面的展示,如图像大小等细节,因此他也被冠上公司“首席截图官”的称号;他也可以为产品中的一个运行按钮的位置、大小,与同事讨论三天才最终确定。


“简单、简单、再简单”是白海科技产品设计的核心原则。IDP 在功能、交互的设计上都致力于最简单明了,让客户一看就懂、一看就会。通过一键部署安装,无需复杂的使用文档,就能够顺利使用。易用性方面,卢亿雷带领团队通过大量访谈,了解数据科学家和算法工程师在这方面的核心痛点,并在 IDP 产品中进行针对性改进。


在性能方面,卢亿雷和他的团队聚焦从工程化的角度做性能的优化和提升。核心是从两方面发力,一是计算和调度引擎方面,主打高吞吐量,天然为高速分布式计算而服务;另一方面对前端的 IDE 进行性能优化,通过采用 Rust 语言的自研 Kernel,提升 IDE 的启动和运行速度。综合来看,IDP 可以让数据科学家和算法工程师的工作效率提升 30-100%。


卢亿雷在产品功能方面要求极其严格。他会让团队把竞品功能做充分调研,包括竞品功能能实现什么、有什么问题等;另外,他的团队每天都会与客户交流,获得需求、意见反馈。比如之前做 IDE 时,他和团队访谈了 100 多位算法工程师以及大量行业专家后,才最终确定每一处细节;把开发和生产挂钩,让用户可以基于 Pipeline 做大量自定义内容开发的功能定位,也是与用户大量沟通后确定的。“产品不是做出来就行,我们要引领行业的发展,一定是要做到最好。”


对于产品规划卢亿雷表示,近期公司会继续优化通用的 AI 开发生产基础平台。通用平台是土壤,只有土壤足够肥沃,才能更好地滋养上层应用;未来公司会构建针对具体行业场景的开箱即用解决方案,推动产品向全域的 AI 开发生产基础软件方向迈进!


Q&A

Q:白海科技打造的新一代 AI 开发生产平台,与现有的竞品相比优势在哪?降本增效方面,有具体数据做参考么?


A:我们的产品以 IDE 为统一的交互界面,所有的工程师都会用 IDE,因此亲近感、易用性都会更好。

但我们又不仅是 IDE,还有数据源接入、数据探索以及后端的任务调度与计算引擎等。目前我们支持 Python 和 SQL。不同语言的算法工程师的使用习惯和易用性诉求不同,我们访谈发现,Python 和 SQL 基本就满足了数据科学家的需求。另一个是 OPS,在 IDP 上把模型开发、测试、生产等全流程完成。

算法工程师的工作效率可以提升 30-100%。IDP 提升的不是通用性能,而是吞吐量。比如原来只能跑一个任务,现在可以跑两个,我们可以把任务的调度、资源利用率做到最高。在实验室环境,我们能做到几倍、十几倍的提升。


Q:在安全稳定、数据隐私方面,白海科技的 IDP 平台有哪些优势?


A:白海科技不存用户的数据;日志的记录、安全审计等,都是严格按照企业级标准设计,如用户系统通过 SSO,我们不会储存用户名和密码;所有的访问控制都有严格的记录,公司还会进行安全审计认证。


Q:我们几个月前完成数千万的融资,在产品研发、团队建设市场推广等方面,会有哪些大动作?


A:产研团队会继续招一些大牛过来,给团队更好的保障和支持;生态建设方面,做开源生态,7 月份会将自研 IDE 开源,有 Meetup、Hackathon,以及与极客时间等合作;


行业建设会花较多的时间,公司成功的标准不是通用平台做得好,而是行业繁荣了才算成功。后续我们会和行业伙伴,如独立软件开发商和解决方案提供商,快消零售、游戏等行业的头部客户建设行业生态。目前,我们在推动构建游戏行业产研联盟等。


关于 TGO 鲲鹏会

TGO 鲲鹏会是极客邦旗下科技领导者聚集和交流的组织,学员由 CTO、架构师、技术 VP、具有技术背景的 CEO 等组成,目前已经在北京、上海、深圳、广州、杭州、成都、硅谷、南京、台北、厦门、武汉、苏州等 12 个城市定期举办学习活动。

TGO 鲲鹏会采用了“学员共建”的组织形式,希望通过“共建、自治”的方式维护各城市的健康发展,为学员提供必要的服务,帮助学员个人更好地学习和成长,助力学员企业之间更好地合作与交流。加入 TGO 鲲鹏会,全方位提升自身价值,成为卓越科技领导者!



2022-06-30 16:023769

评论

发布
暂无评论
发现更多内容

一致性哈希算法 Java 实现

escray

极客大学 极客大学架构师训练营 课程作业

架构师训练营第 1 期 - 第五周总结

Todd-Lee

极客大学架构师训练营

第一周作业

阿呆

【建议收藏】18个适合程序员的在线学习网站,每个我都帮您试过了

田维常

学习 程序员 成长 网站

程序员是不是青春饭?年纪大了何去何从

田维常

程序员 青春饭

Spring Boot 过滤器、监听器、拦截器的使用

田维常

程序员 过滤器 拦截器

牛逼的程序员,都长什么样?

田维常

程序员 牛逼

食堂就餐卡系统设计

Sandman

极客大学架构师训练营 作业

【第五周】技术选型(一)

云龙

第五周作业

极客大学架构师训练营

Raft算法之快照篇

心平气和

raft 快照

手把手教你理解决策树:从概念到应用

计算机与AI

Python 学习 决策树

架构师训练营第 1 期 - 第五周作业提交

Todd-Lee

极客大学架构师训练营

【原创】90%的人都不会做的一道笔试题

田维常

程序员 面试

架构师训练营第五周课后作业

Gosling

极客大学架构师训练营

架构师训练营第 1 期第 5 周学习总结

owl

极客大学架构师训练营

第四周作业

橘子皮嚼着不脆

面试官角度,聊聊写简历这事

田维常

程序员 面试

第01周学习总结[架构师训练营第 2 期]

Airship

极客大学架构师训练营

只争朝夕乘势上,不负韶华开新局——区块链上升为国家战略今日迎来一周年

CECBC

区块链 数字经济

第一周学习总结

CraspLion

架构师训练营第五周学习总结

Gosling

极客大学架构师训练营

第5周 技术选型(一)总结

bearlu

朋友被“卖”了两次:程序员,真的别去外包公司!

田维常

程序员 外包 外包公司

年薪50万开发者相亲失败:程序员,别输在不会说话上

田维常

程序员 好好说话 不会说话

技术是否要追新?基于4点判断谈谈4点认识

田维常

程序员 技术 最新 技术追新

云南区块链布局

CECBC

区块链 大数据

数字人民币将如何改变金融生态?

CECBC

数字人民币

极客时间架构师培训 1 期 - 第 5 周作业

Kaven

架构师第一周作业

丁乐洪

第一周学习总结

Alvin

学习 极客大学架构师训练营 2组

白海科技卢亿雷:把简单留给用户 把复杂留给自己 | TGO 专访_技术管理_InfoQ精选文章