写点什么

白海科技卢亿雷:把简单留给用户 把复杂留给自己 | TGO 专访

TGO鲲鹏会

  • 2022-06-30
  • 本文字数:4417 字

    阅读完需:约 14 分钟

白海科技卢亿雷:把简单留给用户 把复杂留给自己 | TGO 专访

卢亿雷,白海科技创始人兼 CEO,TGO 鲲鹏会(北京)董事会成员。曾先后任职于联想研究院、百度和明略科技,负责联想网盘的分布式存储和高性能计算、Hadoop 分布式计算,以及 AI 算法平台和数据分析平台等工作。卢亿雷是 CCF 大数据专委常务委员和高性能专委委员,中国大数据技术大会主席,2017 年中国大数据行业领军人物,超过 15 年大数据和 AI 计算平台经验。


就像农作物是人类赖以生存的基础一样,AI 正成为人类经济发展迈向更高台阶的核心驱动力。育种专家通过科研攻关,把口感好、品质高、价格低的产品送上普通人的餐桌;现在,一批 AI 行业领军者正在从实际应用需求和痛点出发,推出使用简单、成本低廉、性能强劲的 AI 开发生产平台,助力产业转型升级。

卢亿雷,就是这批 AI 领军者中的一员。他始终坚信,AI 技术唯有下沉到各行各业,普惠生活的方方面面,才能发挥它真正的价值。


对于行业趋势卢亿雷表示,AI 开发生产平台今后将呈现简单化、云原生和一站式三大趋势。其中,简单化尤为重要。经历了由简单到复杂集成式工具的演变后,简单、再简单和高度易用将是 AI 开发生产工具的未来发展方向。


“To C 产品通常简单到不需要复杂的用户手册,企业级 AI 开发生产平台也可以做的像 To C 产品一样简单,推动 AI 的普惠化。”卢亿雷说到。


让 AI 下沉产业端,开发效率成破局核心


近年来,在互联网、传统企业深度拥抱数字化、云原生等新兴技术的趋势下, AI 已成为不可或缺的底层支撑。由此带来的是算法进入到“工业化大生产“阶段,模型愈加复杂和庞大,而算法工程师普遍缺乏高易用性用具,难以提升开发效率;此外,机器学习算法使用的计算能力已远超摩尔定律,高性能、低成本算力亦成为制约 AI 发展的重要瓶颈。不少企业为解决这一难题,投身于 AI 开发生产平台的构建之中,但理想与现实尚存不小的差距。


卢亿雷表示,自己和团队在 2015 年便开始尝试用开源工具构建 AI 开发生产平台,但开源工具改造的平台在易用性和性能上差强人意;目前市场上的解决方案主要分为集成式机器学习平台和 AI 开发生产基础软件,两者各有特色,但均不能同时满足企业和专业开发者在性能和易用性方面的需求。


比如由云厂商、垂直一体化平台厂商打造的集成式机器学习平台,其核心特点是数据准备、模型开发、模型训练、模型部署等各功能子产品都集成于同一平台,导致产品较为厚重、配置复杂、上手困难;


而 AI 开发生产基础软件,其核心特点是数据准备功能包 / 插件、算法调试功能包 / 插件、模型部署功能包 / 插件等可以按需自动配置。不过,各组件的适配表现欠佳且门槛较高,需算法开发人员对系统工程有较深了解。不仅如此,AI 开发生产基础软件通常缺乏引擎支撑,较难满足企业级客户对性能和效率的要求。


据卢亿雷介绍,用传统的 AI 开发工具,数据科学家需要把数据下载到本地,这过程就很复杂,且还涉及到数据版本管理的问题;算法工程师需要部署、搭建实验环境,但大多数算法工程师对系统工程领域涉猎有限,环境部署和管理对他们来说具有不小的挑战性;在算法开发过程中,算法工程师还需要很多库包,但第三方库包和开发工具又可能会有兼容性的问题;在训练过程中,由本地单机代码进行分布式训练,面临代码调整和训练性能、效率的挑战;不仅如此,传统的 AI 开发工具的试验环境和生产环境也是割裂的......


一系列降低开发效率、阻碍计算性能的难题,成为 AI 有效下沉产业的阻碍。卢亿雷称,“要解决专业算法工程师日常开发、生产的核心痛点,让他们更专注于算法开发和模型试验本身,以提升开发效率和性能,突破 AI 普惠的瓶颈。”


以应用需求和痛点出发,构建 AI 开发生产解决方案


过去一位数据科学家的工作流程是这样的,首先需要安装一些工具并配置开发环境,在进行完数据探索后,选择算法模型,并对模型进行开发和训练,筛选出最优模型后将模型文件交给工程师团队,工程师用 C++/JAVA 对模型进行工程化处理,但这个过程会涉及很多复杂的问题,比如精度等。另外,上线后随着时间的推移,模型可能也会存在表现得不理想的情况......


卢亿雷表示,传统的 AI 开发工具在数据、环境管理、模型选择、分布式训练、数据精准度等方面存在诸多痛点;他和他的团队以数据科学家、算法工程师的需求和痛点出发,通过自研的云原生 AI 开发生产平台——IDP(Intelligent Development Platform),构建 AI 开发生产解决方案。


IDP 产品架构图


据卢亿雷介绍,白海科技 IDP 有 IDP Studio 和 IDP Engine 两个子产品。其中基于云原生开发环境的 IDP Studio,性能比肩本地 IDE,支持 Python 和 SQL,算法团队与业务团队可进行高效协作。IDP Studio 通过一键式接入主流云端数据库,在数据方面大大减轻数据科学家的工作;在环境管理方面,IDP 预置最推荐的环境并进行优化,让算法工程师专注于算法开发本身;此外,IDP Studio 通过内置常用的库包,并进行了兼容性的优化;提供可视化的模型对比工具;同时实现试验和生产在同一环境下进行,降低 AI 开发应用的门槛。



IDP 产品界面


IDP Engine 提供高性能任务调度和分布式计算两大核心功能,支持 task 级别任务调度,提高集群吞吐量。IDP Engine 对数据预处理、数据探索、机器学习、深度学习、推理等工作统一调度,对单机版进行性能优化,智能分布式执行,帮助企业提升算法开发效率,降低计算资源使用成本。比如,传统的本地单机工具,若想进行分布式训练,需算法工程师自行配置和实现,通常要配置单机和分布式两套代码,操作极其复杂;而 IDP Engine 天然支持分布式训练,且自动执行单机和分布式,算法工程师只写一套代码即可,大幅提升开发生产效率。


卢亿雷总结道,IDP 通过环境管理、数据源接入、模型构建、模型训练、模型管理、模型发布等功能,让算法工程师更专注于算法开发和模型试验本身,而“系统工程”相关的工作,交给 IDP 的工程师们来完成。本质上 IDP 是通过“让专业的人做专业的事儿”来帮助数据科学家、算法工程师降本增效!


IDP 目前在快消零售、游戏、工业、教育等领域已经实现广泛的应用。比如在快消零售领域,IDP 通过帮助零售企业利用 AI 模型构建高维用户画像,对消费者需求进行预测,实现精准营销。通过 AI 实现智能客服;在游戏领域,IDP 不仅能够提升游戏体验和开发效率,还能高效地开发、训练高性能用户分析相关模型,提升了用户转化效率;在工业领域,IDP 可以实现工业品缺陷检测、开发生产环节的安全监测;在教育行业,IDP 可用于高校科研训练、赛事准备,助力其大幅提升开发训练效率等。


把简单留给客户,把复杂留给自己


软件行业,特别是大数据、AI 相关的软件,如果使用很复杂、很难维护的话,那么它的产品生命周期通常会很短,只有简单易用的软件才可能保持长青。做 To B 产品要有同理心,产品多向前优化一步,每位用户操作时就能减少一步。


为此,卢亿雷会亲自参加公司内部各部门会议。他最担心的是产品没有被客户认可,因此会在各个环节都做到精益求精。比如,产品要做用户展示材料,他会亲自给产品界面截图,截图中涉及很多界面的展示,如图像大小等细节,因此他也被冠上公司“首席截图官”的称号;他也可以为产品中的一个运行按钮的位置、大小,与同事讨论三天才最终确定。


“简单、简单、再简单”是白海科技产品设计的核心原则。IDP 在功能、交互的设计上都致力于最简单明了,让客户一看就懂、一看就会。通过一键部署安装,无需复杂的使用文档,就能够顺利使用。易用性方面,卢亿雷带领团队通过大量访谈,了解数据科学家和算法工程师在这方面的核心痛点,并在 IDP 产品中进行针对性改进。


在性能方面,卢亿雷和他的团队聚焦从工程化的角度做性能的优化和提升。核心是从两方面发力,一是计算和调度引擎方面,主打高吞吐量,天然为高速分布式计算而服务;另一方面对前端的 IDE 进行性能优化,通过采用 Rust 语言的自研 Kernel,提升 IDE 的启动和运行速度。综合来看,IDP 可以让数据科学家和算法工程师的工作效率提升 30-100%。


卢亿雷在产品功能方面要求极其严格。他会让团队把竞品功能做充分调研,包括竞品功能能实现什么、有什么问题等;另外,他的团队每天都会与客户交流,获得需求、意见反馈。比如之前做 IDE 时,他和团队访谈了 100 多位算法工程师以及大量行业专家后,才最终确定每一处细节;把开发和生产挂钩,让用户可以基于 Pipeline 做大量自定义内容开发的功能定位,也是与用户大量沟通后确定的。“产品不是做出来就行,我们要引领行业的发展,一定是要做到最好。”


对于产品规划卢亿雷表示,近期公司会继续优化通用的 AI 开发生产基础平台。通用平台是土壤,只有土壤足够肥沃,才能更好地滋养上层应用;未来公司会构建针对具体行业场景的开箱即用解决方案,推动产品向全域的 AI 开发生产基础软件方向迈进!


Q&A

Q:白海科技打造的新一代 AI 开发生产平台,与现有的竞品相比优势在哪?降本增效方面,有具体数据做参考么?


A:我们的产品以 IDE 为统一的交互界面,所有的工程师都会用 IDE,因此亲近感、易用性都会更好。

但我们又不仅是 IDE,还有数据源接入、数据探索以及后端的任务调度与计算引擎等。目前我们支持 Python 和 SQL。不同语言的算法工程师的使用习惯和易用性诉求不同,我们访谈发现,Python 和 SQL 基本就满足了数据科学家的需求。另一个是 OPS,在 IDP 上把模型开发、测试、生产等全流程完成。

算法工程师的工作效率可以提升 30-100%。IDP 提升的不是通用性能,而是吞吐量。比如原来只能跑一个任务,现在可以跑两个,我们可以把任务的调度、资源利用率做到最高。在实验室环境,我们能做到几倍、十几倍的提升。


Q:在安全稳定、数据隐私方面,白海科技的 IDP 平台有哪些优势?


A:白海科技不存用户的数据;日志的记录、安全审计等,都是严格按照企业级标准设计,如用户系统通过 SSO,我们不会储存用户名和密码;所有的访问控制都有严格的记录,公司还会进行安全审计认证。


Q:我们几个月前完成数千万的融资,在产品研发、团队建设市场推广等方面,会有哪些大动作?


A:产研团队会继续招一些大牛过来,给团队更好的保障和支持;生态建设方面,做开源生态,7 月份会将自研 IDE 开源,有 Meetup、Hackathon,以及与极客时间等合作;


行业建设会花较多的时间,公司成功的标准不是通用平台做得好,而是行业繁荣了才算成功。后续我们会和行业伙伴,如独立软件开发商和解决方案提供商,快消零售、游戏等行业的头部客户建设行业生态。目前,我们在推动构建游戏行业产研联盟等。


关于 TGO 鲲鹏会

TGO 鲲鹏会是极客邦旗下科技领导者聚集和交流的组织,学员由 CTO、架构师、技术 VP、具有技术背景的 CEO 等组成,目前已经在北京、上海、深圳、广州、杭州、成都、硅谷、南京、台北、厦门、武汉、苏州等 12 个城市定期举办学习活动。

TGO 鲲鹏会采用了“学员共建”的组织形式,希望通过“共建、自治”的方式维护各城市的健康发展,为学员提供必要的服务,帮助学员个人更好地学习和成长,助力学员企业之间更好地合作与交流。加入 TGO 鲲鹏会,全方位提升自身价值,成为卓越科技领导者!



2022-06-30 16:023916

评论

发布
暂无评论
发现更多内容

RocketMQ 的消费者类型详解与最佳实践

阿里巴巴云原生

阿里云 RocketMQ 云原生

Python 操作pdf(pdfplumber读取PDF写入Exce)

度假的小鱼

11月月更 Python 操作pdf文件 pdfplumber

Spring MVC 和 Struts 的区别是什么?

千锋IT教育

Python基础库-正则表达式库

度假的小鱼

正则 11月月更 Python正则表达式库

Spring Security权限管理原理

@下一站

程序设计 软件开发 springboot 11月月更

浅谈Kotlin与Java互操作(上)

子不语Any

android kotlin 11月月更

浅谈Kotlin与Java互操作(下)

子不语Any

android kotlin 11月月更

springboot整合canal

@下一站

Java 程序开发 spring-boot 11月月更

Lattice - 面向高可扩展的业务框架

原力在线

架构 中台 插件 lattice 业务平台分离

重磅 | 九科信息与达梦完成产品兼容性认证,携手共建信创生态

九科Ninetech

Kotlin用高阶函数处理集合数据

子不语Any

android kotlin 11月月更

aPaaS是什么(aPaaS与iPaaS的区别)

优秀

aPaaS ipaas

图计算的黄金时代 知识图谱背后的数据价值

Neo4j 图无处不在

neo4j 图数据库 知识图谱 图计算 图技术

Kotlin使用 lateinit 的一些考虑

子不语Any

android kotlin 11月月更

一言不合就重构

捉虫大师

架构 微服务 服务发现 健康检查 11月月更

一文深度解读边缘计算产业发展前景

阿里云CloudImagine

阿里云 边缘计算

Kotlin中Regex正则表达式(上)

子不语Any

android kotlin 11月月更

ModelWhale 教学实训模块,更流畅的作业编写及提交体验|ModelWhale 版本更新

ModelWhale

人工智能 机器学习 数据分析 编程建模 教学实训

关于不法分子冒用我司名义虚假招聘的严正声明

嘉为蓝鲸

新课程发布 | 如何用 7 分钟击破 Serverless 落地难点?

阿里巴巴云原生

阿里云 Serverless 云原生

pringBoot的全局异常处理汇总

@下一站

程序设计 软件开发 springboot 11月月更

2022年中国在线视频用户观看行为洞察

易观分析

视频 报告 用户

Kotlin中Regex正则表达式(下)

子不语Any

android kotlin 11月月更

深入浅出Spring Boot接口

@下一站

程序设计 软件开发 springboot 11月月更

极客时间运维进阶训练营第六周作业

独钓寒江

SAP MM 使用两个STO实现免关税跨国公司间转储

SAP虾客

构建基于 Ingress 的全链路灰度能力

阿里巴巴云原生

阿里云 微服务 云原生w

Python操作Numpy模块

度假的小鱼

Numpy 11月月更 Python操作Numpy模块库

火爆全球的“饺子皮”3D手办原来是这样做的!关键时刻少不了远程控制软件!

RayLink远程工具

远程控制软件 远程办公软件 远控软件 远程桌面连接 RayLink

10 个杀手级的 Python 自动化脚

千锋IT教育

SpringBoot:四种读取properties文件的方式

@下一站

程序设计 软件开发 springboot 11月月更

白海科技卢亿雷:把简单留给用户 把复杂留给自己 | TGO 专访_技术管理_InfoQ精选文章