很多人都担心又一波 AI 寒冬即将到来。虽然 ML 解决方案并不缺乏,但得到企业实际部署的不过十分之一。为此,我们有必要通过五种战术显著降低部署成本。另外,也希望这篇文章能帮助企业 ML 高管、经理以及从业人员深入思考并快速采取行动。这将是我们抵御“AI 寒冬”的一道屏障。
免责声明: 本文纯粹表达个人意见,作者未得到文内所提及之任何企业或工具的认可或赞助。文中的 AI、数据科学以及 ML 等表达可互换使用。
1. 一个故事
在了解到我在此前文章中提出的“数据科学很无聊”结论之后,来自加拿大某顶级银行的高级经理 Michelle 提出了一项积极的 ML 议程,并跟我进行了热烈的讨论。
Michelle 负责监督该银行的 ML 概念验证(PoC)产品组合。在每个概念验证项目中,她都需要确定某种 ML 技术在 4 到 6 个月周期之内能否给企业带来价值。她希望让目标更进一步——不只是完成更多概念验证,而是真正部署更多 ML 项目。顺带一提,她目前的部署率仅为 13%左右。
这就引出了两个重要问题: 我们为什么无法部署更多 ML 解决方案?又一波 AI 寒冬是否即将来临?
我先简要回答一下:是的,如果大家还没提升 ML 解决方案的部署率,那么又一轮 AI 寒冬确实来了。你和你的数据科学团队将成为对抗这波寒流的最后一道防线。如何对抗?解决五大核心挑战以继续保持发展势头。否则,你和你的团队将失去这份“二十一世纪最性感的工作”(不是我说的,但网上都这么传)。
2. 宏观图景:AI 的关注与供应情况
自 2012 年以来,我们经历了一波堪称形势大好的“AI 之春”,真可谓是智能春风吹满地。随着技术的突破、深度学习的一步步商业化以及计算资源成本的持续降低,再加上谷歌与英伟达等巨头厂商的推动,人们对 AI 的关注一路水涨船高。
但必须承认,从上世纪六十年代开始,几乎每十年就会兴起这么一波 AI 之春,但随后总会出现严重的 AI 寒冬,具体表现包括:1)怀疑态度占据主流;2)资金投入大幅削减。
现在人们的怀疑态度又占据主流了吗?好像是的(或者至少出现了端倪)。当今市场上出现了各种各样的观点,我们可以通过谷歌搜索趋势进行一番总结。简单来讲,目前的趋势是:虽然关注度仍然很高,但似乎正在趋于平缓。
2019 年 10 月 18 日谷歌趋势图
资金投入大幅削减了吗?
暂时还没有。目前的资金流主要分为两种:风险投资与企业资金。根据毕马威发布的一份报告,如果将 2018 年第一季度与 2019 年第一季度的投资资本与历史交易进行比较,就会发现整体风险投资市场都有所降温。但风投资金的绝对数额仍然可观,而且 AI 继续在其中充分最热门的领域(直到风投们找到更好的机会为止)。从供应角度看,AI 初创企业与人才可能将继续保持增长势头。
数据整理自 2019 年 10 月 28 日
另一方面,企业定义着 AI 的真正需求与未来命运,这是因为:1)企业才是 AI 初创公司的目标客户;2)企业雇用最多 ML 技术人才。遗憾的是,企业的内部 AI 项目投资数额大多不对外公开。
因此,我们只能通过以下基本原理进行推断:企业是否正着手部署 AI 解决方案以真正实现(而不只是口头支持)这一新兴技术承诺的价值?如果答案是肯定的,那么他们一定会保持或者增加必要的资金投入。
3. 微观图景:AI 的需求情况
下面让我们着眼具体层面,看看近年来企业到底如何使用以及部署 AI 功能。
1)N=来自北美、欧洲以及亚洲的 114000 家机构;2)国际分析机构;3)《福布斯》,2019 年
注意事项: a)此次调查并不能代表整体情况。某些企业肯定会部署超过 10%的 AI 项目;我就见过部署比例在 25%到 40%之间的公司,但其规模一般比较小。b)我们不清楚 10%的部署是否算高。由于公开数据比较有限,我们无法比较 ML 与非 ML 概念验证项目之间的部署率差异,也无从判断 10%的部署率能否带来足够抵消全部概念验证项目总成本的投资收益;但普遍看法是,“我们还可以做得更好。”c)各项调查涵盖不同的企业,但主要面向北美地区的大型组织机构。
我的主要观点是:如果企业没有部署更多 ML 解决方案,则代表内部对 AI 技术的需求将有所减少;ML 人才将失去耐心并选择离开;风险投资方将把资金转移到其他更有希望的项目当中;高管们会失去信心并削减 AI 项目的资金预算。最终,历史将重演:另一波 AI 寒冬必然到来,我的后背都有点发凉了。
4. AI 寒冬极简史与目前的核心问题
引发 AI 寒冬的原因有很多,可能来自政治、技术以及社会等各个层面。Libby Kinsey 就曾经撰写文章分析目前的具体形势。好消息是:以往的很多限制性因素,例如数据(要提供质量更高的训练数据,势必需要更强大的服务与工具)、处理能力、商业准备程度以及整体数字化水平等,都得到了显著改善。坏消息是:我们仍然面对着一大无法回避的障碍(某些旧问题仍然存在,只不过相对得到了缓解)。
在本次调查涉及的企业中,最核心的问题在于 AI 部署的经济性。正如采用其他任何技术一样,这也是整个 AI 行业必须克服的关键性难题。而且只有尽早采取行动,这些经济因素才能得到解决。
我的好友 Joan Didion 写道,“生活中的改变总是在一瞬间发生,普普通通的一瞬间。”我们无法预测事情最终将变成什么样,因此无论 AI 寒冬是否真的存在,我们都应该保持警惕、积极筹备并严阵以待。
因此,让我们深入思考当前企业为什么只部署了大约十分之一的 ML 概论验证项目;我们又该为此做点什么。
5. 聊点具体的,再谈谈战术
简而言之,ML 解决方案部署起来太太太贵了。**我们可以把部署工作拆分成以下五个子问题,理解了这些核心问题之后,我们才能逐一将其攻破。
1) 流程:从概念验证到部署的途径尚不明确。 大多数企业在组织内部设定概念验证思路,确定优先级顺序并为部分前景光明的创意提供资金。在试点项目训练完成后,大家会开几瓶香槟庆祝一下,然后就没有然后了。很多团队都不清楚接下来该干啥,例如从哪里申请资金,以及跟谁一道将概念验证扩展为生产级解决方案。实际上,这本身就是个问题,详见第 3 点。
核心问题: 如何从概念验证走向生产系统?
解决方案: 先划拨一笔专款用于预部署。设定明确的部署标准来分配预算资金(例如与旧有模型相比,新模型的准确性至少要提高 2%)。另外,设定确切流程注入后续资金。接下来,制定整合流程,并尽早与 IT 及运营专家开展磋商。如果要对概念验证项目进行最终部署,还必须配备一套资源配置规划方案。
2) 激励:概念验证项目的 KPI 设置不当。ML 概念验证项目通常隶属于企业中的大规模创新举措。但多数企业往往在 ML 项目中承继了整体创新的基本目标,即重在学习、而非实际部署。这相当于设置了错误的动机与期望。因此,数据科学团队通常专注于尝试前沿技术,而未能在创新与工程可行性之间取得平衡。换言之,他们最终拿出的是可演示的解决方案,而非可集成的实际成果。他们分享的是关于技术本身的知识,而非将技术纳入核心业务体系的方法。激励驱动行为,行为决定结果,请务必牢记这一点。
核心问题: 如何帮助团队构建更多可部署的解决方案?又该如何培养拥有必要能力的团队?
解决方案: 把 KPI 的关注重点从“学习”转化为“可部署创新成果”。努力在创新性与可部署性之间取得平衡。另外,要强调完备的工程设计(具备可行性,在证明价值之前不要过度设计)。最后,对交付成果进行标准化,具体涵盖可供演示的可部署应用程序、整合计划以及关于学习、利弊以及潜在风险的业务案例。
3) 团队:很多概念验证团队并不具备合适的技能储备。不少数据科学团队只追求构建模型,而不愿意接手工程或者运营方面的工作。正如第 2 点所述,激励与总体期望在这方面起到决定性作用。如果没有采用正确的工程实践,团队只会在尝试部署时面临重重障碍。我们可以想象这样的场景:在投入 4 个月时间构建一套出色的概念验证方案后,高管们也都表示赞许。但在尝试部署后,我们突然意识到至少还需要一年半的时间进行重新设计、组建正确团队并推动工程尽职调查,才有可能让项目真正落地——这无疑会严重影响到投资回报。
核心问题: 如何让团队构建起可部署的解决方案?又该如何培养拥有必要能力的团队?
解决方案: 聘请对工程技术拥有丰富经验以及工作热情的数据科学家。如果没有合适的人选或者薪酬要求过高,不妨邀请内部工程及运营团队的专家组建混合团队。如果这些方式都不灵……也可以在 LinkedIn 上碰碰运气 。
4) 技术:现有基础设施不足以支撑 ML 项目。 开发与生产环境之间存在着巨大的数据与工具差异。结果就是,在我们将解决方案从开发环境迁移至生产环境时,往往需要进行一系列额外的重构与测试。从数据角度来看,大多数生产数据无法在开发模型中使用。在使用生产数据时,机器学习模型的性能可能发生显著变化。而从工具的角度出发,开发模型中包含大量用于创新目的的新型工具,但生产环境无疑更倾向使用稳定性高且具备可扩展性的旧有工具(并不是坏事)。
核心问题: 如何选择既能实现创新、又可稳定运行的最佳技术栈?如何进行整合与简化?
解决方案: 创建一套沙箱环境,用于托管经过清洁且与生产环境高度统一的数据。设定一套实施准则,帮助团队在 ML 工作流中选择正确的工具(例如,如果生产环境不支持 Python Pandas,请始终使用良好的旧 SQL 实施开发环境中的数据流水线传输;在不同关键组件之间切换语言相当麻烦,请务必谨慎)。另外,即使某些基础设施与安全团队表示反对,也请允许并鼓励团队使用 Docker 架构实现高层应用程序堆栈的灵活部署。最后,结合 ML DevOps 实践。
5) 政策:变革往往会遭遇激烈的反对。 相信很多朋友都听说过关于变革以及企业文化转变的讨论,但我在这里仍然要再强调一下。与任何新思维、新工具或者新流程的引入一样,怀疑、不熟悉或者误解等问题的存在,总会带来一定程度的不确定性。结果就是,团队将更多时间耗费在内部争论身上,并最终失去了概念验证项目的最佳落地时机。
核心问题: 如何获得利益相关方的支持?
解决方案: 统一的价值观与利益诉求。建立起拥有正确且清晰价值主张的用例。尽早引导上、下游流程参与进来,确保高管及运营层面的利益相关方了解项目、参与项目。与他们共同设计解决方案,通过第 2 点中提到的流程收集专业意见,并尽早获得支持。另外,记得分阶段推进项目进度。最后,也记得找位在企业内混得游刃有余的老大哥帮忙协调各方意见,这同样非常重要。
总结
如果我们不部署更多 ML 解决方案,人们将会逐渐丧失信心,企业则把注意力转移到更有前途的机会身上,以往的 AI 寒冬终将再次上演。但我坚信,阻碍 ML 部署的很多问题完全可以快速解决,其中有些属于 ML 技术面临的特殊问题,也有些源自企业内的固有限制。
但历史就在我们手中,我们的努力将决定下一波 AI 寒冬是否到来!各位 ML 高管、经理以及从业者,我们是对抗 AI 寒冬的最后一道防线,加油!
原文链接:
https://towardsdatascience.com/the-last-defense-against-another-ai-winter-c589b48c561
评论