董老师谈大数据、在线教育、技术人职业发展

编者按

“大牛 V 课堂”是 Geekbang 核心栏目，每次我们以线上微课堂的形式邀约一位互联网资深大牛与大家分享专业学习、职业规划和心灵成长等话题。本次做客大牛 V 课堂第二期的大牛是董老师，问题均来自于粉丝群体。

大牛介绍

董飞，全球最大的在线教育平台 Coursera 的工程师；知乎达人，开辟有“董老师在硅谷”专栏；本科毕业于南开大学，硕士美国杜克大学，曾先后就职于酷讯、百度、亚马逊、Linkedin；InfoQ 作者，QCon 讲师。目前关注的领域包括创业趋势、大数据、在线教育等。

采访正文

Geekbang：您先后就职于很多著名公司，一直在从事大数据相关的工作吗？能简单介绍下么？

董老师：自从 2010 年，大数据就被一直看好，我的工作主线是数据处理，大数据架构相关。几年前在国内工作做一些数据的抽取挖掘，当时从事过百度云计算的项目，Baidu App Engine，后来演化成百度的移动云包括百度云盘。后来去美国读书就针对性对 Hadoop 这样一个技术浪潮做了深入关注和分析。后来也在亚马逊的云计算部门，LinkedIn 广告分析，还有 Coursera 也是做数据的架构。

Geekang：你如何评价大数据在过去几年的发展？

董老师：得益于开源技术的普及。在十多年前，像 Oracle、IBM 其实也是希望说搭建高可靠系统，分布式系统，但当时技术集中在少数几个公司，是做一些很高端的服务。

IBM 也是一个特别有意思的公司，他们自己在技术的推广和社区的建设方面贡献很大，特别是开源技术。我从他们的学习社区里也学习了很多。一方面开源软件帮助了大数据技术的传播。第二也是随着软硬件的升级，互联网公司运用很多应用的领域，比如社交、广告，对数据的要求和实时性要求的量都在一个特别大的升级过程中。所以技术就必须赶紧跟上。这个当中又体现出一些技术的进步，根据摩尔定律，内存，硬件的成本都在不断降低，SSD 硬盘的速度在不断提升。这样给之前看似不可能的任务提供了机会。所谓的时代造英雄，硬件的升级和成本的降低，给大家造成了这么一个机会。

Geekbang：很多大公司在搞大数据，很多创业公司也在为大数据服务，你觉得未来，大数据会变成一种服务吗？有必要自己搞一套还是用第三方的？

董老师：让我来做大胆预测的话，数据架构的门槛可能会越来越低，低到就像是说现在的云计算已经成为一个非常普及的渠道，就像水电一样。

对创业公司来说，它需要的后端存储、计算、消息中间件等，就可能用现成的服务。我已经看到一些公司，比如说 LeanCloud，他们降低和解决了其他一些创业公司的技术门槛。

另外如果是自己搞一套的话，在美国，像 Google 出来的人，他们喜欢搭建自己的平台。Google 本身就有一套非常完备的从部署到开发到云的服务，他们看到这样好的东西就有了一种依赖性，他们出来做了之后就希望把这个东西做一个翻版和简化。那么这个过程还需要几年的操作时间。一些大公司因为他们自身大的流量和历史的负担是很难接受第三方的，会更愿意自己开发维护。还有一种可能是做一个技术平台，比如百度，阿里他们也有很多开源的技术方案。

Geekbang ：大数据工具的技术选型，有什么建议？

董老师：这是考验数据架构师的功力，没有一个能适用所有的 App 和应用系统。但是 Hadoop 这种生态系统已经发展了十年了，还是一个很好的发展势头。它有足够多的公司，也培养了一批人才，这样一个生态系统是可以胜任大数据的技术选择的。

对于一些公司来说，自身技术能力还不够搭建底层系统，就愿意借助于 SaaS 平台， 在美国也有一些公司愿意使用一些第三方的工具和平台如 Qubole，这也更具包容性。而采用第三方平台的成本需要评估，往往自己搭建或者购买的话更便宜一点，但这是一种服务，他会提供一定的 SLA。我觉得关注点应该更多关注于数据和服务的联系。

Geekbang： 国内工作过，后来又出国，现在在硅谷，现在国内的创业氛围很浓，跟硅谷的对比如何？

董老师：硅谷发展三十年是一代胜似一代的递进发展。我能体会到的是人才的培养，从小注重动手能力。包括软件工具、硬件工具。学校教育风格就是希望培养大家的动手能力。现在硅谷趋势也是软硬件相结合。硅谷另一个特点是注重的原生的创新能力，不屑于抄袭。如果有已经很好的产品了，就不要做相同或类似的，一定要在某些领域上有创新，生态上更友好、更强调服务化。西方国家很愿意为体验、为服务买单，他们认为付出服务而收费是很天然的道理。

国内在之前由于缺乏保护知识产权意识，对盗版的处理没有做好，开发者早期没有地位，也没有商业变现途径，导致后来很难做大软件公司。但反过来，有一些公司提供免费入口的模式。

Geekbang：对于创业公司来说，如何找到并留住合适的人才？

董老师：在美国作为一个优秀的技术人才，是很大选择机会。设想一个公司走失了几个核心人才，公司会不会垮了呢？但实际上没有。一方面，制度上他们留得住人，有期权，也就是金手套。如果做好股票收益会大于你的薪水的。第二他走了之后，其他人有了上升的空间，每隔一段时间要轮巡地承担一个服务，而服务出了问题都要你负责，团队轮巡了一遍之后，团队有人出走其他人都可以顶上。对人的技能提升也有好处，也是避免了人员流动导致工作无法继续。

还有一些手段形成好的氛围，比如说技术分享，开展读书会不断学习，公司不是要压榨员工的价值，而是让他们能更好地提升发展。有一本书《Alignment》，有些公司如 Google，人才走了可以保留职位一到两年，随时可以回来。而创业公司的未知风险很大，要给人才看到公司成长的空间，还有企业领导人的魅力。

Geekbang：你对国内在线教育的市场现状怎么看待？跟国外在线教育相比，差距在哪？

董老师：国内做法和关注点很不一样，家教、O2O 这些作为投资人更喜欢，因为这些更市场化，对变现方面能够更快地看到。美国那边教育确实也是很大的市场。但教育阻力也很大。私立公立，各有各的很大的利益集团。很多大学也做了在线平台，学校不会把所有资源放上去，先放一些浅显课程。教育的前景，不会是简单投资人决定的。教育本身是一个慢慢培养，不是短期爆发的东西，有巨大社会贡献。

总体两国的市场都很大，侧重点来说中国更侧重短期效应，我是希望在摸索过程中能够探索出一些新的东西。我看到的趋势是个性化、定制化、自适应、场景化教学。

Geekbang：大数据在在线教育中具体是如何应用的，起到的价值是什么？比如可以提供用户画像？其他？

董老师：用户的画像是希望把用户分析全面，维度会很高很稀疏。在线教育的用户，针对不同的课程，要有一个精准化的推荐，可以根据他的年龄、地理信息、教育水平，跟年龄层相关，比如一个人工作了三四年，想要升职了可能学习管理类课程，培养管理能力，我们怎么做好推荐。一个人刚毕业，学 IT 的，推荐技术课程。针对具体人群对其进行精准化的定位，最后也要考虑变现能力。针对有一定经济收入的人，中产阶级比较多，结合强烈动机，转化为收入的来源。

Geekbang：很多专注于技术人的年轻人想学东西但是不知道从何入手，不知道从哪里找到合适的学习资源、学习方法和路径？以及对于自己职业生涯的规划没有概念，这些能否从你自身的经历给年轻人一些建议？

董老师：拿我自己举例，为什么会加入 LinkedIn，首先自己是忠实用户，第二在上面可以看到很多人的简历，找到一个坐标，自己想做的那一类人，你可以看到他是怎么成长的，学习模式。除了那些天才，很多人都是从底层做起的，3 年－10 年之后，才到达一个很高的境界。

但也没有哪个人的路被别人所定义和指导出来。找到自己合适的路，路是自己走出来的。我们相信突破性、颠覆性的东西是存在的。另外，现代人强调的是专业化，你要找到自己的方向，找到自己擅长又敢兴趣的地方做下去，你要相信自己能够做好，还要坚持。有个一万小时定律，你一直在个垂直领域做下去，自然而然就成了领域里的顶尖人物。

Geekbang：大数据领域，入行，非计算机专业，门槛会不会很高？

董老师：个人觉得现在这种全民创新创业的年代，是缺一些人，很多是技术研发人员，还有一部分是产品经理。相对来说技术研发人员的需求是远远大于其他的。你要愿意去钻一些火热的技术方面的话，还是有非常大的空间的。有些人不是学这个出身，也没关系。如果踏踏实实地落实到一行行的代码，比你高谈阔论一些趋势反而更有意义。

未来的技术人才有一个非常大的短缺，中国未来 5 年可能会有比硅谷更强的需求，这些大多都是技术开发者，但素质的要求会更高。认真做事积累是一件非常重要，大多数人都不是天才，都需要投入时间精力去学专业技能。

Geekbang：想对大数据入门，达到一定水平，推荐个学习路径？

董老师：这跟中国教育有关。我受过中美两方面教育。中国教育太基础，很多课程都是非常呆板，完全是那种教科书式的。美国那边的教育方式经常是讨论式的、实验式的，每堂课都有关于课程的项目。比如 NBA 球探，每一场球赛，完全数据化建模反应出来。每行每业中都有很好的实际结合点，如果从一开始就学建设模型，数字化实验，可以更好训练理性逻辑思维。

Geekbang：从个人梦想来说，将来最想做或者现在已经开始做的一件事情是？

董老师：在美国，很多人过了温饱阶段，他们都很简朴，平常的生活，要追求的是改变世界实现梦想。一直强调的是不忘初心，内心当中最认可的事情。

确实，短期的一些可能需要取舍甚至牺牲，但要看到更多美好的东西，我们先保证身心健康，路还长着，不要有暴发户的心态，定长期一点的目标。举个例子，之前我接到面试，让我画一幅画，未来十年里理想的生活。是通过这个东西来激发你对未来的一个画卷。想象力非常重要，不能局限于现在，也许你现在十分的迷茫、不满，但为了长远的美好的事情，相信努力，幸运是偏好勇者的。

关注 Geekbang 微信公众号（geekbang01），遇见下一位大牛。本次活动由 Geekbang 团队（端劝劝、唐智、崔康）合作完成。