事物存在即产生关联,网络无处不在。图作为描述网络的数学语言,能够很好地描绘万象的物理世界。关于图的研究,最早可以追溯到 18 世纪,在 20 世纪已经是一个很重要且热门的研究点。近年来,随着深度学习的兴起,神经网络表现出强大的数据拟合和刻画能力。“图+神经网络”强强联合的建模方式能够广泛适用于诸多场景中,因此也受到了越来越多的关注。
本期“InfoQ极客有约”与“OpenI启智社区”联合推出的系列直播栏目邀请到了北京邮电大学教授、博士生导师、OpenI 启智社区开源项目“图神经网络”负责人石川教授,听他来和我们聊一聊到底什么是图神经网络,为何近年来它如此“火热”?有哪些技术值得关注,经过多年技术演进,图神经网络将走向何方?
- 2.0x
- 1.5x
- 1.25x
- 1.0x
- 0.75x
- 0.5x
以下为直播内容整理:
InfoQ:我了解到您从本科到博士后一直主修的是计算机相关的专业。您最初为什么会选择这个专业?这背后有什么故事吗?
石川教授:我是 97 年上的大学,也没有什么太多的故事,计算机在当时还是很火热的,连装个电话都是比较先进的事情,所以当时通讯、计算机是挺火的方向。所以懵懵懂懂觉得这个方向未来机会比较多,就报考这个专业,一直读了下来。
InfoQ:您本科毕业后,国内计算机行业环境是怎样的呢?
石川教授:当时的环境和现在差不多,从长远来看也都是起起伏伏的。我是 2001 年本科毕业,那时候,计算机专业处于一个热得发烫的时候。我记得那年华为招人的时候,是整个班全部招进去,工资也都特别高。我们那时候本科毕业四五千块钱,现在看不高,可以说还比较低,但当时其他行业可能就是一两千块钱,计算机专业的工资比其他专业高个三四倍,属于很火热的状态。
但是那一年可能也是互联网泡沫消失的那一年。我们找工作时候机会还很多,但是过了半年,整个行业都不行了,立马就遇到了寒冬。前一年很多大公司还浩浩荡荡招人,第二年就开始了大规模裁员,很多学生可能刚参加工作半年就被裁掉了,所以说计算机行业有时候是虚火,有时候就会遇上寒冬,整体趋势起起落落,就像现在一样,我们本科毕业的时候也经历过一次。
InfoQ:当时互联网泡沫破灭的起因是什么?有什么标志性事件吗?
石川教授:我觉得这种泡沫一直都有的,就像计算机是一个发展很快速的行业,也被认为是朝阳行业,有大量的资本涌入,就催生了繁荣,当过度繁荣以后,那可能就会出现寒冬。我们那时候是经历了互联网的泡沫,就像现在,其实 AI 领域也存在泡沫。前两年各种因素使得 AI、大数据特别火热,到今年也感觉到明显的寒冬,这既是技术发展的一个周期、一个规律,也是资本炒作各种因素造成的一种循环性现象。
InfoQ:您是什么时候将研究教学作为自己的终身事业的?是在博士生毕业之后决定留校了?
石川教授:博士毕业时候做的决定。当时也会纠结要去公司还是去高校,遇到一个十字路口。我还是比较想做研究,所以想去高校。但是当时也是有点犹豫,因为觉得自己不够聪明,可能做不好研究,进入高校后能不能做出成绩也是未知的,这是我的原因。最后深思考量后,还是选择了高校。
InfoQ:我感觉您之前面临的纠结,现在即将毕业的学生同样会遇到此类问题,您认为什么样的人更适合进入高校,什么样的人适合进入企业?您能给那些在就业选择时感到迷茫的学生一些建议吗?
石川教授:对于博士生来说,他们临近博士毕业的时候,或者更早一段时间都会有答案的。拿我自己来说,我会考虑自己到底喜不喜欢做研究、我研究做得够不够好、对自己走研究这条道路是否充满信心,这些自己心里会有一个基本的判断。如果想要时间上比较自由,想对社会未来做点贡献,有着想改变世界的雄心,而且做得也还不错,就可以考虑继续做研究。再一个,经济压力没那么大,就可以选择做研究、进高校。
InfoQ:进高校以后,是什么样的契机和背景让您把数据挖掘和机器学习作为主要研究方向?
石川教授:主要还是博士阶段工作的延续,且我自己也很喜欢这个方向。博士阶段我就主要做数据挖掘这个方向。那时候,数据挖掘、机器学习、人工智能,都是比较冷门的方向。我很看好这个方向,因为当数据体量庞大后,必然要从数据中发现知识,这是个发展的必然。因为喜欢,我才能够一直这么坚持做下来,一做就是十多年。
InfoQ:2007 年,您开始在北邮担任职务一直至今。提起北邮,大家脑海中的印象肯定是计算机界的顶尖学府一类的标签。您眼中对北邮的定位是怎样的?
石川教授:北邮是一个特色很鲜明的学校,号称“信息黄埔”,搞计算机的应该都知道北邮,特别是搞计算机、互联网,北邮可算是一股中坚力量,北邮学校的学风是很好的。学生都比较踏实,做事认真,动手能力比较强,这是学校学生鲜明的一个特点。所以培养的学生在行业内深受信任,也成为行业的中坚力量。当然也存在一些缺点和不足,学生们研究创新的精神可能稍微弱一些,因为工程能力太强了,导致创新能力偏弱一些,这些不足现在也开始校正。我们希望北邮未来不仅是有优秀的工程师,还是有优秀的学者和知名的创业者。
InfoQ:能分享下您在与学生沟通过程中令您印象深刻的几件趣事吗?
石川教授:可以简单说下我读研、读博时碰到一些的老师和学生。读博确实是很漫长的一个事情,做研究也是个无止境的事情,但是这一路走过来,在不同阶段会经历不同的事,也很有趣。
我求学经历也是比较丰富。本科就读于吉林大学,研究生是在武汉大学读的,是跟着老先生做演化计算。从相对比较封闭纯朴的东北跑到开放的武汉,我觉得特别新奇,感觉整个人特别活跃。老先生是个比较纯粹的学者,领导我们做研究,激发了我对做研究的兴趣。读博时我想换个环境,就跑到北京来,到了中科院计算所读博。研究生阶段我过得很快乐,但是博士阶段就遇到一些挫折,甚至说差点退学。后来国内人工智能的先驱老先生,收留了我,我就跟着他读博。老先生做事是很严谨认真的,跟着他读博那三年也是相当辛苦的,也见识了国内顶尖的人工智能技术,在这种环境下我自己也更加勤奋,更加努力。
后来到了北邮工作两三年之后,有机会去了美国伊利诺伊大学芝加哥分校访问,跟着数据挖掘大师学习。于老师是数据挖掘领域的先驱,在华人计算机数据挖掘圈也是首屈一指的人物。我也很有幸跟着他成为他那边的第一个大陆访问学者。跟着他学习后,我学到了很多做研究的方法,特别是他就带我进入了国际数据挖掘圈,相当于在学术上又给我指了一条明路。后来在他的指引下,我在求学过程中碰到了很多老师,也是结交了很多朋友,跟这些最优秀的人、最聪明的人打交道合作,也使我更加努力,尽力做好每件事。这一路走过来,我感觉收获是挺大的。能够做研究,与最优秀的人为伍是一件很幸福的事情。
InfoQ:您之前也在美国研究数据挖掘相关技术,在国外期间和在国内期间体验到的学术氛围有什么不同?
石川教授:我是 2010 年去的美国,那时候我感觉国内外在学术界、工业界上的差别还是很大的。那时国内真正会做研究的人不多,虽然研究已经开始起步了,但是跟国外差距还是比较大的。我在美国那边也认识了那些顶尖的高校的主流的研究人员,了解了他们是怎么做研究,怎么培养学生的,这对我影响挺大的。
国外那边他们很强调学术界跟工业界合作,因为他们那边暑假是有三个月时间,挺长的,学生基本上都趁这三个月时间去企业里面实习,老师也很鼓励他们这么做,这样可以共同解决一些问题,既能发表高水平论文,也可以解决企业的实际问题,学生也可以赚一些钱,能够支持后面的学业,这是很好的模式。
在研究上,我也是学到了如何做研究,如何思考问题,学到了一些常用的主流的工具和方法。但是后来这十多年,我觉得国内进步是相当大的,年轻的老师基本上都受过正规的科研训练,很多也都是直接从国外回来的,把国外的一些先进的研究方法和思想都带回来了,国内的研究水平提升是很迅猛的。现在我感觉这些国内做得好的团队跟国外没有明显的区别,而且国内企业,特别是头部互联网企业进步也是相当大的。现在我们的学生也大量派到了企业里面跟他们合作做一些前沿的工作,这基本上跟国外的环境和模式差不多是齐平的。
InfoQ:您在计算机行业已经从业二十多年了,能否结合您的经验为大家介绍下计算机行业的发展历程,以及我们能从这样的历程中得到哪些启示呢?
石川教授:我是农村出身的,读大学的时候是 97 年,在那之前没接触过电脑,我在读的还是一个省重点高中,那时候好像有 286、386 那种台式机,但是都没接触过。读了大学之后,才开始接触 DOS 操作系统,应该是属于最早的那批微机。最早的微机人机交互的主要方式是命令行方式。后来 586 出现之后,从原来的 DOS 操作系统键盘这种命令行控制方式,到鼠标这种可视化视窗的控制方式,是个巨大的飞跃,也造成了计算机极大的普及。
再到近些年,智能手机触摸屏的出现,很大程度上推动了计算机、电脑产品的极大普及。这是我经历的交互系统的三次重大变革,也深入影响到我们的生活。随着交互系统的更加智能,像语音、脑电波,或者是眼球与电脑间的交互,这些新的交互模式正在发展中,未来有可能让计算机发生翻天覆地的变化。
现在全社会正在全面上云,SaaS、PaaS 这些底层技术的革新,使得我们从软硬件系统到编程系统,到服务的方式,完全变了。这些模式的改变造成了行业的重大变革。国家提出的东数西算、算力网络等也将快速发展起来,可能未来计算也就像水和电一样,成为了基础设施。此外,有了 AI 和计算资源后,智能算法也需要融入到各行各业,未来各行各业都将发生重大变革。
InfoQ:您现在主要研究数据挖掘与机器学习方向,这是数据科学与人工智能的交叉方向,您认为数据科学与人工智能领域的关系如何?有哪些共性的东西?
石川教授:我研究数据挖掘、机器学习到现在已经 20 多年了,这些流行名词变化得很快,隔几年就有一个新名词,像网格计算、云计算、大数据、人工智能、区块链到元宇宙。但从学科发展的本质来说,一些研究方向相对来说是比较固定的,没有那么多花哨的东西。
数据科学是用科学的方法算法以及系统从数据中提取价值的一个跨科学领域,它主要是从数据中提取价值,从数据中发现知识,这是数据科学要做得事情。这怎么做?数据挖掘是一个重要的核心方法,数据挖掘本身就从数据中挖掘知识,发现有用模式。所以,数据科学可以说是数据挖掘一个比较时髦,比较学术化的说法,其本质就是数据挖掘。
人工智能是研究开发,用于模拟延展人的智能的理论技术方法,这里面人工智能的核心技术就是机器学习,就是让这个机器能够从数据中提炼知识,像人一样从数据中分析数据、提炼出知识来,这是人工智能的一种重要技术手段,目前也成为一种核心的技术手段。深度学习又是属于机器学习里面的一类方法,现在它也是机器学习的主流方法,甚至成为人工智能的主流方法,但是人工智能方法也有其他一些机器方法。
人工智能实际上是数据科学的一个技术手段,我要做数据科学,要从数据中发现知识,用什么技术来挖掘?我们是用人工智能的这种技术来从数据中挖掘知识,所以说人工智能是数据科学的一种技术手段,当然我们也可以用其他的一些技术手段,人工智能是一种核心的技术手段,数据科学是人工智能的应用领域。人工智能用在哪里呢?它可以用在数据科学里面,也可以用在其他方面,这是他们之间的一个关系。
InfoQ:随着数据科学、机器学习的兴起,图神经网络被提及得越来越频繁,您能给大家介绍下究竟什么是图神经网络,它为什么会这么“热”?
石川教授:图神经网络通俗的说,是把神经网络技术用在图数据中,设计了一类模型,因此它就成为图神经网络,还有其他一些技术也用在分析处理图数据,目前我们分析图数据最主要的一种技术手段就是图神经网络。
图神经网络原本是用来分析图数据的,但是现在又不局限于图数据,它也可以用于其他类型的数据,现在也成为人工智能一个研究的热点,已经成为人工智能领域的一个核心主流方法。那么,为什么图神经网络这么火热?我分析有三点原因:
第一,它是图分析挖掘技术的一个必然,我们很早就开始研究怎么分析挖掘图数据,从以前做一些统计分析、概率模型,再到现在用图神经网络,这是技术发展的一个必然。这是它热起来的第一个原因;
第二,它也是神经网络发展的必然。神经网络很早就出现了,近一些年,学者们发现它在图像识别领域很有效果,后来将其用在语音、视频等领域,效果也都挺好,再后来用到文本里面,也觉得很有效,神经网络的应用范围越来越广,最后就是到了图数据,发现在图数据里面也很有效,它是技术发展的一种必然;
第三,图神经网络它有很好的普适性和广泛的应用性。图数据是广泛存在的,万物互联,对象之间都是有关联关系的,这种关联关系是广泛存在的,我们能够挖掘利用这些关联关系,在很多问题中都会有好处。图神经网络技术刚好能够很好地利用这种学习结构关系,而且能够融合原来属性信息,这样就能很好地把原来机器学习主要分析的特性信息和它内部隐含的结构信息利用起来,而且在很多场景下都取得比较好的效果,这也使得它能够广泛的应用与研究。
InfoQ:您能聊聊目前这些图神经网络的框架的现状吗?包括大家可能比较关心的是国内框架的水平如何,他们建完了以后到底能不能用?在您印象中这些框架发展现状是怎么样的?
石川教授:我感觉国内外整体差别不大。具体来说,国内做图计算平台的企业和机构还是比较多的,但是更多的都是企业或机构内部使用。像阿里、蚂蚁、腾讯,他们都有自研的计算平台——图神经网络算法平台,国内也有一些做得比较有名的,像阿里达摩院做的Graph、阿里妈妈做的 Euler Graph,这些框架在他们企业内部能够真正地支持实际业务,像腾讯做得也挺不错,但这些一般都是在企业内部使用。
像开源的框架如 PyTorch 下面的 PYG、DGL 这两个是具有代表性的,在世界范围内广泛使用的,我们做研究编程大多都基于这些平台来做。
国内主要是百度基于深度学习平台做PaddlePaddle。虽然有些应用是基于 PaddlePaddle 建立的,但它的用量比起 DGL 和 PYG 来说还是差一些。学术界也有不少做得不错的框架,那些框架在工业界也有比较大的影响力。在鹏城实验室的项目支持下面,我们做了 OpenGNN,这是主要针对图神经网络做的开源平台,它主要是基于 DGL,在 DGL 上面做的图神经网络算法库,DGL 上面的抑制图神经网络算法库主要就是用的这个库,我们跟他们也是有深度合作。
另外我们也做了一个 GAMMA GL,这个是图神经网络算法库,跟其他库的有一些区别,我们主要是基于一个通用的深度学习底层平台,不像前面的 DGL 和 PYG 是基于 PyTorch 或 Tensorflow 这些固定的深度学习平台建立的,我们 GAMMA GL 是基于一个通用的深度学习平台。下面底层的深度学习平台,像Tensorflow、PyTorch、PaddlePaddle 我们都支持。这个算法库目前有 40 多种算法。这两个算法库也都在启智社区上面做了开源,这两个库也支持了一些企业应用。
InfoQ:我了解到您是启智社区 “图神经网络”负责人,您最初是如何与 OpenI 启智社区相识的?
石川教授:我是因为一直在做图神经网络这方面的研究,在国内做得也还算不错,那么鹏城实验室做个开源的人工智能算法体系这么一个大型的开源库,就让我承担图神经网络这一块的工作,因为我们一直在做这方面的研究,有一定的基础。所以就是我就承担了这项工作,这些算法库也是需要做开源,启智社区在国内开源这一块是做得是很好的。我们也希望把我们的开源库放在启智社区上面,这一方面是扩大我们算法库的影响,另外一个也为国产开源做一些贡献。
InfoQ:你觉得启智社区最吸引您的是什么地方?
石川教授:首先它有一个很优秀的技术支持团队,我跟启智社区的负责人也很熟。他是个很有理想,很有激情的一个人,也是做这种开源社区很多年,在这方面有很强的技术背景,所以放在上面,我们也是放心,会有很好的维护。另外就是国产开源,我也觉得是一个方向,也是我们必须要坚持的一件事情。我们做得优秀的东西不仅要跟世界分享,更加要首先跟国内分享。所以说能够在这方面做一些贡献,能够与启智社区合作,我也感觉很荣幸。
InfoQ:在合作期间,启智社区为您和您的项目提供了哪些帮助和支持?未来咱们还会与启智社区有哪些方面的合作?
石川教授:启智社区提供了很多技术支持,比如在文档建设和代码上传方面为我们提供了很多支持,操作也都很方便。使用启智社区的感受跟国外的 GitHup 没什么区别,甚至更友好一些。后面肯定我们还是希望能够跟启智社区有更多更好的合作,做这种算法开源、算法库,我们后面还会做更多的事情,这些比较好的、优秀的开源项目我们都会把它放在启智社区上面。
InfoQ:我看到现在社会上比较赞同一个声音,就是倡导学术界和行业界深度融合,整体来看现在产业界和学术界的融合情况是怎么样的?如果想要进一步发展,现在还需要在哪些方面做一些努力来促进发展?
石川教授:我觉得产业界跟学术界结合的环境是越来越好,一方面是企业技术水平有大幅的提升,这些研发人员本身就都是很优秀的博士、硕士,具有研究背景和研究思维。另外一方面我们学术界,很多方面也是达到了国际水平,能够为企业解决一些实际问题,所以说这两方面都发展起来后,学术合作我觉得是有现实的基础。
因为我是主要做计算机和互联网,我们与企业合作挺多的,这应该是产学研结合最紧密的一个行业,我们研究的一些东西可以迅速在企业里面应用,他们做的一些东西也都是技术水平相当高的,也具有很好的学术价值,这个行业我感觉也是合作最好的。当然其他一些传统行业,我觉得也还是有很多潜力可以挖掘的。要培养产学研合作的意识,也得要有这方面的技术水平,也要有相应的投入。我们共同真正解决问题,相互促进,能够更好地实现产学研的协同发展。
InfoQ:还有一些想要了解图神经网络的同学,他们如果个人想朝着这个方向去学习,他们应该从哪些方面入手?
石川教授:这个学习是一个比较漫长的过程,实话实说,在我们实验室培养学生,首先要有一些基本的计算机编程的基础,然后再去学机器学习,不是说有了深度学习,就不学机器学习了,这肯定是有问题的。先是学好机器学习,再学一些深度学习,然后再学图神经网络,大概是这么一个流程,这样学得才比较扎实一点。
InfoQ:在其他行业有什么应用场景吗?图神经网络在金融行业有什么典型的应用场景?
石川教授:在金融行业应该说是有很广泛的应用前景的。金融行业主要就是转账交易这些数据,我知道金融行业这种图数据库是用得挺多的,但是图数据库更多的是满足一些查询和简单的计算和分析,对这些交易的结构数据做深入分析,就需要用图学习和图神经网络这样一些技术,这里面应用场景是相当多的。对于风险防范、欺诈检测等技术,我们跟蚂蚁合作的时候是挺多的,这是有广泛的使用价值的。
InfoQ:最后一个问题,您觉得目前图神经网络,大家所遇到的最大的瓶颈是什么?
石川教授:最大的瓶颈目前有点太火了,已经成为一个红海了。传统的图神经网络已经研究得挺多的了,那么在学术研究上面,模型和图神经网络模型的安全性,是学术上值得技术研究的。
在工业上我觉得可能还需要更多的应用,目前像互联网企业、社交、金融、电商这些是广泛使用的,而其他行业像银行,用得都不多。银行、电信这些行业都有大量的图数据,这些行业的使用要找到一些杀手锏级的应用,也就是说要开发出一款非图神经学习不可的应用,才能推动图神经网络更进一步发展,这是我的一些个人观点。
评论