写点什么

卡内基梅隆大学 Ruslan Salakhutdinov 教授:要将领域知识结合到机器学习中

  • 2020-06-21
  • 本文字数:2196 字

    阅读完需:约 7 分钟

卡内基梅隆大学Ruslan Salakhutdinov教授:要将领域知识结合到机器学习中

6 月 21 日,由北京智源人工智能研究院主办的 2020 北京智源大会正式开幕(直播入口:https://2020.baai.ac.cn),大会为期四天,各主题论坛和分论坛将围绕如何构建多学科开放协同的创新体系、如何推进人工智能与经济社会发展深度融合、如何建立人工智能安全可控的治理体系、如何与各国携手开展重大共性挑战的研究与合作等一系列当下最受关注的问题进行交流和探讨。会上,卡内基梅隆大学教授 Ruslan Salakhutdinov 进行了主题为“Integrating Domain Knowledge into Deep Learning”的演讲,以下为 InfoQ 带来的内容整理。


首先,Ruslan Salakhutdinov 展示了近期所做的一系列研究,主要围绕深度学习带来的影响而展开,涉及的领域包括语音识别、计算机视觉、推荐系统、语言理解、药物发现 &医疗影像分析。



Ruslan 教授表示,当人们构建 AI 时通常倾向于从算法着手,因为开发计算机算法可以让计算机看到并感知人类身边的事物。如今,我们在机器学习和深度学习领域所面临的主要挑战有四方面,这四种挑战之间又是相互联系的,包括自然语言理解;具象化人工智能,深度强化学习和控制;如何将结构化的领域知识结合到模型中;多模型,半监督、自监督学习。



在进行监督学习训练时,我们将输入通过一些神经网络训练,最后产生输出内容。例如,当我们问到哪些冠状病毒会感染人群时,我们把从文本、表格或知识本体中得到的领域知识输入到模型中,然后就可能得到 MERS-CoV、SARS-CoV 或 Covid-19 这样的答案,因此领域知识对于模型十分重要。



同样地,我们可考虑构建一个知识库,目前很多公司已经构建了这样的知识库,这里蕴含了相关的领域知识,例如糖尿病可能引起病痛性神经病变,可以通过服用一些药物进行治疗,我们可以人工地建立一种内含各种关联的知识库,然后将这个知识库作为知识的来源,再把这些领域知识结合到模型中,最终得出答案,这个过程能够有效地将深度学习和知识库相结合。


但是,很多时候知识库并不是完整的,我们还需要从网络、文本和图谱中获得一些补充信息,而将这些信息结合在一起再进行训练可以很大程度上提高系统的性能。



另一个需要思考的问题是,当我们处理复杂的、多种情况并存的问题时,应该怎么办?仅使用深度学习模型和递归神经网络来解决这类问题是相当困难的。Ruslan 教授举了如下例子:


当问到“生产伏格列波糖片的公司总部在哪里”时,我们需要回答两个问题,首先是哪个公司生产伏格列波糖,一旦我们知道了这个问题的答案后,就可以问这家公司的总部在哪里。所以在这个案例中,当我们回答这家公司的总部在哪里时,首先要知道伏格列波糖片是武田药物公司的产品,该公司是日本最大的制药公司,然后就可以知道这家公司的总部位于日本大阪。这也就是我们提到的复杂的、多种情况并存的问题,当我们无法立即知道答案时,就需要将未知信息与从维基百科等不同渠道获取的信息相结合,才能最终回答出这个问题。


如今,面对这种复杂的问题,很多系统是回答不上来的,因为系统无法理解这种复杂的问题,甚至再遇到一个复杂的问题里面包含了 3 个提问时,回答问题的步骤和顺序又是怎样的,Ruslan 教授对此问题进行了讲解。


他认为,回答这种复杂问题,要首先注意回答问题的顺序,也就是优先级。但是优先问题不好归纳,而且归纳起来也会很慢,所以我们在思考能否利用深度学习模型来解决这一问题,将模型反向传播到架构上,以及我们能否更有效地实时回答这类问题。这时候利用领域知识来解决问题就是个非常理想的方式。他表示他的一名学生创立了这样一个可以实时回答复杂问题的系统,接下来,Ruslan 教授举了一个例子来进一步解释这个系统。



当我们问及,Steve Jobs 创办的公司哪家总部位于 Redwood City 时,这个模型就会实时地运行,它就是一台 CPU,能搜索出 500 万篇关于 Steve Jobs 创办的公司哪家总部位于 Redwood City 的文章,第一阶段需要检索出 Steve Jobs 创办了多少家公司,结果显示他创办了苹果和 next,但只有 next 才是正确答案,接下来模型就会给你一些信息,比如 next 公司的总部在哪,哪家公司总部位于 Redwood 市,你就可以实时地检索到这两条信息,然后将两条信息结合起来,可以得到正确的答案。


Ruslan 教授也对该系统如何做到这一点进行了解释。系统中非常关键的点是要做到一些能产生跟随关系的事情,我们给定一组实体,通常是一组特定的名词 X,然后找出其跟随关联 R,然后我们得到了一个答案,我们跟随另一个关联关系,得到了第二个答案,以此类推得到了一系列实体 Y,这里的 X 可以表示一种药品名称,而这里的跟随关联可能是生产商,基于这个就可以知道哪家公司生产了这种药品。



跟随关系可以给出一系列问题的答案,帮我们决定最终的正确答案是什么,这是非常理想地利用分析算法和利用归类法解决复杂问题的一种方式。


利用相关跟随关系方法能让我们根据一个实体建立起一个矩阵,这种方法的好处是可以双倍利用跟随关系创建很多矩阵,也就是相当于创建出了一个极为复杂的矩阵。之所以认为这种方式是高效的,是因为它可以在无需人工干预的情况下自动创建知识库。



最后,Ruslan 教授展示了通过该方法回答复杂问题最后得到的结果,结果表明,通过这种模式比传统的现有模型效果要好很多,而回答阶段性问题的速度也要比图神经网络快很多。



该模型在回答第一阶段问题时能在每秒钟处理 19 个问题,而在回答第三阶段每秒能处理 12-13 个问题。



更多智源大会相关演讲内容欢迎访问:


https://www.infoq.cn/event/?id=138


2020-06-21 15:313122

评论

发布
暂无评论
发现更多内容

【亲测有效】30 岁测试工程师的 12 个破除内卷技能!

禅道项目管理

职场 互联网人 敏捷测试 测试工程师

有关TCP协议,这是我看过讲的最清楚的一篇文章了!

三十而立

不想做架构师的Gopher不是好程序员

王中阳Go

Docker 高效工作 学习方法 面试题 Go 语言

阿里巴巴内网 Java 面试 2000 题解析(2023 最新版

三十而立

KubeVela:云原生应用和平台工程之路

阿里巴巴云原生

阿里云 开源 云原生 KubeVela

详解事务模式和Lua脚本,带你吃透Redis 事务

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 4 月 PK 榜

狂刷《Java 权威面试指南(阿里版)》,冲击“金三银四”有望了

三十而立

[翻译]反生产力宣言

宇宙之一粟

人生 时间管理 高效能

软件测试/测试开发丨如何开始webView 性能测试

测试人

软件测试 性能测试 自动化测试 测试开发

联想超融合加入龙蜥社区,多产品完成与 Anolis OS 适配

OpenAnolis小助手

开源 操作系统 龙蜥社区 龙腾计划 联想超融合

华为云开源项目OpenTiny的TinyCLI是什么时候开源的?

英勇无比的消炎药

前端 开源项目 cli UI组件库

“PMC零距离” 赖晖:在 IoTDB 我实现了参与贡献共识协议的兴趣方向!

Apache IoTDB

IoTDB Apache IoTDB

喜讯!索信达荣获CCSA TC601年度“优秀成员单位”

索信达控股

华为云发布多项场景化解决方案助力制造业企业加速上云

IT科技苏辞

如何过好4000周:关于重新校准人生时间的建议

宇宙之一粟

时间管理

面试造火箭?GitHub 飙升“2023(Java 岗)面试真题汇总”转载 40 万

三十而立

Apifox:API 接口自动化测试完全指南

Apifox

测试 自动化测试 测试工具 接口工具免费 免费工具

读懂一个项目的研发效能 之 项目人效

思码逸研发效能

研发效能 功能更新

真下饭!字节技术官DDD(领域驱动设计)手册,拆解业务代码首选

做梦都在改BUG

Java 架构 领域驱动设计 DDD

2023年最强手机远程控制横测:ToDesk、向日葵、Airdroid三款APP免Root版本

陈橘又青

远程连接

一站式开发平台 加速企业数字化发展

力软低代码开发平台

阿里P8架构师20年经验总结成微服务设计企业架构转型之道笔记

程序知音

Java 微服务 java架构 Java进阶 后端技术

软件测试/测试开发丨H5性能分析实战

测试人

软件测试 性能测试 自动化测试 H5 W3C

MobTech MobPush|推送的下发逻辑是什么样的

MobTech袤博科技

云原生:驱动企业数字化新模式

北京好雨科技有限公司

云原生 数字化 rainbond 企业号 4 月 PK 榜

探索网络世界的核心:TCPIP协议四层模型解析

做梦都在改BUG

Java 计算机网络 网络协议 TCP/IP

构建系列之前端脚手架vite

江湖修行

Vue vite cli

Go 语言读取文件的几种方式

宇宙之一粟

Go 语言

ChatGPT-5到底有多强?Battle!咱貌似也不输呀!

加入高科技仿生人

人工智能 AI 低代码 ChatGPT GPT-4

华为云开源项目OpenTiny的TinyNG组件库的设计理念是什么?

英勇无比的消炎药

前端 开源项目 OpenTiny UI组件库

制造企业如何解决数据分散和管理困难的问题,实现数字化转型?

IT科技苏辞

卡内基梅隆大学Ruslan Salakhutdinov教授:要将领域知识结合到机器学习中_AI&大模型_李冬梅_InfoQ精选文章