写点什么

信息抽取的关键技术和挑战

  • 2014-06-18
  • 本文字数:2195 字

    阅读完需:约 7 分钟

信息抽取技术对于垂直搜索引擎、决策制定等方面的应用都非常重要,本文采访了中国科学院软件研究所基础软件国家工程研究中心 / 计算机科学国家重点实验室副研究员韩先培博士,重点介绍了信息抽取的关键技术和挑战。

InfoQ: 能否介绍一下您的研究方向,及其应用领域?

韩先培:我的主要研究方向是信息抽取和知识库构建,具体来说就是研究如何从文本中抽取结构化知识(例如从句子“苹果发布了新编程语言 Swift”中抽取 IS-A(编程语言, Swift), 发布 (苹果公司,Swift) 等等语义关系),分析这些知识之间的结构,并将这些知识与现有的知识库进行集成。

信息抽取技术有许多不同的用途。一种典型的应用是使用信息抽取技术构建面向特定任务的知识库(如学术论文库、商品库、旅游景点库、电影库、音乐库等等),并在此基础上实现智能知识服务(如垂直搜索引擎)。另外一种典型应用是特定目标信息的发现和识别(如发现所有与“编程语言 Swift”相关的新闻)。在现在的 Web 中,相关的信息往往被无关的信息淹没。而信息抽取技术可以发现并整合蕴含在海量信息中的特定目标信息,为正确决策提供大量的相关情报,大大降低其中需要的人工。

InfoQ: 目前这个领域最关键的技术是什么?

韩先培:目前信息抽取领域最核心的技术还是基于统计的结构化模型,如隐马尔科夫模型(HMM),条件随机场模型(CRF),马尔科夫逻辑网络(MLN)等等。

InfoQ: 研究过程中遇到了哪些技术挑战?有没有解决方案?

韩先培:主要的技术挑战来自于两方面:第一是自然语言本身的复杂性,第二是信息抽取任务的开放属性。

自然语言本身的复杂性主要指的是:1)自然语言的歧义性,也就是一个自然语言表达在不同的上下文中通常有不同的意义(例如“苹果”在“我买了一斤苹果”和“我买了一台苹果”中有不同的意义,前面的“苹果”指的是吃的苹果,而后面的“苹果”指的是苹果电脑);2)自然语言的多样性,也就是一个意思可以以不同的说法进行表达(例如“苹果发布了新编程语言 Swift”和“苹果公开了其新语言 Swift”表达的是同样的意思);3)自然语言句子具有内在的语法结构,而现有自然语言技术难于完美的发现自然语言句子的内在语法结构。

信息抽取任务本身的开放性指的是:1)信息抽取面向的任务是多种多样的。例如,我们抽取的可以是药名、电影名、导演和电影之间的关系等等不同的对象; 2)信息抽取使用的网页的开放性。例如,信息抽取可以从 Amazon 上利用后台数据库自动生成的页面上抽取知识,也可能从百度百科这样半结构化的页面上抽取知识,当然也经常从搜狐新闻这样完全非结构化的文章上抽取知识。对不同类别的网页,使用的信息抽取技术往往并不相同。

上述问题的解决是一个长期的研究问题。目前主要的解决方案是使用弱监督或无监督技术。其中的代表性工作包括 Bootstrapping 技术和 Distant Supervision 技术。Bootstrapping 技术可以从很少的种子知识出发自动抽取目标知识,而 Distant Supervision 技术则可以充分利用大规模知识库(如 Freebase,谷歌的知识图谱等等)中的非直接监督知识构建大规模信息抽取系统。

InfoQ:大数据对信息抽取有何影响?

韩先培:对信息抽取任务来说,大数据主要的影响是“冗余性”。冗余性可以带来有两方面的好处:

1) 首先,由于冗余性的存在,一条知识会以多种不同的方式表达。这样信息抽取技术就可以专注于抽取以简单方式表达的知识,而忽略掉那些以复杂方式表达的知识;

2) 其次,冗余性可以用来验证知识。一条正确的知识通常会比错误的知识出现更多次,因此知识出现的次数就可以用来作为知识准确性的一个度量。

InfoQ:实体链接系统的如何构建?当前有没有一些比较成熟的模型?

韩先培:实体链接系统主要包括三部分:1)从名字到候选实体的对照表;2)实体的上下文知识模型;3)基于上下文知识模型的链接推理算法。目前已经有一些比较成熟的模型。

名字到候选实体的对照表包含一个名字所有可能指向的实体,例如“苹果”这个名字可能指向水果苹果,苹果公司,苹果电脑,电影苹果等等不同的实体。

实体的上下文通常表示为一个词的分布,例如苹果公司的上下文知识可以被表示为{P(iPhone) = 0.1, P(iPad)=0.1, P(乔布斯)=0.05,…},其中 P(iPhone) = 0.1 表示 iPhone 这个词出现在苹果公司上下文中的概率为 10%,而 P(乔布斯)=0.05 表示乔布斯出现在苹果公司周围的概率是 5%,等等。

最后,推理算法确定一段文本中的名字到底指向哪一个实体。通常推理算法使用上下文的匹配程度来做决定。例如“苹果发布了 iPad mini”这句话与“苹果公司”的上下文比“水果苹果”的上下文匹配程度更高,那么推理算法就确定“苹果公司”是上述句子中苹果所表达的实体。

InfoQ:您下一步的研究重点是什么?

韩先培:下一步主要研究关系抽取技术和自然语言文本上的语义推理技术。

韩先培博士简介:中国科学院软件研究所基础软件国家工程研究中心 / 计算机科学国家重点实验室副研究员。韩先培的研究方向是信息抽取、知识库构建,以及知识集成。在 ACL、SIGIR 等重要国际会议发表论文 20 余篇。韩先培是中国中文信息学会会员及中国中文信息学会青年工作委员会委员。

韩先培博士6 月28 日在百度技术沙龙演讲:实体链接:从文本到概念


感谢杨赛对本文的审校,唐蓉对本文的策划。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-06-18 09:597367

评论

发布
暂无评论
发现更多内容

2021年第4季度规模达1381.8亿元!跨境电商结合酒店场景将成亮点

易观分析

跨境电商

同人于野,平常无边 | 对话 StarRocks 的三位女性工程师

StarRocks

数据工程师 38妇女节

重学设计模式——你真的面向对象了吗?

黄林晴

设计模式

直播预告 | PolarDB-X 动手实践系列——如何在 PolarDB-X 中优化慢 SQL

阿里云数据库开源

数据库 大数据 阿里云 开源 polarDB

专注自主研发,加速大数据基础软件国产化进程

星环科技

数据库 大数据 基础软件

Discuz! ML远程代码执行(CVE-2019-13956)

喀拉峻

网络安全

堪比JMeter的.Net压测工具 - Crank 入门篇

MASA技术团队

C# .net 微软 测试 压测

GDP Streaming RPC 设计

百度Geek说

后端 RPC Go 语言

「国产替代」,真的是中国SaaS的发展路径吗?

ToB行业头条

【案例】替代进口数仓,星环科技助力北京银行建设新一代大数据平台

星环科技

数据库

华为被卡脖子,到底卡的是什么?

坚果

网络安全kali web安全 Kali之msf简单的漏洞利用

学神来啦

网络安全 渗透测试 WEB安全 kali kali Linux

基于冬奥示范效应,数字孪生将助力建筑运维和集会安全运营

易观分析

数字孪生

基于 Apache ShardingSphere 构建高可用分布式数据库

SphereEx

Apache 开源 分布式 ShardingSphere SphereEx

Go语言实战之切片的内部实现和基础功能

山河已无恙

Go 语言 3月月更

图文详解:Kafka到底有哪些秘密让我对它情有独钟呢?

浅羽技术

活动预告 | ArchSummit全球架构师峰会

第四范式开发者社区

人工智能 机器学习 数据库 架构师 热门活动

数字孪生:如何撑起一个万亿市场的产业变革?

知心宝贝

行业资讯 数字孪生 冬奥 3月月更

python方法——defaultdict详解

Wjq

Python 字典 3月程序媛福利 3月月更 defaultdict

教你如何搭建一个骗子举报/信息查询的平台

H

搭建平台 网络安全信息安全、

DPDK uio 分析 丨DPDK的优势及学习总结

Linux服务器开发

Linux服务器开发 DPDK Linux后台开发 高性能网络 网络虚拟化

把家电科技产出摆出来!三家实力一目了然

脑极体

2022官方文档部署MAVEN最新最全

北极的大企鹅

中间件 环境安装 部署与维护

还在用递归,试试迭代吧

爱笑的小雨

乘数智之风,为世界造舟筏:女性在当下如何创造?

脑极体

技术平台&应用开发专题月 | 如何打造强大的K8S集群

用友BIP

用友 用友iuap

医疗数字化,星环科技ArgoDB+KunDB统一分布式数据库解决方案来了

星环科技

数据库 医疗安全

VuePress 博客优化之开启 Algolia 全文搜索

冴羽

Vue 搜索 vuepress 博客搭建 Algolia

安全实战:webshell的几种免杀方式

网络安全学海

黑客 网络安全 信息安全 渗透测试 安全漏洞

英特尔Sierra Forest,市场最需要的能效核至强处理器

科技新消息

Flutter 构建常见的App页面框架

岛上码农

flutter ios 安卓 移动端开发 3月月更

信息抽取的关键技术和挑战_大数据_唐蓉_InfoQ精选文章