写点什么

信息抽取的关键技术和挑战

  • 2014-06-18
  • 本文字数:2195 字

    阅读完需:约 7 分钟

信息抽取技术对于垂直搜索引擎、决策制定等方面的应用都非常重要,本文采访了中国科学院软件研究所基础软件国家工程研究中心 / 计算机科学国家重点实验室副研究员韩先培博士,重点介绍了信息抽取的关键技术和挑战。

InfoQ: 能否介绍一下您的研究方向,及其应用领域?

韩先培:我的主要研究方向是信息抽取和知识库构建,具体来说就是研究如何从文本中抽取结构化知识(例如从句子“苹果发布了新编程语言 Swift”中抽取 IS-A(编程语言, Swift), 发布 (苹果公司,Swift) 等等语义关系),分析这些知识之间的结构,并将这些知识与现有的知识库进行集成。

信息抽取技术有许多不同的用途。一种典型的应用是使用信息抽取技术构建面向特定任务的知识库(如学术论文库、商品库、旅游景点库、电影库、音乐库等等),并在此基础上实现智能知识服务(如垂直搜索引擎)。另外一种典型应用是特定目标信息的发现和识别(如发现所有与“编程语言 Swift”相关的新闻)。在现在的 Web 中,相关的信息往往被无关的信息淹没。而信息抽取技术可以发现并整合蕴含在海量信息中的特定目标信息,为正确决策提供大量的相关情报,大大降低其中需要的人工。

InfoQ: 目前这个领域最关键的技术是什么?

韩先培:目前信息抽取领域最核心的技术还是基于统计的结构化模型,如隐马尔科夫模型(HMM),条件随机场模型(CRF),马尔科夫逻辑网络(MLN)等等。

InfoQ: 研究过程中遇到了哪些技术挑战?有没有解决方案?

韩先培:主要的技术挑战来自于两方面:第一是自然语言本身的复杂性,第二是信息抽取任务的开放属性。

自然语言本身的复杂性主要指的是:1)自然语言的歧义性,也就是一个自然语言表达在不同的上下文中通常有不同的意义(例如“苹果”在“我买了一斤苹果”和“我买了一台苹果”中有不同的意义,前面的“苹果”指的是吃的苹果,而后面的“苹果”指的是苹果电脑);2)自然语言的多样性,也就是一个意思可以以不同的说法进行表达(例如“苹果发布了新编程语言 Swift”和“苹果公开了其新语言 Swift”表达的是同样的意思);3)自然语言句子具有内在的语法结构,而现有自然语言技术难于完美的发现自然语言句子的内在语法结构。

信息抽取任务本身的开放性指的是:1)信息抽取面向的任务是多种多样的。例如,我们抽取的可以是药名、电影名、导演和电影之间的关系等等不同的对象; 2)信息抽取使用的网页的开放性。例如,信息抽取可以从 Amazon 上利用后台数据库自动生成的页面上抽取知识,也可能从百度百科这样半结构化的页面上抽取知识,当然也经常从搜狐新闻这样完全非结构化的文章上抽取知识。对不同类别的网页,使用的信息抽取技术往往并不相同。

上述问题的解决是一个长期的研究问题。目前主要的解决方案是使用弱监督或无监督技术。其中的代表性工作包括 Bootstrapping 技术和 Distant Supervision 技术。Bootstrapping 技术可以从很少的种子知识出发自动抽取目标知识,而 Distant Supervision 技术则可以充分利用大规模知识库(如 Freebase,谷歌的知识图谱等等)中的非直接监督知识构建大规模信息抽取系统。

InfoQ:大数据对信息抽取有何影响?

韩先培:对信息抽取任务来说,大数据主要的影响是“冗余性”。冗余性可以带来有两方面的好处:

1) 首先,由于冗余性的存在,一条知识会以多种不同的方式表达。这样信息抽取技术就可以专注于抽取以简单方式表达的知识,而忽略掉那些以复杂方式表达的知识;

2) 其次,冗余性可以用来验证知识。一条正确的知识通常会比错误的知识出现更多次,因此知识出现的次数就可以用来作为知识准确性的一个度量。

InfoQ:实体链接系统的如何构建?当前有没有一些比较成熟的模型?

韩先培:实体链接系统主要包括三部分:1)从名字到候选实体的对照表;2)实体的上下文知识模型;3)基于上下文知识模型的链接推理算法。目前已经有一些比较成熟的模型。

名字到候选实体的对照表包含一个名字所有可能指向的实体,例如“苹果”这个名字可能指向水果苹果,苹果公司,苹果电脑,电影苹果等等不同的实体。

实体的上下文通常表示为一个词的分布,例如苹果公司的上下文知识可以被表示为{P(iPhone) = 0.1, P(iPad)=0.1, P(乔布斯)=0.05,…},其中 P(iPhone) = 0.1 表示 iPhone 这个词出现在苹果公司上下文中的概率为 10%,而 P(乔布斯)=0.05 表示乔布斯出现在苹果公司周围的概率是 5%,等等。

最后,推理算法确定一段文本中的名字到底指向哪一个实体。通常推理算法使用上下文的匹配程度来做决定。例如“苹果发布了 iPad mini”这句话与“苹果公司”的上下文比“水果苹果”的上下文匹配程度更高,那么推理算法就确定“苹果公司”是上述句子中苹果所表达的实体。

InfoQ:您下一步的研究重点是什么?

韩先培:下一步主要研究关系抽取技术和自然语言文本上的语义推理技术。

韩先培博士简介:中国科学院软件研究所基础软件国家工程研究中心 / 计算机科学国家重点实验室副研究员。韩先培的研究方向是信息抽取、知识库构建,以及知识集成。在 ACL、SIGIR 等重要国际会议发表论文 20 余篇。韩先培是中国中文信息学会会员及中国中文信息学会青年工作委员会委员。

韩先培博士6 月28 日在百度技术沙龙演讲:实体链接:从文本到概念


感谢杨赛对本文的审校,唐蓉对本文的策划。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-06-18 09:597037

评论

发布
暂无评论
发现更多内容

【Meetup预告】OpenMLDB+OneFlow:链接特征工程到模型训练,加速机器学习模型开发

第四范式开发者社区

人工智能 机器学习 数据库 AI 特征平台

融云 IM & RTC 能力上新盘点

融云 RongCloud

算法题每日一练---第11天:第39级台阶

知心宝贝

程序员 算法 前端 后端 7月月更

数据库故障容错之系统时钟故障

CnosDB

时序数据库 开源社区 CnosDB 工程师有话说 CnosDB Tech Talk

C# 之 方法参数传递机制

陈言必行

7月月更

《我的Vivado实战—单周期CPU指令分析》

攻城狮杰森

cpu 计算机组成原理 7月月更 vivado 计算机科学与技术

leetcode 452. Minimum Number of Arrows to Burst Balloons 用最少数量的箭引爆气球(中等)

okokabcd

LeetCode 数据结构与算法 贪心算法

小程序助力智能家居生态平台

Geek_99967b

物联网,

计算机视觉中Python如何实现图像操作与处理

迷彩

Python 计算机视觉 图像处理 Pillow 7月月更

浏览器视频帧操作方法 requestVideoFrameCallback() 简介

devpoint

html5 视频处理 requestAnimationFrame 7月月更

汽车智能应用生态的下一个趋势:车载小程序

Geek_99967b

车联网 物联网,

一文读懂Plato Farm的ePLATO,以及其高溢价缘由

股市老人

网络安全漏洞分析与漏洞复现

网络安全学海

网络安全 安全 渗透测试 WEB安全 漏洞挖掘

Starfish Os打造的元宇宙生态,跟MetaBell的合作只是开始

鳄鱼视界

【函数式编程实战】(十) 优雅的处理代码中的时间类

小明Java问道之路

Lambda java8 Stream API 7月月更 签约计划第三季

鲜衣怒马散尽千金,Vue3.0+Tornado6前后端分离集成Web3.0之Metamask钱包区块链虚拟货币三方支付功能

刘悦的技术博客

Python 区块链 Vue 加密货币 虚拟货币

机器学习如何做到疫情可视化——疫情数据分析与预测实战

是Dream呀

人工智能 机器学习 爬虫 数据可视化 疫情分析

Bootstrap警告和轮播插件详解【前端Bootstrap框架】

恒山其若陋兮

7月月更

SpringBoot 整合 Swagger 自动生成在线API文档

宁在春

springboot swagger 7月月更

算法题每日一练---第12天:算式900

知心宝贝

程序员 算法 前端 后端 7月月更

SRv6初登场

穿过生命散发芬芳

7月月更 SRv6

Linux环境快速搭建elasticsearch6.5.4集群和Head插件

程序员欣宸

Java elasticsearch 7月月更

Redis设计规范

知识浅谈

redis' redis 精讲

Starfish Os X MetaBell战略合作,元宇宙商业生态更进一步

股市老人

SpringBoot整合Minio 项目中使用自己文件存储服务器

宁在春

springboot Minio 7月月更

MySQL进阶--存储过程以及自定义函数

Java学术趴

7月月更

Prometheus 运维工具 Promtool (四)TSDB 功能

耳东@Erdong

Prometheus 7月月更 签约计划第三季 Promtool

数据中台建设(三):数据中台架构介绍

Lansonli

数据中台 7月月更

C# 窗体应用使用对象绑定 DataGridView 数据绑定

IC00

C# 7月月更

信息抽取的关键技术和挑战_大数据_唐蓉_InfoQ精选文章