写点什么

阿里巴巴 AAAI 2018 录用论文:将句法信息加入实体表示模型

  • 2018-01-09
  • 本文字数:1517 字

    阅读完需:约 5 分钟

论文名称:Syntax-aware Entity Embedding for Neural Relation Extraction(句法敏感的实体表示用于神经网络关系抽取)

团队名称:业务平台事业部

作者:何正球,陈文亮,张梅山,李正华,张伟,张民

摘要

句法敏感的实体表示用于神经网络关系抽取。关系抽取任务大规模应用的一个主要瓶颈就是语料的获取。近年来基于神经网络的关系抽取模型把句子表示到一个低维空间。这篇论文的创新在于把句法信息加入到实体的表示模型里。首先,基于 Tree-GRU,把实体上下文的依存树放入句子级别的表示。其次,利用句子间和句子内部的注意力,来获得含有目标实体的句子集合的表示。

研究背景和动机

关系抽取任务大规模应用的一个主要瓶颈就是语料的获取。远程监督模型通过将知识库应用于非结构化文本对齐来自动构建大规模训练数据,从而减轻对人工构建数据的依赖程度,并使得模型跨领域适应能力得到增强。然而,在利用远程监督构建语料的过程中,仅仅利用实体名称进行对齐,而不同实体在不同关系下应该具有更加丰富的多样的语义表示,从而导致错误标注等问题。因此,一套更加丰富的实体表示显得尤为重要。

另一方,基于语法信息的方法通常作用于两个实体之间的关系上,而语法信息是可以更加丰富实体的表示的。因此,本文基于句法上下文的实体表示来丰富实体在不同关系模式下的语义,并结合神经网络模型处理关系抽取任务。

相关工作介绍

我们把相关的工作大致分成早期基于远程监督的方法和近年来基于神经网络模型两类。

为了解决关系抽取任务严重依赖于标注语料的问题,Mintz et al.(2009) 率先提出了基于远程监督的方法构建标注语料。然而,这样构建的自动标注语料含有大量的噪声。为了缓解语料中噪声带来的影响,Riedel et al.(2010) 将关系抽取看成是一个多实例单类别的问题。进一步的,Hoffmann et al.(2011) 和 Surdeanu et al.(2012) 采取了多实例多类别的策略。同时,采用最短依存路径作为关系的一个语法特征。上述方法典型的缺陷在于模型的性能依赖于特征模板的设计。

近年来,神经网络被广泛的应用于自然语言处理任务上。在关系抽取领域,Socher et al.(2012) 采用循环神经网络来处理关系抽取。Zeng et al.(2014) 则构建了端到端的卷积神经网络,进一步的,Zeng et al.(2015) 假设多实例中至少有一个实例正确地表示了相应的关系。相比于假设有一个实例表示一对实体的关系,Lin et al.(2016) 通过注意力机制挑选正面的实例更充分的使用了标注语料含有的信息。

以上这些基于神经网络的方法大多数都使用词层次的表示来生成句子的向量表示。另一方面,基于语法信息的表示也受到了众多研究者的青睐,其中最主要的即最短依存路径 (Miwa and Bansal(2016) 和 Cai et al.(2016))。

主要方法

首先,基于依存句法树,利用基于树结构的循环神经网络(Tree-GRU)模型生成实体在句子级别的表示。如上图所示,有别于仅仅使用实体本身,我们能够更好地表达出长距离的信息。具体的实体语义表示如下图所示。我们使用Tree-GRU 来获得实体的语义表示。

其次,利用基于子节点的注意力机制(ATTCE,上图)和基于句子级别的实体表示注意力机制(ATTEE,下图) 来减轻句法错误和错误标注的负面影响。

实验结果

本文在NYT 语料上进行了实验。最终结果如上图所示。其中,SEE-CAT 和SEE-TRAINS 分别是本文使用的两种结合三种向量表示(句子的向量表示,两个实体的向量表示)的策略。从图中可以看出,本文提出的模型在相同数据集上取得了比现有远程监督关系抽取模型更好的性能。

总结

本文的实验结果表明,更丰富的命名实体语义表示能够有效地帮助到最终的关系抽取任务。

如果您也有论文被 AAAI录用或者对论文编译整理工作感兴趣,欢迎关注AI前线(ai-front),在后台留下联系方式,我们将与您联系,并进行更多交流!

2018-01-09 17:222605

评论

发布
暂无评论
发现更多内容

当前互联网安全形势下,企业为何需要渗透测试

德迅云安全杨德俊

多引擎数据库管理工具:JetBrains DataGrip 2023(Win&Mac) 激活版

你的猪会飞吗

DataGrip2023激活 DataGrip2023安装

深入解析GPS接收机的位置数据文件:项目实战从数据解析到可视化

我再BUG界嘎嘎乱杀

Python 编程 数据分析 后端 数据可视化

京东商品详情API在电商行业的竞争力分析

技术冰糖葫芦

API Explorer API boy API 接口 API 测试

操作系统笔记 day2

万里无云万里天

操作系统

《计算机科学导论(原书第3版)》PDF

程序员李木子

成为一名卓越的程序员

陈新卫

豆瓣评分8.6!Python社区出版的Python故事教程,太强了!

我再BUG界嘎嘎乱杀

Python 编程 后端 开发语言

提升商品搜索效率的关键:API返回值的快速解析

技术冰糖葫芦

API Explorer API boy API 接口 API 测试

2024-08-17:用go语言,给定一个从0开始的整数数组nums和一个整数k, 每次操作可以删除数组中的最小元素。 你的目标是通过这些操作,使得数组中的所有元素都大于或等于k。 请计算出实现这个目

福大大架构师每日一题

福大大架构师每日一题

能否以低成本的方式实现错误日志识别(一):用日志格式解析器

micklongen

日志 智能运维 运维‘

深入Redis之数据类型底层

Redis 数据结构 redis 底层原理

2024火山引擎AI创新巡展下一城,8月21日上海见!

新消费日报

使用 AWS EKS 部署 Easysearch

极限实验室

EKS 征文活动 easysearch 黑神话悟空

Python 装饰器“高级”使用

我再BUG界嘎嘎乱杀

Python 编程 后端 装饰器 开发语言

24 个Spring bean 全部注解:真实业务使用案例说明(必须收藏)

肖哥弹架构

spring Spring Boot Spring MVC

Java多线程中原子性、可见性、有序性以及竟态条件案例

Geek漫游指南

Java 并发编程 多线程 线程安全

淘宝商品评论数据接口的使用方法与示例

tbapi

淘宝商品评论接口 淘宝评论内容接口 淘宝API 淘宝商品评价接口

阿里巴巴AAAI 2018录用论文:将句法信息加入实体表示模型_阿里巴巴_阿里巴巴业务平台事业部_InfoQ精选文章