写点什么

阿里巴巴 AAAI 2018 录用论文:将句法信息加入实体表示模型

  • 2018-01-09
  • 本文字数:1517 字

    阅读完需:约 5 分钟

论文名称:Syntax-aware Entity Embedding for Neural Relation Extraction(句法敏感的实体表示用于神经网络关系抽取)

团队名称:业务平台事业部

作者:何正球,陈文亮,张梅山,李正华,张伟,张民

摘要

句法敏感的实体表示用于神经网络关系抽取。关系抽取任务大规模应用的一个主要瓶颈就是语料的获取。近年来基于神经网络的关系抽取模型把句子表示到一个低维空间。这篇论文的创新在于把句法信息加入到实体的表示模型里。首先,基于 Tree-GRU,把实体上下文的依存树放入句子级别的表示。其次,利用句子间和句子内部的注意力,来获得含有目标实体的句子集合的表示。

研究背景和动机

关系抽取任务大规模应用的一个主要瓶颈就是语料的获取。远程监督模型通过将知识库应用于非结构化文本对齐来自动构建大规模训练数据,从而减轻对人工构建数据的依赖程度,并使得模型跨领域适应能力得到增强。然而,在利用远程监督构建语料的过程中,仅仅利用实体名称进行对齐,而不同实体在不同关系下应该具有更加丰富的多样的语义表示,从而导致错误标注等问题。因此,一套更加丰富的实体表示显得尤为重要。

另一方,基于语法信息的方法通常作用于两个实体之间的关系上,而语法信息是可以更加丰富实体的表示的。因此,本文基于句法上下文的实体表示来丰富实体在不同关系模式下的语义,并结合神经网络模型处理关系抽取任务。

相关工作介绍

我们把相关的工作大致分成早期基于远程监督的方法和近年来基于神经网络模型两类。

为了解决关系抽取任务严重依赖于标注语料的问题,Mintz et al.(2009) 率先提出了基于远程监督的方法构建标注语料。然而,这样构建的自动标注语料含有大量的噪声。为了缓解语料中噪声带来的影响,Riedel et al.(2010) 将关系抽取看成是一个多实例单类别的问题。进一步的,Hoffmann et al.(2011) 和 Surdeanu et al.(2012) 采取了多实例多类别的策略。同时,采用最短依存路径作为关系的一个语法特征。上述方法典型的缺陷在于模型的性能依赖于特征模板的设计。

近年来,神经网络被广泛的应用于自然语言处理任务上。在关系抽取领域,Socher et al.(2012) 采用循环神经网络来处理关系抽取。Zeng et al.(2014) 则构建了端到端的卷积神经网络,进一步的,Zeng et al.(2015) 假设多实例中至少有一个实例正确地表示了相应的关系。相比于假设有一个实例表示一对实体的关系,Lin et al.(2016) 通过注意力机制挑选正面的实例更充分的使用了标注语料含有的信息。

以上这些基于神经网络的方法大多数都使用词层次的表示来生成句子的向量表示。另一方面,基于语法信息的表示也受到了众多研究者的青睐,其中最主要的即最短依存路径 (Miwa and Bansal(2016) 和 Cai et al.(2016))。

主要方法

首先,基于依存句法树,利用基于树结构的循环神经网络(Tree-GRU)模型生成实体在句子级别的表示。如上图所示,有别于仅仅使用实体本身,我们能够更好地表达出长距离的信息。具体的实体语义表示如下图所示。我们使用Tree-GRU 来获得实体的语义表示。

其次,利用基于子节点的注意力机制(ATTCE,上图)和基于句子级别的实体表示注意力机制(ATTEE,下图) 来减轻句法错误和错误标注的负面影响。

实验结果

本文在NYT 语料上进行了实验。最终结果如上图所示。其中,SEE-CAT 和SEE-TRAINS 分别是本文使用的两种结合三种向量表示(句子的向量表示,两个实体的向量表示)的策略。从图中可以看出,本文提出的模型在相同数据集上取得了比现有远程监督关系抽取模型更好的性能。

总结

本文的实验结果表明,更丰富的命名实体语义表示能够有效地帮助到最终的关系抽取任务。

如果您也有论文被 AAAI录用或者对论文编译整理工作感兴趣,欢迎关注AI前线(ai-front),在后台留下联系方式,我们将与您联系,并进行更多交流!

2018-01-09 17:222733

评论

发布
暂无评论
发现更多内容

Magnet for Mac:智能窗口管理,提升工作效率的神器!

Rose

扫码联网系统(源码+文档+部署+讲解)

深圳亥时科技

2025多端社交圈子论坛兴趣社区圈子论坛小程序 圈子社区论坛系统源码

DUOKE七七

php MySQL uniapp

"扒光"淘宝商品详情价格主图详情图数据的秘密武器!不用爬虫,API让你躺着赚信息差

代码忍者

淘宝API接口

我们究竟畏惧AI什么?

这不科技

AI

VMware Fusion Pro 13 for Mac(VM虚拟机) v13.5.0中文激活版

Rose

唤醒 AI 算力,专有云 ABC Stack 面向企业级智算平台的 GPU 提效实践

百度Geek说

“全球金牌敏捷课程” · 2 月 22-23 日 CSM 认证课程 · Jim 老师

ShineScrum

Scrum 敏捷 Scrum Master 敏捷教练认证 敏捷认证

a16z 最新语音 AI 报告:语音将成为关键切入点,但非最终产品本身(含最新图谱)

声网

面向 Workload 级别的灵活可配置 Serverless 弹性解决方案

阿里巴巴云原生

阿里云 Serverless 云原生

AI口语练习APP的技术难点

北京木奇移动技术有限公司

软件外包公司 AI口语练习 AI英语练习

人工智能与低代码,如何让数据分析从“苦力活”变成“轻松事”?

天津汇柏科技有限公司

人工智能 低代码,

华茂集团力挺富卫集团上市,补偿公告彰显信心,共绘股权辉煌未来

科技汇

火语言RPA--图鉴打码

火语言RPA

ixBrowser指纹浏览器配置教程

kookeey代理严选

代理IP 跨境电商 亚马逊运营 Tiktok shop 指纹浏览器

数字先锋 | 车企,出海!天翼云AOne擦亮车企“智慧服务”新名片!

天翼云开发者社区

云计算 公有云 边缘安全 安全防护

培训中心教务系统(源码+文档+部署+讲解)

深圳亥时科技

Nexpose 7.5.0 for Linux & Windows - 漏洞扫描

sysin

Nexpose

Omnissa Horizon Windows OS Optimization Tool 2412 - Windows 系统映像优化工具

sysin

Gitea Enterprise 23.0.0 (Linux, macOS, Windows) - 本地部署的企业级 Git 服务

sysin

git Gitea

AI招聘助手的主要功能

北京木奇移动技术有限公司

AI技术 AI招聘 软件外包公司

企业在财务规划过程中,如何避免零基预算的常见陷阱

智达方通

全面预算管理 财务规划和分析 财务规划

低代码开发是传统开发的替代,还是补充?

秃头小帅oi

1688APP 原数据 API 接口的开发、应用与收益

科普小能手

数据挖掘 阿里巴巴 1688 电信运营商 API 接口

2025大厂年终奖揭秘:有人拿50个月工资,有人直接撒钱?

王中阳Go

程序员

奇经技术携手IPTV亮相春晚-开启中医健康新时代

极客天地

Aiseesoft AnyCoord for Mac(GPS虚拟定位软件) v1.0.36激活版

Rose

Firefox 135, Chrome 135, Chromium 135 官网离线下载 (macOS, Linux, Windows)

sysin

firefox

利用ima.copilot,打造你的AI知识库

老张

人工智能 知识库 DeepSeek ima.copilot

VMware Tanzu Kubernetes Grid Integrated Edition (TKGI) 1.21 - 运营商 Kubernetes 解决方案

sysin

Kubernetes Tanzu

阿里巴巴AAAI 2018录用论文:将句法信息加入实体表示模型_阿里巴巴_阿里巴巴业务平台事业部_InfoQ精选文章