本文主要复述论文["Event Extraction via Dynamic Multi-Pooling Convolutional Neural Networks"] 的主要内容,以便自我回顾,也希望可以给大噶带来帮助~
传统ACE事件提取的方法主要依赖于精心设计的功能和复杂的自然语言处理(NLP)工具。这些传统方法缺乏泛化,需要大量人力,容易出现错误传播(error propagation)和数据稀疏性(data sparsity)问题。本文提出了一种新的事件提取方法,旨在自动提取词汇级(lexical-level)和句子级(sentence-level)功能,而无需使用复杂的NLP工具。我们引入了一个单词表示模型,用于语言的语义规范,并采用基于卷积神经网络(CNN)的框架来捕获句子级线索。然而,CNN只能捕获句子中最重要的信息,并且在考虑多事件句子时可能会遗漏有价值的事实。我们提出了一种动态多池卷积神经网络(DMCNN -- dynamic multi-pooling convolutional neural network),它根据事件触发器和参数使用动态多池层来保留更多关键信息。
目前事件抽取最先进的方法,是采用一组精心设计的特征,这些特征是由文本分析和语言知识提取的。通常分为两类:词法特征和上下文特征。
-词法特征
词法特征包括词性标签(part-of-speech tags)、实体信息、形态特征(例如,标记,引理等),其旨在捕获语义或单词的背景知识。由于这些预测语义背景的线索的有限性,以及单词独热编码(one-hot)带来的数据稀疏性问题,会导致无法充分捕获单词的语义。
-上下文特征
上下文特征,比如语法特征可以从依存关系中获取其参数和触发词的联系。我们称这种信息为句子级(sentence-level)线索。但是我们无法通过这类传统依存特征获取目标角色,此外,在特征学习中还有可能导致错误传播。
-卷积神经网络
论文中描述到,最近卷积神经网络(CNN)的改进已经被证明能够有效地捕获句子中的单词之间的句法和语义。CNN通常使用最大池化层,其对整个句子的表示应用最大操作以捕获最有用的信息。但是,在事件提取中,一个句子可能包含两个或多个事件,并且这些事件可能共享具有不同角色的参数。例如,S3(S3: In Baghdad, a cameraman died when an American tank fired on the Palestine Hotel. )中有两个事件,即Die事件和Attack事件。如果我们使用传统的最大汇集层并且只保留最重要的信息,那么我们可以获得描述“摄像师死亡”的信息,但是错过了关于“美国坦克的信息”的信息,这对预测攻击事件非常重要,对于将摄像师附加到红色是很有价值的。作为目标论点。在我们的实验中,我们发现这样的多事件句子占我们数据集的27.3%,而这个现象我们无法通知。
-Context-word feature (CWF):通过查找word embeddings而转换的每个单词标记的向量
-Position Feature(PF):表当前单词与预测的触发器或候选参数的相对距离。位置特征的每个距离值也由embedding vector表示,同时距离值也会随机初始化并通过反向传播进行优化。
-Event-type feature (EF):对触发分类阶段的预测进行事件类型编码,作为DMCNN亦或PF中的重要线索。
设定CWF的维度d=4、PF的d=1、EF=1,由其拼接成的词特征向量的长度d=dw+dp×2+de,得到输入矩阵X∈R(n×d),进入卷积层。
设定h个word大小的窗口,滤波器w ∈ R(h×d),通过运算(4)产生新特征ci,其中b∈R是偏置项,f是非线性函数,如双曲正切。 该滤波器应用于句子x1:h,x2:h+1,...,x(n-h+1):n中的每个可能的单词窗口,以产生特征映射ci,其中索引i的范围从1到n-h+1。
以上就是本篇文章【论文笔记 | 通过DMCNN实现事件抽取】的全部内容了,欢迎阅览 ! 文章地址:http://motor168.cxdr.cn/news/221.html
资讯
企业新闻
行情
企业黄页
同类资讯
首页
网站地图
返回首页 珂云塔资讯移动 http://ch168.cxdr.cn/ , 查看更多