多特征加权图卷积网络的情感三元组抽取方法

韩虎 ，徐学锋 ?，赵启涛 ，范雅婷; HAN Hu，XU Xuefeng?，ZHAO Qitao，FAN Yating

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

多特征加权图卷积网络的情感三元组抽取方法 PDF

- ORCID：
韩虎
- ORCID：
徐学锋
✉
- ORCID：
赵启涛
- ORCID：
范雅婷

兰州交通大学电子与信息工程学院，甘肃兰州 730070

中图分类号： TP391

最近更新：2024-12-30

DOI： 10.16339/j.cnki.hdxbzkb.2024293

摘要

方面级情感分析（aspect-based sentiment analysis， ABSA）旨在识别文本中用户对于特定方面所表达的观点信息，涉及方面词、意见词、情感极性等多种元素.现有研究大多关注独立任务，忽略了各元素间的特征交互，存在错误传播问题. 基于多特征加权图卷积网络提出的情感三元组抽取方法将多个子任务联合建模；采用双仿射注意力模块捕捉词对间的关系概率分布，将文本语义、句法、位置等先验信息编码为多特征向量；利用图卷积操作实现多特征融合，最终实现方面术语-意见术语-情感极性的联合抽取. 基于两组基准数据集进行评估实验，实验结果表明，多特征加权图卷积网络的情感三元组抽取方法有效缓解了流水线方法错误传播的状况，提升了三元组各元素间的特征交互，处理三元组抽取任务的能力显著优于现有基准模型.

关键词

情感分析; 图神经网络; 网格标记; 双仿射注意力; 联合抽取

方面情感三元组抽取（aspect sentiment triplet extraction， ASTE）是方面情感分析任务中基于多任务学习的全新研究方法，旨在从输入文本中自动提取（方面术语，意见术语，情感极性）三元组信息. 如图1所示，在给定文本中，可抽取三元组（weather， gloomy， NEG）和（food， tasty，POS），其中，“weather”“food”为方面术语，“gloomy”“tasty”为意见术语， NEG和POS为情感极性.

图1 方面情感三元组抽取任务样例

Fig.1 Example of the ASTE task

方面情感三元组抽取有流水线法（PipeLine）和联合法（Joint）两种建模方式. 流水线法^［

1］分别关注目标文本中的方面、意见和极性，将三部分内容分步处理，以其灵活度高、子任务高度解耦等优点受到研究者的广泛关注.例如：Peng等^{［参考文献 2

百度学术}2］将ASTE任务分两阶段完成，第一阶段利用堆叠的双向长短时记忆网络（bidirectional long short-term memory network， Bi-LSTM）和图卷积网络（graph convolution network， GCN）标记出文本的方面-情感对和意见词，第二阶段通过距离嵌入实现方面词与意见词的两两匹配，最终确定三元组中的各个元素. 然而，这类模型存在两个严峻的问题：一是无法通过建模的方式抽取这两个任务之间的交互关系并分类，该关系可以有效提升方面-意见-情感对抽取的整体性能；二是存在级联错误传播问题，即方面词抽取任务的误差会直接导致下游方面情感分类任务的性能下降.因此，在一般情况下，流水线模型对三元组的抽取能力相对受限. 联合法利用多任务学习机制将不同子任务联合建模，可有效解决多个子任务之间的关联缺失.Mao等^{［参考文献 3

百度学术}3］和Chen等^{［参考文献 4

百度学术}4］将ASTE任务定义为一个多回合机器阅读理解问题，采用预训练语言模型联合学习多个子任务. Zhang等^{［参考文献 5

百度学术}5］使用端到端的多任务框架联合抽取方面词和意见词，同时利用 Biaffine记分器解析它们间的情感依赖关系，取得显著效果.

在联合抽取任务中，如何设计目标自适应的标记方案是解决流水线法交互缺失和级联误差传播问题的有效措施. Xu等^［

6］提出了位置感知标记方案，允许模型将目标跨度中的每个单词与所有可能的意见跨度进行交互. Wu等^{［参考文献 7

百度学术}7］设计了一种新的网格标记方案，通过标记所有词对之间的关系，成功地将句子中所有情感因素纳入统一的网格标记任务中. Chen等^{［参考文献 8

百度学术}8］提出语义和句法增强的三元组抽取模型，以充分利用三元组元素间的句法和语义关系.区别于上述方法，Bai Jian等^{［参考文献 9

百度学术}9］采用分层强化学习框架，首先关注句子中表达的情感，然后确定该情感的目标方面和意见术语. Yan等^{［参考文献 10

百度学术}10］将ASTE任务转换为一个统一的生成任务，利用序列到序列的预训练模型BART （bidirectional and auto-regressive transformers）有效地促进了三元组的提取. 同时，针对多词方面和意见边界不明确的问题， Zhao等^{［参考文献 11

百度学术}11］提出了一种多任务双树网络，利用基于转换的推理策略将方面意见提取任务的标签信息传到ASTE. 类似地， Zhang等^{［参考文献 12

百度学术}12］设计了一种边界驱动的表格填充方法，将ASTE任务转换为二维网格中关系区域的检测和分类，解决了之前网格填充方法中关系不一致和边界不敏感的问题.

此外，考虑到方面术语与上下文或意见术语之间存在特定的句法依赖关系，这些语言知识可以为方面情感三元组抽取任务提供丰富的指示信息. 如图1所示，对于目标文本“The weather was gloomy， but the food was tasty.”，为了判断方面术语的情感极性，意见术语“gloomy”必须准确匹配单词“weather”，因而需要根据单词之间的句法依存关系来学习任务相关的特征表示. 通常评论文本中的方面术语是名词或名词短语，意见术语是动词或形容词， “food”是“tasty”的名词主语，两者间依赖类型为“nsubj”. 因此，引入语法依赖不仅有助于提取方面术语和意见术语，还利于两者之间的匹配.

基于上述考虑，本文的研究思路是构建三元组联合抽取框架；通过图卷积操作和关系约束条件实现单词间句法依存和位置信息等特征的相互融合，增强模型解码标签的精确性；改进序列标注模型中最常使用的是BIO标注方案，采用包含方面、意见、情感、无效4种关系的10类网格标签集合实现三元组的联合抽取.

1 相关工作

1.1 图卷积网络

在ABSA任务中，注意力机制和卷积神经网络因其固有的语义对齐能力被广泛使用. 然而，此类模型缺乏一种机制来解释相关的句法约束和长距离单词依赖性，并且易将句法不相关的上下文词作为判断方面情感的线索. 主要有以下局限性：其一，基于注意力机制的模型无法捕获上下文词与方面词的句法依赖，因此这种关注机制会将句法上不相关的上下文词作为方面情感的描述符；其二，由于方面的情感通常由关键短语决定，基于卷积神经网络（convolutional neural network， CNN）的模型只能通过对单词序列进行卷积操作将多个单词特征感知为连续值，而无法确定由彼此不相邻的多个单词所表达的情感.

Zhang等^［

13］首次提出特定方面图卷积网络（aspect-specific graph convolutional network， ASGCN），通过构建新的特定方面的情感分类框架，将图卷积网络应用于句子的句法依赖树上获取句法信息和单词依存关系. 具体而言，在构造给定句子的句法依赖树后，根据其结构获得邻接矩阵

A \in R^{n \times n}

，其中n为对应句子的长度. 在Bi-LSTM输出的基础上，使用具有规范化因子的图卷积运算更新每个节点的表示：

h_{i}^{l} = R e L U (\sum_{j = 1}^{n} A_{i j} h_{j}^{l - 1} W^{l} + b^{l})

（1）

式中： $h_{j}^{l - 1}$ 是前一层GCN得到的第 $j$ 个单词的表示； $W^{l}$ 和 $b^{l}$ 分别是权重矩阵和偏置； $h_{i}^{l}$ 是当前GCN层的输出向量.

1.2 标记方案

通常，研究者将ASTE视为针对每个单词的两个序列标记问题，加上针对每个候选方面意见对的一个情绪分类问题. 本节介绍ASTE任务中常用的标记方案，分为序列标记和网格标记两大类.

序列标记方案是基于BIESO标记的，其中B为实体的开始， I为中间部分， E为实体的结尾，而S表示实体是由单个字符组成的， O用于标记无关字符. 大多数流水线模型采用序列标记分别提取方面和意见，然后通过方面-意见对确定所属情感极性.

网格标记的基本思想是标记一个二维矩阵 $T \in R^{|n| \times |n|}$ ，其中 $|n|$ 是输入文本的长度， $T_{i j}$ 对应于第i个单词和第j个单词之间的关系. 网格标记可以一次性预测完整的三元组，避免流水线模型产生的错误传播. Wu等^［

7］首先提出了二维标记方案，利用标记集

\{A, O, P O S, N E U, N E G, N\}

来描述任意两个单词间的6种关系类型，并采用上三角矩阵表示数据的标记情况，以方便模型的高效计算.为了更充分利用单词之间的关系，如表1所示，本文考虑了4种关系下的10类标记集合，并考虑多种特征信息辅助方面术语与意见术语的匹配.

表1 网格标记的关系标签含义

Tab.1 Meaning of grid tag’s relationship

关系	子标签	含义
Aspect	B-A	方面术语的开始
	I-A	方面术语的中间
	A	词对（w_i，w_j）属于同一个方面术语
Opinion	B-O	意见术语的开始
	I-O	意见术语的中间
	O	词对（w_i，w_j）属于同一个意见术语
Sentiment	POS	包含正向情感的方面意见三元组
	NEU	包含中性情感的方面意见三元组
	NEG	包含负向情感的方面意见三元组
NULL	N	词对（w_i，w_j）不存在关系

2 本文模型

本文提出了一种基于句法依赖和位置距离加权图卷积网络的ASTE模型（model based on syntactic dependence and positional distance weighted graph convolution network for ASTE， SPW-GCN）.模型整体架构如图2所示，主要由编码层、加权图卷积层、约束推理层、解码预测层和输出层5部分组成.

图2 SPW-GCN模型的示意图

Fig.2 The illustration of SPW-GCN model

2.1 问题定义

给定一个输入句子 $X = \{w_{1}, w_{2}, \dots, w_{n}\}$ ，其中 $w_{i}$ 表示单词， $n$ 表示句子长度. SPW-GCN模型的目标是从句子 $X$ 输出三元组 $Τ = {\{{(a, o, s)}_{t}\}}_{t = 1}^{|T|}$ ，其中a、 o和s分别表示方面项、意见项和情感极性， s属于情感标签集 $S = \{P O S, N E U, N E G\}$ ， POS、NEU和NEG分别代表积极、中性和消极， ${(a, o, s)}_{t}$ 表示句子 $X$ 中的第t个三元组， $|T|$ 代表句子的三元组总数， $1 \leq t \leq |T|$ .

2.2 编码层

为了获得句子更精准的上下文表示，本文采用BERT^［

14］预训练语言模型作为嵌入模块来生成.

首先，输入形如“［CLS］句子［SEP］”的初始化表示，其中［CLS］和［SEP］分别是句子开头和结尾的标记. 具体来说，将字符嵌入、位置嵌入和分段嵌入3种不同的向量进行拼接，再经过多层的双向编码网络生成对应的上下文的表示.

最后，加上一个全连接层得到上下文单词的隐藏向量表示 $H = \{h_{1}, h_{2}, \dots, h_{n}\}$ .

2.3 加权图卷积层

为了对单词之间的句法和语义关系进行建模， SPW-GCN模型采用双仿射注意力机制构造邻接张量，得到在表1中定义的每种关系表示. 然后，考虑引入句法依赖和位置距离特征增强GCN. 最后，聚合每个节点在三个分支上的信息，更高效地提取方面术语和意见术语，完成三元组的匹配预测.

2.3.1 双仿射注意力

文献［

15］表明双仿射注意力在句法依赖解析中是有效的. 本文利用双仿射注意力来捕捉句子中每个词对的关系概率分布，其过程可描述为：

h_{i}^{a} = F F N N_{a} (h_{i}^{})

（2）

h_{j}^{o} = F F N N_{o} (h_{j}^{})

（3）

g_{i, j} = {h_{i}^{a}}^{T} W_{1} h_{j}^{o} + W_{2} [h_{i}^{a}; h_{j}^{o}] + b

（4）

r_{i, j, k} = \frac{e x p (g_{i, j, k})}{\sum_{l = 1}^{m} e x p (g_{i, j, l})}

（5）

R^{b i a t t} = A t t e n t i o n (F F N N_{a} (H), F F N N_{o} (H))

（6）

式中： $F F N N_{a} (\cdot)$ 和 $F F N N_{o} (\cdot)$ 都是全连接前馈神经网络，分别对编码层所得隐藏向量 $h_{i}^{}$ 和 $h_{j}^{}$ 进行处理，获得单词在方面和意见两个角度对应的向量 $h_{i}^{a}$ 和 $h_{j}^{o}$ ； $g_{i, j} \in R^{1 \times m}$ 是单词 $w_{i}^{}$ 和 $w_{j}^{}$ 之间的关系得分； m为词对关系类型的总数量； $[\cdot; \cdot]$ 表示拼接操作； $W_{1}$ 、 $W_{2}$ 和 $b$ 分别为权重和偏差； $r_{i, j, k}$ 表示词对 $(w_{i}, w_{j})$ 存在的第k种关系类型的概率得分；g_i，j，k表示词对为第k种关系类型的得分；g_i_，_j_，_l表示词对为第l种关系类型的得分. 最后，联合上述过程得到注意力建模的邻接张量 $R^{b i a t t} \in R^{n \times n \times m}$ ；Attention $(\cdot)$ 函数表示进行双仿射注意力操作.

2.3.2 特征增强表示

目前标记方案未考虑单词之间的关系，本文主要引入了句法依赖和位置距离两种特征，包括句法依赖关系及其依赖类型、依赖树上的语法距离和序列相对位置. 利用这些特征增强节点的边，构建文本的多通道图表示.

图 $G = {V, E}$ 是一种表示单词及其关系的结构，由节点集 $V$ 和边集 $E$ 组成.句中每个单词都被视为一个节点，单词间关系为边，一般存在3种关系边：自循环边、邻居边和依赖边. 如果一条边连接到节点自身，该边是自循环边；连接节点及其邻居的边是邻居边；两个节点间存在依赖关系，称为依赖边.

V = \{v_{i} | i \in [1, n]\}

（7）

E = \{e_{i j} | j \in [i - 1, i + 1] ⋃ D_{i}\}

（8）

式中： $D_{i}$ 为与节点 $v_{i}$ 具有某种关系的一组节点；节点 $v_{i}$ 特征为编码层的隐藏向量 $h_{i}$ . 通过Stanza工具^［

16］解析得到句子对应的句法依赖树. 根据依赖树上单词节点间的句法依赖关系，构建依赖邻接矩阵

D^{d e p r e l} \in R^{n \times n}

，如图3（a）所示. 若两个节点间存在依赖关系，则在邻接矩阵中对应的位置赋值为1，否则为0. 在依赖关系的基础上，通过考虑相应的依赖类型特征可以得到

D^{d e p t y p e} \in R^{n \times n}

受文献［

17］启发，仅靠单词的句法依赖特征难以全面地抽取方面情感三元组. 方面术语和意见术语的匹配不仅受到单词在评论语句中具体位置的影响，也与句法依赖树中相关性强的单词之间语法距离有关. 如图3（b）所示，本文引入句子序列中各单词间的单位距离作为相对距离特征，以及句法依赖树上单词节点间的路径长度作为语法距离特征，增强距离方面和意见术语较近的单词信息. 其中“weather”和“gloomy”之间的序列相对距离为2，而两者之间的语法距离为1. 位置编码分配的权重可以区分不重要的句法关系，得到相对距离初始化的邻接矩阵

D^{r e l p o s t} \in R^{n \times n}

和基于语法距离的矩阵

D^{s y n p o s t} \in R^{n \times n}

，消除句法依存分析带来的噪声.

（a）句法依赖特征

（b）位置距离特征

图3 多特征增强表示的结果示例

Fig.3 Example of multi-feature enhanced representation

为了增强双仿射注意力模块得到的向量表示，对上述4种特征的邻接矩阵进行扩展，词对的每种关系对应一个通道，得到表示词对关系概率的多特征张量，分别是 $R^{d e p r e l}, R^{d e p t y p e}, R^{r e l p o s t}, R^{s y n p o s t} \in R^{n \times n \times m}$ .

2.3.3 节点和边的输出

在进行图卷积运算前，需将多特征的张量拼接作为节点间的表示向量，以满足下一步的词对关系表示. 通过不断聚合每个节点和节点之间的信息，最终得到加权GCN的输出 $H_{g}$ ：

R = [R^{d e p r e l}; R^{d e p t y p e}; R^{b i a t t}; R^{r e l p o s t}; R^{s y n p o s t}]

（9）

{\tilde{H}}_{k} = σ (R_{:, :, k} H W_{k} + b_{k})

（10）

H_{g} = f ({\tilde{H}}_{1}, {\tilde{H}}_{2}, \dots, {\tilde{H}}_{m})

（11）

式中： $R_{:, :, k}$ 表示 $R$ 的第k个通道关系； $W_{k}$ 和 $b_{k}$ 分别表示权重矩阵和偏差； $σ$ 表示激活函数，例如ReLU； $f (\cdot)$ 函数是对所有通道的节点表示进行平均池化.

2.4 约束推理层

为了精确地捕捉单词之间的关系，对2.3节的节点表示增加一个约束条件，即在进行后续三元组的推理预测之前，先考虑根据节点表示所预测的词对关系是否满足真实的标签分布，得到损失函数：

L_{r e l} = - \sum_{i}^{n} \sum_{j}^{n} \sum_{c \in C} Π (y_{i j} = c) l n (r_{i, j | c})

（12）

式中： $y_{i j} = c$ 表示指示函数 $Π (\cdot)$ 值为1需满足的条件； $y_{i j}$ 表示词对 $(w_{i}, w_{j})$ 的真实标签分布； $C$ 表示词对间的关系集； $r_{i, j | c}$ 表示预测的关系类型分布.

通常三元组标签预测的词对 $(w_{i}, w_{j})$ 表示是拼接节点表示 $h_{i}$ 、 $h_{j}$ ，以及两者的边表示 $r_{i j}$ . 本小节针对多标签分类的推理策略改进，在判断词对是否匹配时，考虑方面和意见提取的隐含结果. 假设 $w_{i}$ 属于方面术语， $w_{j}$ 属于意见术语，词对 $(w_{i}, w_{j})$ 更可能被预测具有情感关系；否则不会匹配成对. 因此，引入 $r_{i i}$ 和 $r_{j j}$ 得到细化后的词对 $(w_{i}, w_{j})$ 的表示 $r_{i j}^{r e}$ ：

r_{i j}^{r e} = [h_{i}; h_{j}; r_{i i}; r_{i j}; r_{j j}]

（13）

2.5 解码预测层

根据1.2节描述的网格标记标签进行解码，通过严格匹配词对的关系得到最终的方面-意见-情感三元组.然而，标记结果中大量的NULL标签会导致模型召回率降低.因此，本文采用简单有效的方法解码ASTE任务以提高模型的性能，如表2中解码算法所示.首先，通过标记网格的主对角线提取词对 $(w_{i}, w_{j})$ 的预测情况，获取方面术语和意见术语. 然后，对提取的方面术语和意见术语进行匹配判断，计算词对 $(w_{i}, w_{j})$ 的预测关系，若两者存在情感关系，则方面术语a和意见术语o能够匹配，否则不匹配. 最后，预测最多的情感关系s被认为是方面意见对的情感极性，从而抽取出一个三元组（a，o，s）.

表2 解码算法

Tab.2 Decoding algorithm

算法1 ASTE解码算法

输入：长度为n的句子X词对标记结果R（w_i，w_j）

输出：给定句子的方面情感三元组T

1. 方面集合A，意见集合O，情感集合S，三元组集合T初始化为空 2. while 左索引l ≤ n and 右索引m ≤ n do 3. if 所有R（w_i，w_i）= A where l ≤ i ≤m

and R（w_l_-1，w_l_-1） ≠ A and R（w_m₊₁，w_m₊₁）≠A

4. then 将单词｛w_l，…，w_m｝提取为方面术语a

5. end if

6. if 所有R（w_i，w_i）=O where l ≤i≤m

and R（w_l_-1，w_l_-1） ≠ O and R（w_m₊₁，w_m₊₁）≠O

7. then 将单词｛w_l，…，w_m｝提取为意见术语o

8. end if

9. end while

10. while a∈A and o∈O do

11. while w_i∈a and w_j ∈o do

12. if i<j then s = R（w_i，w_j） else s = R（w_j，w_i）

13. if s∈｛POS， NEU， NEG｝ then s作为词对情感极性

14. end while

15. if s≠None then 输出三元组T=｛a， o， s｝

16. end while

2.6 输出层

将词对的最新表示送入线性层中，选择softmax函数以产生标签概率分布 $p_{i j}$ ，即

p_{i j} = s o f t m a x (W_{p} r_{i j}^{r e} + b_{p})

（14）

式中： $W_{p}$ 和 $b_{p}$ 是可学习的权重和偏差. 此外，采用Adam算法和 $L_{2}$ 正则化来优化模型，使用交叉熵损失函数进行训练：

L_{p r e} = - \sum_{i}^{n} \sum_{j}^{n} \sum_{c \in C} Π (y_{i j} = c) l n (p_{i, j | c})

（15）

任务目标是最小化目标函数： $L = α L_{p r e} + β L_{r e l}$ ，系数 $α$ 和 $β$ 用于调整相应关系约束损失的影响.

3 实验

3.1 实验数据

本文模型在情感分析任务的4个公开数据集上进行评估实验，分别是Lap14，Rest14，Rest15和Rest16^［

18-20］.Wu等^{［参考文献 7

百度学术}7］提出第一组数据集ASTE-DATA-V1，第二组ASTE-DATA-V2是由Xu等^{［参考文献 6

百度学术}6］根据公开数据集对Peng等^{［参考文献 2

百度学术}2］标记数据集的修正版本，补充了其中缺失的情感三元组.训练、验证和测试实例的数据量统计如表3所示.

表3 ASTE-DATA-V1和ASTE-DATA-V2中4个数据集统计

Tab.3 Statistics of four datasets from ASTE-DATA-V1 and ASTE-DATA-V2

数据版本	数据集	Lap14				Rest14				Rest15				Rest16
数据版本	数据集	#S	#+	#0	#-	#S	#+	#0	#-	#S	#+	#0	#-	#S	#+	#0	#-
ASTE-DATA-V1	Train	899	808	111	533	1 259	1 693	172	491	603	799	29	210	863	1 036	55	330
	Dev	225	199	48	136	315	427	46	107	151	181	9	49	216	263	8	77
	Test	332	364	67	116	493	784	68	156	325	324	25	144	328	416	30	79
ASTE-DATA-V2	Train	906	817	126	517	1 266	1 692	166	480	605	783	25	205	857	1 015	50	329
	Dev	219	169	36	141	310	404	54	119	148	185	11	53	210	252	11	76
	Test	328	364	63	116	492	773	66	155	322	317	25	143	326	407	29	78

注： #S表示句子的数量， #+、#0、#-分别表示积极、中性和消极极性的三元组数量.

3.2 超参数设置与评价指标

本文使用BERT预训练语言模型作为句子的编码器，选择AdamW优化器微调BERT，学习率为2×10^-5，其他可训练参数的学习率为1×10^-3，丢失率设置为0.2. BERT和GCN的隐藏状态维度分别设置为768和300. 为了控制关系约束的影响，将超参数α和β分别设置为1和0.1. 所有数据集的批处理大小为16，训练迭代次数为100.

模型采用精准率（Precision， P）、召回率（Recall， R）和F₁分数作为评价指标，计算公式为：

P = \frac{T P}{T P + F N}

（16）

R = \frac{T P}{T P + F P}

（17）

F_{1} = \frac{2 \times P \times R}{P + R}

（18）

式中：TP表示正确预测的三元组样本数；FP表示预测错误的三元组样本数；FN表示被错误预测的正确三元组样本数；F₁分数用于衡量三元组匹配的效果，只有当方面术语、相应情感和意见术语都合适时，预测的三元组才正确. 根据验证集上的F₁分数选择最佳模型，并用其运行测试集进行评估.

3.3 对比实验

为了验证本文模型的有效性，使用最新的基线模型进行对比实验，分为流水线和端到端两大类：

1）流水线的方法

Peng-two-stage^［

6］：采用两阶段的流水线解决方法，第一阶段使用BIEOS标记方案联合提取句子中的方面和意见术语，第二阶段是将得到的候选方面和意见术语进行配对.

Peng-unified-R+PD^［

8］：是由Peng-two-stage^{［参考文献 6

百度学术}6］改进的方法，第一阶段进行方面词的情感分类和评价词抽取，第二阶段应用基于多层感知机的分类器（PD）来确定每个候选三元组是否有效.

Li-unified-R^［

6］：针对Li-unified^{［参考文献 21

百度学术}21］提出的方面抽取和情感分类统一模型进行改进，以流水线方式分别提取具有情感的方面术语以及对应的意见术语.

Li-unified-R+PD^［

8］：第一阶段在模型Li-unified-R的基础上，改进以共同提取具有情感的方面以及意见，第二阶段采用上述的分类器（PD）完成匹配.

Peng-unified-R+IOG^［

8］：第一阶段使用Peng-unified-R^{［参考文献 2

百度学术}2］模型提取句子中的方面和相应的情感，第二阶段使用IOG模型^{［参考文献 22

百度学术}22］提取候选方面对应的意见术语，从而产生最终的三元组.

IMN+IOG^［

8］：使用交互式多任务学习网络IMN^{［参考文献 23

百度学术}23］来提取方面术语和对应的情感，然后使用IOG来产生最终的三元组.

CMLA+^［6］：第一阶段采用CMLA模型^［

24］的耦合多层注意力机制，用于方面意见联合抽取. 第二阶段再引入一个分类器来学习得到三元组.

RINANTE+^［6］：使用基于LSTM-CRF设计的模型RINANTE^［

25］完成第一阶段的共同提取，第二阶段同样选择分类器确定每个三元组是否有效.

2）端到端的方法

OTE-MTL^［

5］：提出了一个多任务学习框架来联合提取方面术语和意见术语，同时采用双仿射评分器来解析它们之间的情感依赖性.

JET-BERT^［

6］：将位置信息引入序列标记方案，提出了位置感知的端到端模型联合提取三元组.

GTS-BERT^［

7］：提出一种网格标记方案，以端到端的方式实现三元组抽取，并通过推理策略充分利用不同意见因素之间的相互指示.

S³E^2［

8］：设计语义和句法增强的方面情感三元组提取模型，充分考虑三个元素间的句法和语义关系，并应用GTS-BERT^{［参考文献 7

百度学术}7］的推理策略来提取三元组.

BMRC^［

4］：将ASTE任务定义为一个多回合机器阅读理解任务，并提出双向机器阅读理解的框架来应对抽取任务.

BART-ABSA^［

10］：将ABSA所有的子任务转换为统一的生成公式，利用序列到序列的预训练模型BART来实现端到端框架中的三元组抽取.

主要实验结果分别见表4和表5.本文模型在这两组数据集上优于所有基于流水线、端到端的方法，同时发现端到端的方法比流水线方法在F₁指标上的提升更显著，这是因为它们建立了子任务间的信息交互，并通过联合训练来缓解错误传播的情况，从而获得了更准确的三元组.

表4 不同模型在ASTE-DATA-V1数据集上的对比结果

Tab.4 Comparison results of different models on ASTE-DATA-V1 dataset ( % )

模型	Lap14			Rest14			Rest15			Rest16
模型	P	R	F₁	P	R	F₁	P	R	F₁	P	R	F₁
Li-unified-R+PD^{［参考文献 8 百度学术}8］	42.25	42.78	42.47	41.44	68.79	51.68	43.34	50.73	46.69	38.19	53.47	44.51
Peng-unified-R+PD^{［参考文献 8 百度学术}8］	40.40	47.24	43.50	44.18	62.99	51.89	40.97	54.68	46.79	46.76	62.97	53.62
Peng-unified-R+IOG^{［参考文献 8 百度学术}8］	48.62	45.52	47.02	58.89	60.41	59.64	51.70	46.04	48.71	59.25	58.09	58.67
IMN+IOG^{［参考文献 8 百度学术}8］	49.21	46.23	47.68	59.57	63.88	61.65	55.24	52.33	53.75	—	—	—
OTE-MTL*^{［参考文献 5 百度学术}5］	49.66	41.73	45.20	64.02	53.35	58.20	50.58	45.51	47.91	64.83	48.72	55.63
JET-BERT*^{［参考文献 6 百度学术}6］	54.44	25.79	35.00	69.06	31.26	43.04	66.18	34.62	45.45	63.30	37.08	46.77
GTS-BERT^{［参考文献 7 百度学术}7］	57.52	51.92	54.58	70.92	69.49	70.20	59.29	58.07	58.67	68.58	66.60	67.58
S³E^{2［参考文献 8 百度学术}8］	59.43	46.23	52.01	69.08	64.55	66.74	61.06	56.44	58.66	71.08	63.13	66.87
BMRC^{［参考文献 4 百度学术}4］	—	—	57.83	—	—	70.01	—	—	58.74	—	—	67.49
BART-ABSA*^{［参考文献 10 百度学术}10］	58.07	55.48	56.75	69.22	69.14	69.18	59.69	60.22	59.96	66.25	68.39	67.30
SPW-GCN	57.93	59.63	58.77	70.90	69.98	70.44	57.60	64.50	60.86	68.39	70.74	69.54

注： *表示在ASTE-DATA-V1数据集上对应模型的复现结果.

表5 不同模型在ASTE-DATA-V2数据集上的对比结果

Tab.5 Comparison results of different models on ASTE-DATA-V2 dataset ( % )

模型	Lap14			Rest14			Rest15			Rest16
模型	P	R	F₁	P	R	F₁	P	R	F₁	P	R	F₁
CMLA+^{［参考文献 6 百度学术}6］	30.09	36.92	33.16	39.18	47.16	42.79	34.56	39.84	37.01	41.34	42.10	41.72
RINANTE+^{［参考文献 6 百度学术}6］	21.71	18.66	20.07	31.42	39.38	34.95	29.88	30.06	29.97	25.68	22.30	23.87
Li-unified-R^{［参考文献 6 百度学术}6］	40.56	44.28	42.34	41.04	67.35	51.00	44.72	51.39	47.82	37.33	54.41	44.31
Peng-two-stage^{［参考文献 6 百度学术}6］	37.38	50.38	42.87	43.24	63.66	51.46	48.07	57.51	52.32	46.96	64.24	54.21
OTE-MTL^{［参考文献 5 百度学术}5］	54.26	41.07	46.75	63.07	58.25	60.56	60.88	42.68	50.18	65.65	54.28	59.42
JET-BERT^{［参考文献 6 百度学术}6］	55.39	47.33	51.04	70.56	55.94	62.40	64.45	51.96	57.53	70.42	58.37	63.83
GTS-BERT*^{［参考文献 7 百度学术}7］	59.40	51.94	55.42	68.09	69.54	68.81	59.28	57.93	58.60	68.32	66.86	67.58
S³E²*^{［参考文献 8 百度学术}8］	60.09	46.21	52.24	71.94	60.91	65.97	59.95	54.63	57.17	70.08	62.57	66.11
BMRC*^{［参考文献 4 百度学术}4］	70.55	48.98	57.82	75.61	61.77	67.99	68.51	53.40	60.02	71.20	61.08	65.75
BART-ABSA^{［参考文献 10 百度学术}10］	61.41	56.19	58.69	65.52	64.99	65.25	59.14	59.38	59.26	66.60	68.68	67.62
SPW-GCN	59.51	58.41	58.95	72.99	72.33	72.66	62.37	62.88	62.62	67.26	72.90	69.97

注： *表示在ASTE-DATA-V2数据集上对应模型的复现结果.

在第一组数据集ASTE-DATA-V1上，本文模型的整体性能优于采用网格标记方案的S³E²和GTS-BERT，在Lap14上F₁分别提高了6.76个百分点和4.19个百分点，将SPW-GCN与S³E²、GTS-BERT在4个数据集上进行详细比较时，发现本文模型的召回率较高从而导致性能更好，说明SPW-GCN模型提取的三元组更加完整，有力地证明多特征信息增强模型的优势.

本文模型在数据集ASTE-DATA-V2上的实验结果，相比于基准的Peng-two-stage流水线方法， F₁指标平均提高了15.84个百分点，这是因为BERT编码通常比Bi-LSTM编码的方法性能更好，表现出其强大的语言理解能力.在使用BERT编码的模型中，OTE-MTL和GTS-BERT的标记方案与表格填充类似，但是SPW-GCN在两组数据集上的F₁平均得分分别高出GTS-BERT 2.15和3.45个百分点. 这种提升归因于SPW-GCN网格标签预测的细化约束策略，精准地利用单词之间的关系进行词对匹配，学习方面和意见提取的隐含结果.

针对最新的模型BMRC和BART-ABSA，性能远超流水线的方法， BMRC主要受益于提出了3种类型的查询来分别提取目标、意见和情感，而本文模型在Rest14和Rest16上表现更好，由于句法依赖和位置距离特征加权图卷积网络，更有利于增强单词和三元组元素之间的交互，使得模型具有学习多方面语义的能力.

3.4 消融实验

在本节及后续章节进行的实验中，所有提到的SPW-GCN模型均是基于第二组数据集ASTE-DATA-V2进行实验，并认为在数据集ASTE-DATA-V1上显示出类似的趋势.

为了研究SPW-GCN中不同模块的有效性，本节在数据集ASTE-DATA-V2上对ASTE任务进行了消融研究.如图4所示， Our Model代表完整的本文模型，然后引入4种模型的变体分别观察各个模块的作用， w/o Dependency Features表示没有使用句法依赖特征增强模型，w/o Position Features表示没有使用位置距离特征增强模型，w/o GCN Moudle表示去掉图卷积网络处理模块，w/o Relation Constraint表示去掉关系约束推理条件.

图4 各模块消融实验的结果

Fig.4 Results of ablation experiments for each module

由图4可知：在去除图卷积网络模块之后，模型的性能呈下降趋势，说明了图神经网络可以很好地感知关系语义并区分不同单词的特征.在不考虑位置距离和依赖特征的情况下，模型的F₁指标下降幅度较为明显，这表明句法依赖和位置距离的多特征信息有利于情感元素之间的匹配.对比其他数据集，去除两者对Rest14的影响最小，这是因为模型能够更多地依赖于上下文语义特征.相较于完整的模型，w/o Relation Constraint模型变体的F₁分数出现大幅度下降，表明关系约束策略能从上一轮预测中学习到三个元素的重要性，以推进ASTE任务.

3.5 GCN层数的影响

为了检验图卷积网络层数的影响，本节在ASTE-DATA-V2的4个数据集上进行三元组抽取任务，以对比不同层数模型的性能差异.在图5中观察到，实验性能随着图卷积网络层数从1增加到6而降低，表明图神经网络聚合特征的能力与图卷积网络层数有关.当图卷积网络层数设置为1时，模型的性能达到最优，在4个数据集上，模型的性能分别比第5层高4.86、3.94、4.67和4.97个百分点. 图卷积网络层数大于5之后，模型性能发生崩溃式下降，这是由于图卷积网络过于注重局部信息，文本特征难以得到有效的传递和学习.随着图卷积网络层数的增加，模型性能发生不同程度的波动，进一步说明设置合理的图卷积网络层数的重要性.

图5 不同图卷积网络层数的三元组抽取结果

Fig.5 Triple extraction results of different graph convolutional network layers

3.6 子任务的实验对比分析

为了进一步研究本文模型的有效性，本节进行方面术语提取和意见术语提取子任务的对比实验. 本节选择在数据集ASTE-DATA-V2上实验，利用结果分析其处理子任务的性能. SPW-GCN可以直接处理这些子任务，无需额外修改，与基于标记方案的模型GTS-BERT实验结果比较如表6所示.

表6 方面术语抽取和意见术语抽取任务的实验结果

Tab.6 Experimental results of aspect term extraction and opinion term extraction tasks ( % )

数据集	模型	ATE			OTE
数据集	模型	P	R	F₁	P	R	F₁
Lap14	GTS-BERT	76.63	82.68	79.53	76.10	79.62	77.82
Lap14	SPW-GCN	76.98	83.80	80.24	79.66	81.18	80.41
Rest14	GTS-BERT	78.88	87.05	82.76	80.91	89.22	84.85
Rest14	SPW-GCN	85.29	85.49	85.39	80.76	90.15	85.20
Rest15	GTS-BERT	75.13	82.78	78.27	72.97	82.74	77.53
Rest15	SPW-GCN	75.05	84.25	79.38	77.07	82.60	79.74
Rest16	GTS-BERT	75.20	88.12	81.13	80.36	88.79	84.36
Rest16	SPW-GCN	78.17	87.36	82.51	82.36	89.66	85.85

注： ATE为方面术语抽取任务， OTE为意见术语抽取任务，最好性能用黑体数值标出.

结果表明，针对方面术语抽取任务，本文模型F₁指标最优的是在Rest14数据集上达到85.39%，相较于GTS-BERT提升了2.63个百分点. 在意见术语抽取任务中，模型F₁指标则是在Lap14数据集上提升最多，提升了2.59个百分点. 虽然模型精准率并不是在所有数据集上都有明显提升，但整体上本文模型的F₁指标均获得了较好的结果，证明多特征增强标记方案对于方面和意见术语抽取任务也有很大帮助，考虑通过多通道的方式获取每个单词的完整语义，有利于提取出方面和意见术语.

3.7 案例分析

本节从数据集ASTE-DATA-V2中选取3个句子进行案例研究，如表7所示，句子1和句子3来自Rest14测试集，句子2来自Lap14测试集.第一个例子来自餐厅领域，表达了对菜单和价格的积极态度. GTS-BERT虽能正确预测出菜单是有趣的以及价格合适，但针对方面术语和意见术语距离较远的情况，提取的三元组与正确情况之间还是存在偏差，说明了考虑句法依赖特征的必要性. 观察在笔记本电脑领域中选取的第二个例子，发现它直接表达负面情绪，基于网格标记的GTS-BERT错误地将“maintain”视为方面词，导致预测出错误的情感极性.本文模型能够准确过滤插入语“part of my business”的影响，捕捉到方面词“interneting”以及距离较远的意见术语，并正确预测了积极的情绪，形成最终的三元组，表明引入位置距离信息有助于模型学习丰富的单词表征，进而提高标记方案的精准性. 第三个例子是复杂语序的案例， GTS-BERT成功地获取到一个方面术语“food”，但在判断与其匹配的意见术语时，选中意见术语“excellent”导致预测出一个错误的三元组，SPW-GCN可以精确地提取三元组（wine，excellent， positive），关键因素是细化的标记策略能够使得“wine”和“excellent”通过语义关系和句法特征建立重要的联系.

表7 案例分析

Tab.7 Case Analysis

句子1	The menu is interesting and quite reasonably priced.
正确三元组	（menu， interesting， POS）	（menu， reasonably priced， POS）	（priced， reasonably， POS）
GTS-BERT	（menu， interesting， POS）	（menu， reasonably， POS） ×	（priced， reasonably， POS）
SPW-GCN	（menu， interesting， POS）	（menu， reasonably priced， POS）	（priced， reasonably， POS）
句子2	Made interneting （part of my business） very difficult to maintain.
正确三元组	（interneting， difficult， NEG）
GTS-BERT	（maintain， difficult， POS） ×
SPW-GCN	（interneting， difficult， NEG）
句子3	The food was extremely tasty， creatively presented and the wine excellent.
正确三元组	（food， tasty， POS）	（food， creatively presented， POS）	（wine， excellent， POS）
GTS-BERT	（food， tasty， POS）	（food， creatively presented， POS）	（food， excellent， POS） ×
SPW-GCN	（food， tasty， POS）	（food， creatively presented， POS）	（wine， excellent， POS）

4 结论

为解决三元组抽取任务中交互缺失和错误传播等问题，本文提出基于句法依赖和位置距离加权图卷积网络的方面情感三元组抽取模型（SPW-GCN）. 根据实验结果分析，基于联合抽取的网格标记方案有效改善了流水线方法错误传播的状况，提升了三元组各元素间的特征交互；模型各组件对三元组抽取性能提升均有正向影响；且本文模型总体性能优于现有模型.

参考文献

PHAN M H，OGUNBONA P O．Modelling context and syntactical features for aspect-based sentiment analysis［C］//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics．Online．Stroudsburg，PA，USA：Association for Computational Linguistics，2020： 3211-3220． [百度学术]

PENG H Y，XU L，BING L D，et al．Knowing what，how and why：a near complete solution for aspect-based sentiment analysis［J］．Proceedings of the AAAI Conference on Artificial Intelligence，2020，34（5）：8600-8607． [百度学术]

MAO Y，SHEN Y，YU C，et al．A joint training dual-MRC framework for aspect based sentiment analysis［J］．Proceedings of the AAAI Conference on Artificial Intelligence，2021，35（15）：13543-13551． [百度学术]

CHEN S W，WANG Y，LIU J，et al．Bidirectional machine reading comprehension for aspect sentiment triplet extraction［J］．Proceedings of the AAAI Conference on Artificial Intelligence，2021，35（14）： 12666-12674． [百度学术]

ZHANG C，LI Q C，SONG D W，et al．A multi-task learning framework for opinion triplet extraction［C］//Findings of the Association for Computational Linguistics：EMNLP 2020．Online．Stroudsburg，PA，USA：Association for Computational Linguistics， 2020： 819-828． [百度学术]

XU L， LI H， LU W， et al. Position-aware tagging for aspect sentiment triplet extraction［C］//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing （EMNLP）. Online. Stroudsburg，PA，USA：Association for Computational Linguistics， 2020： 2339-2349． [百度学术]

WU Z，YING C C，ZHAO F，et al．Grid tagging scheme for aspect-oriented fine-grained opinion extraction［C］//Findings of the Association for Computational Linguistics：EMNLP 2020．Online．Stroudsburg，PA，USA：Association for Computational Linguistics， 2020： 2576-2585． [百度学术]

CHEN Z X，HUANG H，LIU B，et al．Semantic and syntactic enhanced aspect sentiment triplet extraction［J］．ArXiv e-Prints，2021：arXiv：2106.03315． [百度学术]

BAI JIAN S Y，NAYAK T，MAJUMDER N，et al．Aspect sentiment triplet extraction using reinforcement learning［J］．ArXiv e-Prints，2021：arXiv：2108.06107． [百度学术]

YAN H，DAI J Q，JI T，et al．A unified generative framework for aspect-based sentiment analysis［C］//Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing （Volume 1：Long Papers）. Online. Stroudsburg， PA，USA：Association for Computational Linguistics，2021：2416-2429． [百度学术]

ZHAO Y C， MENG K， LIU G S， et al. A multi-task dual-tree network for aspect sentiment triplet extraction［C］// Proceedings of the 29th International Conference on Computational Linguistics. Gyeongju， Republic of Korea. New York， NY： Association for Computing Machinery， 2022： 7065-7074. [百度学术]

ZHANG Y C， YANG Y F， LI Y H， et al. Boundary-driven table-filling for aspect sentiment triplet extraction［C］//Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing. Abu Dhabi，United Arab Emirates. Stroudsburg， PA，USA： Association for Computational Linguistics， 2022： 6485-6498． [百度学术]

ZHANG C，LI Q C，SONG D W. Aspect-based sentiment classification with aspect-specific graph convolutional networks［C］//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing （EMNLP-IJCNLP）．Hong Kong，China．Stroudsburg，PA，USA：Association for Computational Linguistics，2019： 4568-4578． [百度学术]

DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Florence，Italy．Stroudsburg，PA，USA：Association for Computational Linguistics， 2019： 4171-4186. [百度学术]

DOZAT T， MANNING C. Deep biaffine attention for neural dependency parsing［J］. ArXiv e-Prints，2021：arXiv： 1611. 01734. [百度学术]

QI P，ZHANG Y H，ZHANG Y H，et al．Stanza：a python natural language processing toolkit for many human languages［C］//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics：System Demonstrations．Online．Stroudsburg，PA，USA：Association for Computational Linguistics，2020：101-108． [百度学术]

OH S，LEE D，WHANG T，et al. Deep context-and relation-aware learning for aspect-based sentiment analysis［C］//Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing （Volume 2：Short Papers）. Online. Stroudsburg， PA，USA：Association for Computational Linguistics，2021： 495-503． [百度学术]

PONTIKI M，GALANIS D，PAVLOPOULOS J，et al. SemEval-2014 task 4：aspect based sentiment analysis［C］//Proceedings of the 8th International Workshop on Semantic Evaluation （SemEval 2014．Dublin，Ireland．Stroudsburg，PA，USA：Association for Computational Linguistics， 2014： 27-35． [百度学术]

PONTIKI M，GALANIS D， PAPAGEORGIOU H， et al. SemEval-2015 task 12： aspect based sentiment analysis［C］//Proceedings of the 9th International Workshop on Semantic Evaluation （SemEval 2015. Denver， Colorado. Stroudsburg， PA， USA： Association for Computational Linguistics， 2015： 486-495． [百度学术]

PONTIKI M，GALANIS D，PAPAGEORGIOU H，et al. SemEval-2016 task 5：aspect based sentiment analysis［C］//Proceedings of the 10th International Workshop on Semantic Evaluation （SemEval-2016）. San Diego， California. Stroudsburg， PA， USA：Association for Computational Linguistics， 2016： 19-30． [百度学术]

LI X， BING L D， LI P J， et al. A unified model for opinion target extraction and target sentiment prediction［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2019， 33（1）： 6714-6721． [百度学术]

FAN Z F，WU Z，DAI X Y，et al．Target-oriented opinion words extraction with target-fused neural sequence labeling［C］//Proceedings of the 2019 Conference of the North. Minneapolis，Minnesota. Stroudsburg，PA，USA：Association for Computational Linguistics， 2019： 2509-2518． [百度学术]

HE R D，LEE W S，NG H T，et al．An interactive multi-task learning network for end-to-end aspect-based sentiment analysis［C］//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics．Florence，Italy．Stroudsburg，PA，USA：Association for Computational Linguistics， 2019： 504-515． [百度学术]

WANG W Y，PAN S J，DAHLMEIER D，et al．Coupled multi-layer attentions for co-extraction of aspect and opinion terms［J］．Proceedings of the AAAI Conference on Artificial Intelligence，2017，31（1）： 3316-3322． [百度学术]

DAI H L，SONG Y Q．Neural aspect and opinion term extraction with mined rules as weak supervision［C］//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics．Florence，Italy．Stroudsburg，PA，USA：Association for Computational Linguistics，2019：5268-5277． [百度学术]

作者稿件一经被我刊录用，如无特别声明，即视作同意授予我刊论文整体的全部复制传播的权利，包括但不限于复制权、发行权、信息网络传播权、广播权、表演权、翻译权、汇编权、改编权等著作使用权转让给我刊，我刊有权根据工作需要，允许合作的数据库、新媒体平台及其他数字平台进行数字传播和国际传播等。特此声明。

关闭

首页

期刊简介

编委会

作者中心

下载中心

学术道德

常见问题

版权声明

联系我们

English

多特征加权图卷积网络的情感三元组抽取方法 PDF

摘要

关键词

1 相关工作

1.1 图卷积网络

1.2 标记方案

2 本文模型

2.1 问题定义

2.2 编码层

2.3 加权图卷积层

2.4 约束推理层

2.5 解码预测层

2.6 输出层

3 实验

3.1 实验数据

3.2 超参数设置与评价指标

3.3 对比实验

3.4 消融实验

3.5 GCN层数的影响

3.6 子任务的实验对比分析

3.7 案例分析

4 结论

参考文献

多特征加权图卷积网络的情感三元组抽取方法 PDF

摘要

关键词

1 相关工作

1.1 图卷积网络

1.2 标记方案

2 本文模型

2.1 问题定义

2.2 编码层

2.3 加权图卷积层

2.4 约束推理层

2.5 解码预测层

2.6 输出层

3 实 验

3.1 实验数据

3.2 超参数设置与评价指标

3.3 对比实验

3.4 消融实验

3.5 GCN层数的影响

3.6 子任务的实验对比分析

3.7 案例分析

4 结 论

参考文献

3 实验

4 结论