属性抽取是一种自动识别和提取属性表述文字的自然语言处理任务. 首先重温了属性抽取的基本任务、权威数据资源和通用评测规范, 并在此基础上全面回顾了现有前沿技术, 包括基于统计策略和特征工程的传统抽取技术以及利用深度学习的神经抽取技术. 特别地, 以属性表述语言的本质为出发点, 结合现有技术暴露出的不足, 对该领域的技术难点和推演方向给出了详细解释.
Aspect term extraction is a natural language processing task that automatically recognizes and extracts aspect term from free expression text. The study first goes over the basic task of aspect term extraction, the authoritative datasets of it and general evaluation specifications on it. Based on these, the study comprehensively reviews on the state-of-the-art techniques for the task, including traditional extraction techniques based on statistical strategies and feature engineering, and the neural extraction techniques using deep learning. In particular, the study takes the essence of expression language as the starting point, combines with the limitations of existing techniques and gives an elaboration of the technical difficulties and the future development prospects of aspect term extraction.
属性抽取的核心任务是从自由文本中自动识别和提取描述特定属性的语言片段. 比如: 在语句“句法分析鲁棒性优化策略”中, 文字片段“鲁棒性”即为属性表述. 在特定任务场景中, 属性抽取可细分为属性槽(aspect trigger)检测和属性值(aspect value)识别两个部分, 形成一种成对(pairwise)提取的任务模式. 比如: 针对“联想ThinkPad-E15的处理器主频是1.5 GHz”这一语句, 属性抽取器需要将属性槽“主频”和属性值“1.5 GHz”一并正确提取. 此外, 属性抽取既可作为独立的研究任务, 也可以成为其他上游任务的分支. 较为常见的案例是属性抽取与情感分析的组合, 其可形成以情感为中心的属性抽取任务[
属性抽取有助于推动非结构化数据向结构化数据(图谱、知识卡片、Profile等等)转化, 且其在简化信息组成形式和突出关键性质中发挥了重要作用. 学术和工业界在多领域(电商、百科、旅游、政务)开展了相关研究, 并取得了瞩目的技术成果.
然而, 由于属性表述语言的多样性、灵活性和开放性, 精准且全面地实现属性抽取仍具有较高难度. 针对这一问题, 相关研究在传统计算语言学基础之上, 充分利用神经网络的语义感知和泛化学习能力, 提出并实现了一系列“老道”的神经属性抽取技术. 然而, 现有技术在深层语义理解(如隐式属性感知)、跨领域迁移学习和开放域适应性优化方面仍然面临着较高的挑战. 此外, 单语种和跨语言任务场景下的标记数据匮乏以及常识知识的不足, 都极大地掣肘了现有技术在更为广阔的实用环境下产生突破.
本文集中在属性抽取的方法学部分进行回顾与分析, 包含了早期基于启发式规则和统计技术的传统方法以及近期利用神经网络架构和深度表示学习模型的前沿方法. 重点分析了科学问题、发展现状和尚存的技术挑战. 本文第1节、第2节结合现有权威数据和评测任务, 对国内外相关研究的整体状态进行分析(含研究机构和发展水平). 第3节全面揭示面向属性抽取的技术投入和方法创新, 不仅按启发式规则、统计策略和深度学习的顺序由浅入深地讲解技术发展路线, 也围绕神经网络的整体研究趋势建立相关技术方法的图谱. 第4节从不同的“维度”对相关研究的技术细节进行讲解和对比分析, 并就每个方法的设计特色、优势和实验环境加以罗列. 第5节总结全文, 分析现有技术的不足并挖掘有待探索的课题, 展望未来研究.
属性抽取任务是自由文本分析领域的重要课题, 其建立得益于学术界及工业界在知识获取与结构化数据整合过程中的现实需求. 以知识图谱或知识卡片的自动构建为例, 属性抽取能够提供大规模知识的词级和短语级表示. 换言之, 其支撑了知识节点的初始化. 此外, 属性往往是其他自然语言处理技术瞄准的关键对象之一. 其中, 最具代表性的技术是以属性为中心的情感分析(aspect-based sentiment analysis), 即专门针对特定语句中的商品、实体和技术的属性进行情感极性的自动识别. 比如, 如下两个例子来自商品属性的情感分析数据集(国际语义学评测会议的属性及情感分析语料SemEval[
例1: This laptop meets every expectation and
例2: This camera will not easily fit in a pocket. (译文: 这台相机不易装在口袋里.)
属性抽取研究的高地之一是国际语义学评测会议SemEval驱动的公开评测任务, 其数据发布和开放实验起始于2014年, 并延续至2016年[
● 研究热度(年增文献数量)
属性抽取相关的主流国际会议文献历年数量统计(2012−2020)
● 分布和影响力
不同国家在属性抽取领域产生的前沿科技文献统计(2012−2020)
尽管如此, 技术文献的影响力却呈现了不同趋势.
不同国家属性抽取发表论文的“他引”情况(影响力分布)
本文利用科技文献的“他引(other-citation)”数量作为影响力的评价指标. 其中, 国内同行的CCF-A类技术文献的“他引”总量(如
总体而言, 属性抽取研究有着较高的应用价值, 其研究热度正逐年升温. 但是相较于其他信息抽取领域, 面向属性抽取的高显示度研究成果并不多见. 因此, 其仍然是一项处于发展期的“年轻”的研究课题.
属性抽取任务的特色是“以词汇和短语为分析对象, 通过语义级的表示学习和句子级上下文的信息融合, 实现针对属性表述文字的自动标记以及属性类别的自动判别”. 事实上, 属性抽取对象的颗粒度(词、短语、语块Chunk或子句Clause)是界定任务难易程度的重要标志. 词汇和短语级的属性表述较易, 语块和子句级较难.其原因在于, 前者表述边界的确定性高于后者. 比如: 词汇级属性“性能”的前后边界即为其自身, 相比而言, 语块级属性“归一化折损累积增益NDCG指标高低”中, 大部分词汇都不是前后边界, 但被误判为边界或独立属性表述的概率极高. 尽管如此, 学术界尚未有针对性地释出和共享语块和子句级属性Benchmark数据集(某些词和短语级属性语料偶然地包含了个别语块级属性特例). 从而截至目前, “长条”属性表述抽取任务并无明确定义, 相应研究的技术报告和文献也乏善可陈.
词汇级和短语级属性抽取往往被视作逐词分类标记任务的一种特例[
值得指出的是: 标记语言的定义较为灵活, 可以根据主观的需求自由更改. 原因在于: 实验的评测阶段仅考虑机器抽取的属性与标准属性(ground truth)的文字一致性以及类型的一致性, 至于机器利用何种标签实现抽取并不在评测范围之内. 目前除了BIO外, 较为通用的标记语言还包括BMESO[
面向属性抽取任务构建的评测数据集来源广泛, 除了国际语义评测会议提供的英文数据, 也包含不同科研单位和组织提供的其他语种数据. 值得注意的是: 随着该领域研究的逐步深入, 近期的数据建设已将“隐式属性”这一特色语言现象纳入标注范围. 下面按照语种和显隐性对现有数据进行划分, 并分别作简要介绍.
● 通用数据(英语)
[
https://www.yelp.com/dataset/challenge)和Amazon Electronics (http://jmcauley.ucsd.edu/data/amazon/). 其中, Yelp是Yelp官方挑战赛数据集, 包含了来自4个国家10个城市总共80 000多家商铺的270万条评论, 以及针对其中商品属性和图片的标记数据. Yelp为SemEval-R14、SemEval-R15和SemEval-R16提供了辅助数据[
● 其他语种数据(阿拉伯语、汉语和印度语)
http://www.cs.columbia.edu/~noura/Resources.html)、CPRO和Hindi. 其中, AOTC (arabic opinion target corpus)由Farra等人(2015)[
特别地, Bhattacharya等人(2021)[
● 隐式属性数据集
[
如前所述, 绝大部分现有研究将属性抽取认定为词一级的序列标注任务, 并利用BIO标记逐词进行标记分类. 因此, 适用于分类方法的PRF评价测度被广泛作为检验属性抽取性能的手段. 在评价过程中, 是属性词判定为真, 不是属性词判定为假. 在此基础上, 准确率Precision (
其中, 超参
其中,
其中,
本节首先概述属性抽取领域的技术发展概况, 在给出3项传统方法的基础上, 侧重汇总了利用神经网络的建模架构, 并对比了测试性能(对比环节的技术皆来自基于通用数据SemEval的测试场景, 其性能为相关工作报告中的最优指标); 其次, 本节细致地对各项关键技术进行剖析, 从设计动机、建模原理和优劣势方面逐项介绍.
本文聚焦属性抽取领域的“主阵地——SemEval评测”, 对其中显露头角的主要方法进行汇总, 并按照其采用或集成的核心技术进行了分析, 见
现有属性抽取方法及其内含的关键技术
Model | Rule-based | CRF | RNN | CNN | LSTM | Attention | GRU | BERT |
FBS (Hu, |
▲ | − | − | − | − | − | − | − |
MKB (Zhuang, |
▲ | − | − | − | − | − | − | − |
IHS-RD (Chernyshevich, 2014) | − | ♠ | − | − | − | − | − | − |
LSTM (Liu, |
− | − | ◆ | − | ♥ | − | − | − |
RNCRF (Wang, |
− | ♠ | − | − | − | − | − | − |
MIN (Li, |
− | − | − | − | ♥ | − | − | − |
CMLA (Wang, |
− | − | ◆ | − | − | ♣ | − | − |
HAST (Li, |
− | − | − | − | ♥ | ♣ | − | − |
DE-CNN (Xu, |
− | − | − | ● | − | − | − | − |
TOWE (Fan, |
− | ♠ | − | − | ♥ | − | − | − |
Seq2Seq (Ma, |
− | − | − | − | − | ♣ | ★ | − |
RINANTE (Dai, |
▲ | ♠ | − | ♥ | − | − | − | |
SpanMlt (Zhao, |
− | − | − | − | ♥ | ♣ | ▼ | |
LOTN (Wu, |
− | − | − | − | ♥ | ♣ | − | − |
BBCR (Wei, |
− | ♠ | − | − | ♥ | − | − | ▼ |
● 总体上, 基于规则的属性抽取研究主要集中在21世纪初, 其在后期较少被涉及, 研究主流逐步集中到基于神经网络的深度学习技术之上, 并于近期引入了预训练语言模型(如BERT);
● 条件随机场是基于动态规划的择优策略, 其对于BIO标记分类场景有着天然的适用性, 尤其在不同时刻的最优化判别过程, 依赖于前期不同时刻的最优解, 由此与循环神经网络有着较高的兼容性, 见
● 相较于基于卷积计算的语义编码方式, 现有属性抽取方法更多采用基于序列化循环计算的编码技术.尤其, 集合长短期记忆单元LSTM的循环神经网络是最常见的核心编码步骤. 原因在于: 属性抽取的处理对象是自然语句中的词项, 对其中任意候选词项进行编码(及属性判别)都对上下文语境信息有着较强的依赖性. LSTM能在一定程度上缓解长程依赖问题(即融合上下文语义信息的记忆), 从而成为近期研究采用的必要手段之一;
● 注意力机制[
代表性模型实验结果
Category (类) | Method (方法) | L-14 | R-14 | R-15 | R-16 |
Rule-based(规则方法) | FBS (Hu, |
49.92 | 40.42 | 45.97 | 51.83 |
MKB (Li, |
58.04 | 37.14 | 55.98 | 64.62 | |
IHS-RD (Chernyshevich, 2014) | 74.55 | 79.62 | − | − | |
NN(神经网络方法) | LSTM (Liu, |
75.00 | 82.06 | 64.30 | 71.26 |
RNCRF (Wang, |
78.42 | 84.93 | 67.47 | − | |
MIN (Li, |
77.58 | − | − | 73.44 | |
CMLA (Wang, |
77.80 | 85.29 | 70.73 | − | |
HAST (Li, |
79.52 | 85.61 | 71.46 | 73.61 | |
DE-CNN (Xu, |
81.59 | 85.20 | 68.28 | 74.37 | |
TOWE (Fan, |
80.24 | 71.39 | 73.51 | 81.84 | |
Seq2Seq (Ma, |
80.31 | − | − | 75.14 | |
RINANTE (Dai, |
73.47 | 84.06 | 66.17 | − | |
LOTN (Wu, |
82.21 | 72.02 | 73.29 | 83.62 | |
NN+Pretrained(+预训练) | SpanMlt (Zhao, |
77.87 | 85.24 | 71.07 | − |
BBCR (Wei, |
82.68 | 87.11 | 70.23 | 77.51 |
由
性能分布趋势(纵轴为
● 基于序列标注的属性抽取方法对条件随机场CRF有着普遍的依赖性, 以同时引入预训练语言模型的SpanMlt[
● 基于神经网络进行语义编码的属性抽取方法虽然在判别性能上取得了显著优势, 但其并未彻底扭转鲁棒性不佳的局面. 通过观测
如前所述, 属性抽取方法可基本划分为传统基于规则的方法和基于神经网络的方法. 事实上, 在利用神经网络的过程中, 前人分别从无监督、监督学习、半监督学习和自监督学习这4种模式入手, 通过结合独特的特征抽取、表示学习和知识运用等方法, 形成了大量各具特色的研究成果. 本节对相关研究的技术细节进行分类讲解和对比分析, 借以辅助读者全面了解属性抽取领域的各项技术(注意: 部分技术并未列入
基于规则和基于神经网络的属性抽取方法具有截然不同的设计原理与特性: 前者依赖领域专家制定的经验性模板, 具有处理速度快和对同构数据判别精准度高的优势, 但也因为模式匹配过拟合和可观测模式种类的有限性问题, 导致在异构数据上迁移能力差和普适性偏低的缺陷; 后者借助神经网络中庞大的记忆和运算单元, 抽象表示属性及上下文的语言编辑模式, 从而对语义具有更深的感知能力, 往往在大规模且语用模式多样的数据上表现出更为卓越的性能, 即普适性较高.
在早期的基于规则的研究中, Hu等人(2004)[
基于规则的属性抽取方法比对
年份 | 模型 | 设计特色 | 数据集 | 语言 | 优点 | 来源 |
2004 | FBS | 基于词频 | IMDB | 英文 | 采用剪枝策略; 关联规则; 简单易行 | Ref.[ |
2006 | MKB | WordNet+语法关系+特征关键词表 | IMDB | 英文 | 整合WordNet、统计分析和关键词表, 利用IMDB实现属性抽取 | Ref.[ |
2011 | DP | DP+依存关系 | CRD | 英文 | 通过双重传递来获取属性词和情感词之间的信息; 提出了新的意见词极性分配和噪声目标剪枝方法 | Ref.[ |
2015 | RS-DP | 语法抽取规则+贪心选择算法 | IMDB | 英文 | 规则挑选算法, 自动地从规则集合中选择出抽取性能更好的规则子集 | Ref.[ |
自从2010年Jakob等人(2010)[
近期, 研究人员将基于神经网络的编码模型引入属性抽取研究. Liu等人(2015)[
基于神经网络或CRF的属性抽取方法比对
年份 | 模型 | 设计特色 | 数据集 | 语言 | 优点 | 来源 | |
CRF | 2010 | CRF | 基于CRF | IMDB | 英文 | 基于CRF的算法在单一领域中取得了优于基线的效果, 加入特征可以捕获更复杂句子中的更多信息, 并且在跨域中也取得了不错的效果 | Ref.[ |
2011 | CRF | CRF+浅层句法分析+启发式位置特征 | COAE2008 | 中文 | 采用条件随机域模型, 引入多种有效的语言学特征和启发式位置特征, 提高了产品属性抽取的精准率 | Ref.[ |
|
2014 | IHS-RD | CRF+特征 | L-14, R-14 | 英文 | 基于CRF, 融入丰富的词法、句法和统计特征, 性能好且可移植性强 | Ref.[ |
|
2016 | CRF | Bi-RNN+CRF+各种特征 | L-14, R-14, R-15, R-16 | 英文 | 提取各种词汇特征、句法特征和集群特征, 并且结合深度学习系统提取额外的神经网络特性 | Ref.[ |
|
神经网络 | 2015 | − | LSTM+RNN+词嵌入 | L-14, R-14 | 英文 | 将长短期记忆网络应用于属性抽取, 使用LSTM对词向量编码, 并通过最后一层全连接获得每个词的概率分布 | Ref.[ |
2017 | MIN | LSTM+记忆单元 | L-14, R-16 | 英文 | 使用双通道LSTM同时抽取属性词和情感词, 且通过记忆单元进行交互 | Ref.[ |
|
2018 | DE-CNN | CNN+词向量 | L-14, R-14, R-15, R-16 | 英文 | 使用多层CNN构建模型, 同时利用通用词向量和领域词向量提升属性抽取的性能 | Ref.[ |
|
2019 | Seq2Seq | Seq2Seq+GUN+PAA | L-14, R-16 | 英文 | 在实现属性词的抽取的同时, 也可以实现属性词和情感词的联合抽取, 增强属性词、属性词和情感词联合抽取时多任务之间的信息传递, 提升各个任务的效果 | Ref.[ |
|
2020 | RINANTE | Bi-LSTM+CRF | L-14, R-14, R-15 | 英文 | 使用规则标注数据扩大训练语料, 有效地解决了属性抽取任务缺乏数据的瓶颈问题, 通过Bi-LSTM和CRF进行属性词和情感词的联合抽取 | Ref.[ |
面向属性抽取的相关研究中, 最为主要的科学问题是“以属性为中心”的表示学习方法设计. 截止目前, 传统的统计学习方法、机器学习方法和近期的深度学习方法, 都在属性抽取研究领域得以应用, 其具体可划分为无监督、监督、半监督以及自监督学习模式.
● 面向属性抽取的无监督学习模式
建立在统计学原理之上的无监督处理方法中, Hasegawa等人(2004)[
另一项有代表性的无监督处理模式来自Garcia-Pablos等人(2015)[
无监督方式的属性抽取方法比对
年份 | 模型 | 设计特色 | 数据集 | 语言 | 优点 | 来源 |
2007 | OPINE | PMI | IMDB | 英文 | 在文献[ |
Ref.[ |
2015 | V3 | PageRank+语义关系+情感关系+图 | L-14, R-14 | 英文 | 基于节点和加权边构建图, 依照依存等关系建立属性与情感词的关系子图, 再经PageRank排序, 生成属性词列表, 实现属性抽取 | Ref.[ |
2016 | Rule-Based | 贪心算法 | CRD | 英文 | 建立了8套基于依存的抽取规则, 并且建立了依存规则的评估方法, 能够有效地对人工建立的规则进行可靠性评估和筛选 | Ref.[ |
● 面向属性抽取的监督学习模式
如第2.1节所述, 属性抽取任务通常被解释为序列化标注问题(自然文本向BIO标记序列的转化). 因此, 主要的监督学习模式都是用于服务序列化的语义编码和解码. 常见的序列标注模型包括隐马尔可夫HMM、长短期记忆神经网络LSTM和条件随机场CRF. 本文第4.1节已对基于LSTM架构的属性抽取方法进行了介绍, 本节不再赘述. 相对地, 本节重点解释监督学习过程中的特色科学问题(特征工程、终身学习、数据不平衡、感知深度)及其解决方法.
Jin等人(2009)[
Shu等人(2017)[
近期, Wei等人(2020)[
失衡的观测数据分布和健壮性问题引起了相关学者的关注. 具体地, 观测样本中标记数据的分布不平衡, 往往使得机器学习模型趋向“有偏见”的判别模式, 特别是在过度拟合训练数据的模型中, 这类偏见不可避免地影响到其测试性能, 使其体现出较低的健壮性. 简言之, 由数据分布不平衡导致的低健壮性是大部分监督学习过程中常见的痼疾. 属性抽取领域的现有语料集也存在标记分布失衡的问题(属性词较少, 非属性词较多). 为此, Venugopalan等人(2021)[
监督方式的属性抽取方法比对
年份 | 模型 | 设计特色 | 数据集 | 语言 | 优点 | 来源 |
2009 | HMM | HMM+Bootsraping | CRD | 英文 | 不需要统计学信息, 加入语言学特征, 并且能够自主学习新词 | Ref.[ |
2016 | CNN | CNN+POS+词向量 | Google+Amazon | 中文/英文 | 深度神经网络, 精度较高, 可以适用于较复杂的数据集, 网络结构对参数较敏感 | Ref.[ |
2017 | L-CRF | CRF+LML | IMDB | 英文 | 采用终身机器学习的方法; 传统CRF与LML结合, 可以更好地实现属性抽取 | Ref.[ |
2020 | CIA-CRF | CRF+类卷积交互式注意力机制 | L-14, R-14, R-15, R-16 | 英文 | 类卷积注意力机制可以降噪以及获得重要的全局信息; 融入词的字符级特征, 有助于识别未登录词, 从而有助于属性词的预测 | Ref.[ |
2021 | SMOTE | 随机森林 | CRD | 英文 | 一个包含不平衡数据处理的简单分类器, 使用最小的鲁棒特性集, 已经能够实现与属性抽取任务中SOTA可比较的结果 | Ref.[ |
● 面向属性抽取的半监督学习模式
监督学习需要大量人工标注数据, 从而开发成本偏高. 相对地, 无监督属性抽取依赖专家制定规则或者模板, 虽然开发成本较低, 但可迁移性差. 因此, 结合两者所长的半监督属性抽取逐渐得到研究人员的重视.
Su等人(2016)[
此外, Qu等人(2019)[
Ansari等人(2020)[
半监督方式的属性抽取方法比对
年份 | 模型 | 设计特色 | 数据集 | 语言 | 优点 | 来源 |
2016 | TSVM | SVM+直推式学习 | 百度百科 | 中文 | 该模型能够在小语料条件下取得较好的抽取效果, 泛化学习能力较强, 可以节省大量的人力成本 | Ref.[ |
2019 | AESS | TF-IDF+种子词+词向量+词典 | 美团网的评论数据+Citysearchcorpus | 中文/英文 | 避免了大量的文本标注, 充分利用未标签数据的价值, 在中文和英文数据集上都表现出了理想的效果 | Ref.[ |
2020 | GSSL | KNN+图模型 | L-14, R-14, Yelp, Amazon | 英文 | 与监督学习方法相比, 不需要人工标注大量的数据, 节约了时间和成本. 鲁棒性和修剪特征集的识别可以更好地表示该模型 | Ref.[ |
● 面向属性抽取的自监督学习模式
自监督学习侧重利用生成模型在未标注样本上产生丰富的表示模式, 自助式地为监督学习提供感知学习的隐式样本. 基于自监督学习模式形成的模型中, 较为独特的一员是变分自编码器(variational autoencoder, VAE)[
在属性抽取领域, Liao等人(2019)[
数据驱动的属性抽取方法研究主要涉及两类: 其一是从数据的本质特性入手, 结合人工观测的经验和模型运行时(run-time)的响应特点, 对样本的处理和应用模式进行调整; 其二是瞄准样本数量和质量导致的弊端, 通过扩展和增强数据的方式, 实现抽取模型的优化.
数据驱动的属性抽取方法
年份 | 模型 | 设计特色 | 数据集 | 语言 | 优点 | 来源 | |
注: Lap-14、Res-14、Res-15、Res-16分别表示重新标注之后的L-14、R-14、R-15、R-16 | |||||||
样本重构与回收 | 2011 | NSSR | CRF+核心句+句法结构 | COAE 2009 | 中文 | 将核心句和句法结构相结合, 提高CRF的标注效能; 单一领域表现更优 | Ref.[ |
2020 | BBCR | BERT+Pointernet-work+BiSELF-CRF | L-14, R-14, R-15, R-16 | 英文 | 利用指针网络改善边界定位问题, 单独训练的指针网络作为后处理器, 可以很容易地与不同的属性抽取耦合 | Ref.[ |
|
2019 | TOWE | LSTM+CRF+IOG | Lap-14, Res-14, Res-15, Res-16 | 英文 | IOG可以有效地将目标信息分别编码成左右上下文. 然后结合目标的左右上下文和全局上下文, 提取解码器中相应的属性词 | Ref.[ |
|
数据扩展与增强 | 2020 | MASS | MaskFrag+Encoder+Decoder | Lap-14, Res-14, Res-15, Res-16 | 英文 | 可控性强, 可以产生更多样化的数据, 亦适用于分块、命名实体识别等任务 | Ref.[ |
2021 | BRIDGE | SynBridge+SemBridge | L-14, R-14, R-15 | 英文 | 提出了一种新的主动域自适应方法, 通过构建句法和语义桥来积极增强属性词的可转移性, 并且设计了一个轻量级的端到端标记器实现序列标记 | Ref.[ |
● 样本重构与回收
南京大学的Zhang等人(2011)[
近期, Wei等人(2020)[
● 数据扩展与增强
以监督学习为基础的神经网络抽取模型往往受训练数据稀疏和质量的影响, 并不能极大地发挥其强大的深度学习能力. 数据扩展和增强是弥补这一不足的重要手段.
Zhang等人(2015)[
比较有特色的人工数据增强工作来自Fan等人(2019)[
此外, 跨领域应用完备训练的神经抽取模型往往遭遇目标领域标注数据不足的情况, 借助跨领域自监督学习技术, 可一定程度上缓解上述问题. 跨领域自监督学习的核心是进行信息的传递与借鉴, 即通过学习源领域标注数据的语言信息, 实现针对目标领域“同构”数据的学习模式, 呈现为一种“草船借箭”的学习模式. 事实上, 跨领域自监督与数据增强有着异曲同工的作用, 区别仅在于前者利用外部领域数据的隐含信息, 后者则较为直观地利用另一领域数据的信息. 在这一方面, Chen等人(2021)[
情感分析和属性抽取任务是自然语言领域的“双子座”, 关系极为密切. 原因在于: 首先, 情感词与属性词都是评论文本中的高频语言单位(如第2.2节所示, 绝大部分语料集都来自评论数据); 其次, 两者往往在局部紧凑的语言单位(句子、小句或语块)中共同出现; 最后, 两者之间存在语义层面的关联性(比如“先进性能”中, 属性“性能”与情感词“先进”有着极为密切的语义关系). 也因此, 对同一语句的语义编码适用于两种任务中不同目标的判别, 且情感与属性可以互为推理线索. 从而, 针对属性抽取的相关研究已将情感分析技术作为重要的辅助手段予以运用, 并在多任务学习(multi-task learning)架构下实现了不同抽取模型.
结合情感词的属性抽取比对
年份 | 模型 | 设计特色 | 数据集 | 语言 | 优点 | 来源 |
2016 | RNCRF | RNN+CRF | L-14, R-14 | 英文 | 提出了一种新的联合模型, 将递归神经网络和条件随机场集成到一个统一的框架中, 用于显式属性和情感词的共同提取 | Ref.[ |
2017 | CMLA | Attention+GRU+DP | L-14, R-14, R-15 | 英文 | 提出了一种耦合多层注意力模型, 其提供了端到端的解决方案, 并且不需要任何依存关系分析器或其他辅助语言资源进行预处理 | Ref.[ |
2018 | HAST | THA+STN | L-14, R-14, R-15, R-16 | 英文 | 利用情感摘要和属性检测历史两个线索进行属性抽取; 情感摘要是从整个输入句子中提炼出来的, 以每个当前令牌为条件进行属性预测; 属性检测历史是从以前的属性预测中提炼出来的, 以便利用坐标结构和标记模式约束升级属性预测 | Ref.[ |
2020 | SpanMlt | BiLSTM+BERT+Attention | L-14, R-14, R-15, R-16 | 英文 | 首次将属性词和情感词成对抽取, 提出一个端到端的模型, 将情感词作为属性抽取的线索或辅助提升属性抽取的性能 | Ref.[ |
2020 | LOTN | BiLSTM+Attention | L-14, R-14, R-15, R-16 | 英文 | 通过迁移学习的知识, 把预训练的情感分类中得到的情感词传递给TOWE, 增强了性能, 与IOG相比降低了复杂度 | Ref.[ |
Wang等人(2016)[
考虑到RNCRF对依存分析的准确性有着极高的要求, Wang等人(2017)[
类似地, Li等人(2018)[
值得指出的是, 单一语句中的情感词可能较为丰富且分布位置不同, 其与特定一个或多个属性词的关联性并不明确, 从而影响了上述多任务学习架构中属性与情感词的准确注意力交互. 针对这一问题, Wu等人(2020)[
总体上, 属性抽取问题已经得到自然语言领域学者的广泛关注, 近几年的研究热度持续走高, 相关的数据加工和方法学设计水平也相应地得到不断的提高. 借助基于神经网络的深度表示学习技术, 属性抽取研究已经进入了“神经”时代, 相应的技术也有效提升了抽取精度, 以及抽取模型的健壮性和泛化能力. 特别地, 以Transformer为基础的预训练语言模型以及这类模型蕴藏的自监督学习模式, 正广泛影响着相关学者的研究思路, 促进了突破性工作的不断产出. 尽管如此, 属性抽取研究尚存在如下短板, 其反映出的科学问题将可能主导或引领未来的研究趋势.
● 低资源属性抽取: 低资源问题是自然语言领域中不同任务面临的共性问题, 其特指领域切换情境下的标注数据短缺和监督学习无法实施的关键问题. 目前, 科研人员已在面向属性分析的数据扩展和数据增强(如第4.3节)方面进行了尝试, 并取得了较好的效果. 但是, 低资源问题并不能简单依赖扩展和增强技术而得到解决. 原因在于: 低资源场景只给出极为少量的种子标记样本, 无法覆盖相对全面的语言现象, 仅仅能够用于指导人的初步认知理解(任务定义的理解), 而无法为机器的认知学习提供足够的参考. 扩展与增强技术(如基于同义词替换、同质异构复述生成等)仅能对种子进行微小的变化, 产生局限性较高的变种样本, 难以提升语用和语义模式的覆盖率. 从而, 解决低资源问题需要从技术和数据两方面入手: 在技术层面, 开发利用远程监督学习、主动学习和跨领域迁移学习技术, 将对低资源场景下的属性抽取方法研究提供重要的支撑; 在数据层面, 人工数据建设是必不可少的一环, 设计辅助标注技术(比如利用知识库进行文本结构化分析和属性结构化数据的挖掘)和标记质量评估方法, 将有助于以最为直接的方式扩展属性数据库. 特别地, 利用变分自编码和生成对抗网络, 能够分别在监督学习的前期(预处理)和中期(运行时)生成迷惑性样本, 以“柔性”的方式实现数据增强.
● 跨语言属性抽取: 值得特别指出的是, 现有属性抽取领域中关于跨语言问题的工作极为稀缺. 事实上, 在多语种数据上围绕属性进行语义表示学习研究, 将产生具有极高应用价值的成果. 比如前文提到的低资源场景下, 稀疏的种子数据难以支撑神经模型的监督学习, 其根本原因是语言现象(语用模式和语义知识范畴)覆盖面小. 那么针对特定目标语言的低资源场景, 利用标注资源充沛的源语言抽取模型进行适当迁移, 将能够快速形成基准性(baseline)的目标语言属性抽取模型. 特别地, 当结合多任务学习架构, 分别建立双语翻译通道、单语种遮蔽语言模型通道和双语分治的属性抽取通道后, 借助参数共享和特征监听机制, 能够形成多套跨语种的语义表示学习和特征抽象模型. 此外, 不同语种属性的表述模式(语法结构)、语用特点(多义词)及其与情感和语境的关联模式(依存模式)必然存在语言层面的固有差异. 针对不同语种进行现有抽取模型的性能检验, 并借此探究适应多语种个性化语言处理的通用模型, 将有望扩充属性抽取领域的研究内容, 并且切实解决跨语言属性抽取中的实际应用问题.
● 多模态属性抽取: 现有研究往往忽视的一项重要前提是属性框架体系的完备性. 无论是人工标注或是机器自动分类属性, 都需要专家预先对特定领域和特定目标建立系统且严密的属性体系(包括属性类标记、定义和可区分性的界定标准). 当领域和目标进行切换时, 新领域的属性框架体系往往是未知的, 使得现有数据标注和机器建模技术都无法快速施展. 针对这一问题, 利用多模态信息处理技术实现属性体系的自动认知, 将是一项极富挑战且具趣味性的工作. 特别地, 利用图像模态的匹配技术, 将有助于属性体系在同类目标中进行共享(比如, 汽车的属性体系能够大范围地覆盖航空器的属性体系). 此外, 利用跨模态的特征表示转换, 将能够极大地助力文本层面的属性语义感知效果(比如, 结合图注生成模型captioning和属性抽取模型的多任务学习).
● 精细化研究: 除了上述低资源、跨语种和多模态属性抽取问题, 在现有针对高资源、单语种和独立模态的属性抽取研究中(主干研究内容), 技术方法的攻关对象仍存在一些空白, 包括: (1) 隐式属性的抽取问题, 即有指代词指向的属性和零指代属性的抽取问题, 针对这一问题的初步解法应集中于指代消解和生成模型的应用; (2) 多任务架构下的运行时推理(test-time inference)和强化学习可组成新型的神经属性抽取模型, 其可利用测试用例上非属性抽取类任务的执行和产出(比如预测情感), 形成运行时的奖励机制, 同步促进属性抽取模型的性能优化, 这类模型的设计工作在属性抽取领域尚未出现, 但近期已在其他自然语言理解任务中得以实践; (3) 基于知识图谱的属性抽取研究相对薄弱, 目前, 利用诸如FrameNet(框架语义网络)、ConceptNet(知识概念网络)及其框架的其他抽取技术已经得到较为广泛的研究, 其丰富的语义和知识资源、关系架构和样例, 能够辅助基于图和外部知识的抽取方法设计.
Liu B. Sentiment analysis and opinion mining. In: Proc. of the Synthesis Lectures on Human Language Technologies. 2012. 1-167.
Wagner J, Arora P, Cortes S, Barman U, Dasha B, Jennifer F, Lamia T. DCU: Aspect-based polarity classification for semeval task 4. In: Proc. of the 8th Int'l Wokshop on Semantic Evaluation (SemEval 2014). 2014. 223-229.
Dai HL, Song YQ. Neural aspect and opinion term extraction with mined rules as weak supervision. In: Proc. of the 57th Annual Meeting of the Association for Computational Linguistics. 2019. 5268-5277.
Pontiki M, Galanis D, Pavlopoulos J, Papageorgiou H, Androutsopoulos I, Manandhar S. SemEval-2014 task 4: Aspect based sentiment analysis. In: Proc. of the 8th Int'l Workshop on Semantic Evaluation (SemEval 2014). Dublin: Association for Computational Linguistics, 2014. 27-35.
Pontiki M, Galanis D, Papageorgiou H, Manandhar S, Androutsopoulos I. Semeval-2015 task 12: Aspect based sentiment analysis. In: Proc. of the 9th Int'l Workshop on Semantic Evaluation (SemEval 2015). Denver: Association for Computational Linguistics, 2015. 486-495.
Pontiki M, Galanis D, Papageorgiou H, Androutsopoulos I, Manandhar S, Al-Smadi M, Al-Ayyoub M, Zhao YY, Qin B, De CO. SemEval-2016 task 5: Aspect based sentiment analysis. In: Proc. of the 10th Int'l Workshop on Semantic Evaluation (SemEval 2016). San Diego: Association for Computational Linguistics, 2016. 19-30.
Liu Q, Gao ZQ, Liu B, Zhang YL. Automated rule selection for aspect extraction in opinion mining. In: Proc. of the 24th Int'l Joint Conf. on Artificial Intelligence. 2015. 1291-1297.
Mukherjee A, Liu B. Aspect extraction through semi-supervised modeling. In: Proc. of the 50th Annual Meeting of the Association for Computational Linguistics. 2012. 339-348.
Chen ZY, Mukherjee A, Liu B. Aspect extraction with automated prior knowledge learning. In: Proc. of the 52nd Annual Meeting of the Association for Computational Linguistics. 2014. 347-358.
Jiang SY, Guo LD, Wang LX, Fu SH. Survey on opinion target extraction. Acta Automatica Sinica, 2018, 44(7): 1165-1182 (in Chinese with English abstract).
蒋盛益, 郭林东, 王连喜, 符斯慧. 评价对象抽取研究综述. 自动化学报, 2018, 44(7): 1165-1182.
Wang WY, Pan SJ, Dahlmeier D, Xiao XK. Coupled multilayer attentions for co-extraction of aspect and opinion terms. In: Proc. of the 31st AAAI Conf. on Artificial Intelligence. 2017. 3316-3322.
Le R, Roth D. Design challenges and misconceptions in named entity recognition. In: Proc. of the 13th Conf. on Computational Natural Language. 2009. 147-155.
Fan Z, Wu Z, Dai XY, Huang S, Chen J. Target-oriented opinion words extraction with target-fused neural sequence labeling. In: Proc. of the 2019 Association for Computational Linguistics. 2019. 2509-2519.
Pang B, Lee L, Vaithyanathan S. Thumbs up? Sentiment classification usingmachine learning techniques. In: Proc. of the 2002 Conf. on Empirical Methods in Natural Language Processing. 2002. 79-86.
Hu MQ, Liu B. Mining and summarizing customer reviews. In: Proc. of the ACM SIGKDD Int'l Conf. on Knowledge Discovery and Data Mining. 2004. 168-177.
Farra N, Mckeown K, Habash N. Annotating targets of opinions in Arabic using crowdsourcing. In: Proc. of the ACL-2015 Workshop on Arabic Natural Language. 2015. 89-98.
Xu R, Xia Y, Wong KF, Li WJ. Opinion annotation in online Chinese product reviews. In: Proc. of the 6th Int'l Conf. on Language Resources and Evaluation. 2008. 1625-1632.
Akhtar MS, Ekbal A, Bhattacharyya P. Aspect based sentiment analysis in Hindi: Resource creation and evaluation. In: Proc. of the 10th Int'l Conf. on Language Resources and Evaluation. 2016. 2703-2709.
Bhattacharya A, Debnath A, Shrivastava M. Enhancing aspect extraction in Hindi. In: Proc. of the 59th Annual Meeting of the Association for Computational Linguistics. 2021. 140-149.
Yang H, Zeng B, Yang JH, Song YW, Xu RY. A multi-task learning model for chinese-oriented aspect polarity classification and aspect term extraction. Neurocomputing, 2021, 419: 344-356.
Cruz I, Gelbukh AF, Sidorov G. Implicit aspect indicator extraction for aspect based opinion mining. Journal of Computational Linguistics and Application, 2014, 5(2): 135-152.
Lafferty J, McCallum A, Pereira F. Conditional random fields: Probabilistic models for segmenting and labeling sequence data. In: Proc. of the 18th Int'l Conf. on Machine Learning. 2001. 282-289.
Hubel DH, Wiesel TN. Receptive fields, binocular interaction and functional architecture in the cat's visual cortex. The Journal of Physiology, 1962, 160(1): 106-154.
Elman JL. Finding structure in time. Cognitive Science, 1990, 14(2): 179-211.
Hochreiter S, Schmidhuber J. Long short-term memory. Neural Computation, 1997, 9(8): 1735-1780.
Cho K, Van Merriënboer B, Gulcehre C, Bahdanau D, Bougares F, Schwenk H, Bengio Y. Learning phrase representations using RNN encoder-decoder for statistical machine translation. In: Proc. of the 2014 Conf. on Empirical Methods in Natural Language Processing. 2014. 1724-1734.
Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, Kaiser L, Polosukhin I. Attention is all you need. In: Advances in Neural Information Processing Systems. 2017, 30: 6000-6010.
Devlin J, Chang MW, Lee K, Toutanova K. BERT: Pre-training of deep bidirectional transformers for language understanding. In: Proc. of the 2019 Conf. of the North American Chapter of the Association of Computational Linguistics: Human Language Technologies. 2018. 4171-4186.
Fan ZF, Wu Z, Dai XY, Huang SJ, Chen JJ. Target-oriented opinion words extraction with target-fused neural sequence labeling. In: Proc. of the Annual Conf. of the North American Chapter of the Association for Computational Linguistics. 2019. 2509-2518.
Cho K, Courville A, Bengio Y. Describing multimedia content using attention-based encoder-decoder networks. IEEE Trans. on Multimedia, 2015, 17(11): 1875-1886.
Xu S, Li H, Yuan P, Wu YZ, He XD, Zhou BW. Self-Attention guided copy mechanism for abstractive summarization. In: Proc. of the 58th Annual Meeting of the Association for Computational Linguistics. 2020. 1355-1362.
Wang YX, Guo Y, Zhu SQ. Slot attention with value normalization for multi-domain dialogue state tracking. In: Proc. of the 2020 Conf. on Empirical Methods in Natural Language Processing. 2020. 3019-3028.
Dai ZH, Yang ZL, Yang YM, Carbonell JM, Le QV, Salakhutdinov R. Transformer-xl: Attentive language models beyond a fixed-length context. In: Proc. of the 57th Annual Meeting of the Association for Computational Linguistics. 2019. 2978-2988.
Child R, Gray S, Radford A, Sutskever I. Generating long sequences with sparse transformers. arXiv: 1904.10509, 2019.
Dehghani M, Gouws S, Vinyals O, Uszkoreit J, Kaiser L. Universal transformers. arXiv: 1807.03819, 2018.
Zhao H, Huang LT, Zhang R, Lu Q, Xue H. Spanmlt: A span-based multi-task learning framework for pair-wise aspect and opinion terms extraction. In: Proc. of the 58th Annual Meeting of the Association for Computational Linguistics. 2020. 3239-3248.
Wei ZK, Hong Y, Zou BW, Cheng M, Yao JM. Don't eclipse your arts due to small discrepancies: Boundary repositioning with a pointer network for aspect extraction. In: Proc. of the 58th Annual Meeting of the Association for Computational Linguistics. 2020. 3678-3684.
Li X, Lam W. Deep multi-task learning for aspect term extraction with memory interaction. In: Proc. of the 2017 Conf. on Empirical Methods in Natural Language Processing. 2017. 2886-2892.
Li X, Bing LD, Li P, Lam W, Yang ZM. Aspect term extraction with history attention and selective transformation. In: Proc. of the 27th Int'l Joint Conf. on Artificial Intelligence. 2018. 4194-4200.
George AM. Wordnet: A lexical database for English. Communications of the ACM, 1995, 38(11): 39-41.
Li Z, Feng J, Zhu XY. Movie review mining and summarization. In: Proc. of the ACM 15th Conf. on Information and Knowledge Management. ACM, 2006. 43-50.
Qiu G, Liu B, Bu J, Chen CL. Opinion word expansion and target extraction through double propagation. Computational Linguistics, 2011, 37(1): 9-27.
Jakob N, Darmstadt TU, Gurevych I. Extraction opinion targets in a single and cross-domain setting with conditional random fields. In: Proc. of the Conf. on Empirical Methods in Natural Language Processing. 2010. 1035-1045.
Xu B, Zhao TJ, Wang SY, Zheng DQ. Extraction of opinion targets based on shallow parsing features. Acta Automatica Sinica, 2011, 37(10): 1241-1247 (in Chinese with English abstract).
徐冰, 赵铁军, 王山雨, 郑德权. 基于浅层句法特征的评价对象抽取研究. 自动化学报, 2011, 37(10): 1241-1247.
Chernyshevich M. IHS R & D Belarus: Cross-domain extraction of product features using conditional random fields. In: Proc. of the 8th Int'l Workshop on Semantic Evaluation (SemEval 2014). 2014. 309-313.
Liu PF, Joty S, Meng H. Fine-grained opinion mining with recurrent neural networks and word embedding. In: Proc. of the Conf. on Empirical Methods in Natural Language Processing. 2015. 1433-1443.
Toh Z, Su J. NLANGP at SemEval-2016 task 5: Improving aspect based sentiment analysis using neural network features. In: Proc. of the 10th Int'l Workshop on Semantic Evaluation (SemEval-2016). 2016. 282-288.
Xu H, Liu B, Shu L, Philip SY. Double embeddings and CNN-based sequence labeling for aspect extraction. In: Proc. of the 56th Annual Meeting of the Association for Computational Linguistics. 2018. 592-598.
Collobert R, Weston J, Bottou L, Karlen M, Kavukcuoglu K, Kuksa P. Natural language processing (almost) from scratch. Journal of Machine Learning Research, 2011, 12(1): 2493-2537.
Poria S, Cambria E, Gelbukh A. Deep convolutional neural network textual features and multiple kernel learning for utterance-level multimodal sentiment analysis. In: Proc. of the 2015 Conf. on Empirical Methods in Natural Language Processing. 2015. 2539-2544.
Ma DL, Li SJ, Wu FZ, Xie X, Wang HF. Exploring sequence-to-sequence learning in aspect term extraction. In: Proc. of the 57th Annual Meeting of the Association for Computational Linguistics. 2019. 3538-3547.
Hasegawa T, Sekine S, Grishman R. Discovering relations among named entities from large corpora. In: Proc. of the 42th Annual Meeting of the Association for Computational Linguistics. 2004. 415-422.
Chen JX, Ji DH, Tan CL, Niu ZY. Unsupervised feature selection for relation extraction. In: Proc. of the Conf. on Including Posters/Demos and Tutorial Abstracts. 2005. 262-267.
Popescu AM, Etzioni O. Extracting product features and opinions from reviews. In: Proc. of the Conf. on Human Language Technology and Empirical Methods in Natural Language Processing. Stroudsburg: ACL, 2007. 9-28.
García-Pablos A, Cuadros M, Rigau G. V3: Unsupervised aspect based sentiment analysis for semeval2015 task 12. In: Proc. of the 9th Int'l Workshop on Semantic Evaluation (SemEval 2015). 2015. 714-718.
Brin S, Page L. The anatomy of a large-scale hypertextual Web search engine. Computer Networks and ISDN Systems, 1998, 30(1-7): 107-117.
Liu Q, Gao Z, Liu B, Zhang YL. Automated rule selection for opinion target extraction. Knowledge-based Systems, 2016, 104: 74-88.
Jin W, Ho HH. A novel lexicalized HMM-based learning framework for web opinion mining. In: Proc. of the 26th Annual Int'l Conf. on Machine Learning. New York: ACM, 2009. 465-472.
Poria S, Cambria E, Gelbukh A. Aspect extraction for opinion mining with a deep convolutional neural network. Knowledge-based Systems, 2016, 108: 42-49.
Shu L, Xu H, Liu B. Lifelong learning CRF for supervised aspect extraction. In: Proc. of the 55th Annual Meeting of the Association for Computational Linguistics. 2017. 148-154.
Chen Z, Liu B. Lifelong machine learning. Synthesis Lectures on Artificial Intelligence and Machine Learning, 2018, 12(3): 1-207.
Wei ZK, Cheng M, Zhou XB, Li ZF, Zou BW, Hong Y, Yao JM. Convolutional interactive attention mechanism for aspect term. Journal of Computer Research and Development, 2020, 57(11): 208-218. (in Chinese with English abstract)
尉桢楷, 程梦, 周夏冰, 李志峰, 邹博伟, 洪宇, 姚建民. 基于类卷积交互式注意力机制的属性抽取研究. 计算机研究与发展, 2020, 57(11): 208-218.
Venugopalan M, Gupta D, Bhatia V. A supervised approach to aspect term extraction using minimal robust features for sentiment analysis. In: Proc. of the Progress in Advanced Computing and Intelligent Engineering. Singapore: Springer, 2021. 237-251.
Chawla NV, Bowyer KW, Hall LO, Kegelmeyer WP. Smote: Synthetic minority over-sampling technique. Journal of Artificial Intelligence Research, 2002, 16: 321-357.
Ho TK. Random decision forests. In: Proc. of the 3th Int'l Conf. on Document Analysis and Recognition, Vol. 1. IEEE, 1995. 278-282.
Su FL, Xie QH, Huang QA, Qiu JY, Yue ZJ. Semi-supervised method for attribute extraction based on transductive learning. Journal of Shandong University (Natural Science), 2016, 51(3): 111-115 (in Chinese with English abstract).
苏丰龙, 谢庆华, 黄清泉, 邱继远, 岳振军. 基于直推式学习的半监督属性抽取. 山东大学学报(理学版), 2016, 51(3): 111-115.
Qu SW, Wu CY, Wang XR. Aspects extraction based on semi-supervised self-training. CAAI Trans. on Intelligent Systems, 2019, 14(04): 635-641 (in Chinese with English abstract).
曲昭伟, 吴春叶, 王晓茹. 半监督自训练的方面提取. 智能系统学报, 2019, 14(4): 635-641.
Ansari G, Saxena C, Ahmad T, Doja MN. Aspect term extraction using graph-based semi-supervised learning. Procedia Computer Science, 2020, 167: 2080-2090.
Kingma DP, Welling M. Autoencoding variational bayes. arXiv: 1312.6114. 2013, 2013.
Liao M, Li J, Zhang H, Wang LZ, Wu XX, Wong KF. Coupling global and local context for unsupervised aspect extraction. In: Proc. of the 2019 Conf. on Empirical Methods in Natural Language and the 9th Int'l Joint Conf. on Natural Language Processing. 2019. 4579-4589.
Zhang L, Qian LF, Xu X. Comment target extraction based on nuclear sentences and syntactic relations. Journal of Chinese Information Processing, 2011, 25(3): 23-30 (in Chinese with English abstract).
张莉, 钱玲飞, 许鑫. 基于核心句及句法关系的评价对象抽取. 中文信息学报, 2011, 25(3): 23-30.
Li K, Chen CB, Quan XJ, Ling Q, Song Y. Conditional augmentation for aspect term extraction via masked sequence-to-sequence generation. In: Proc. of the 58th Annual Meeting of the Association for Computational Linguistics. 2020. 7056-7066.
Chen Z, Qian TY. Bridge-based active domain adaptation for aspect term extraction. In: Proc. of the 59th Annual Meeting of the Association for Computational Linguistics. 2021. 317-327.
Zhang X, Zhao JB, Cun YL. Character-level convolutional networks for text classification. In: Advances in Neural Information Processing Systems. 2015. 649-657.
Wang WY, Yang DY. That's so annoying!!! A lexical and frame-semantic embedding based data augmentation approach to automatic categorization of annoying behaviors using #petpeeve Tweets. In: Proc. of the 2015 Conf. on Empirical Methods in Natural Language Processing. 2015. 2557-2563.
Sosuke K. Contextual augmentation: Data augmentation by words with paradigmatic relations. In: Proc. of the 2018 Conf. of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (Short Papers), Vol. 2. 2018. 452-457.
Wu X, Lv SW, Zang LJ, Han JZ, Hu SL. Conditional BERT contextual augmentation. In: Proc. of the Computational Science. 2019. 84-95.
Wang WY, Pan SJ, Dahlmeier D, Xiao XK. Recursive neural conditional random fields for aspect-based sentiment analysis. In: Proc. of the 2016 Conf. on Empirical Methods in Natural Language Processing. 2016. 616-626.
Wu Z, Zhao F, Dai XY, Huang SJ, Chen JJ. Latent opinions transfer network for target-oriented opinion words extraction. In: Proc. of the 34th Association for the Advancement of Artificial Intelligence. 2020, 34(5): 9298-9305.