NEUDM/mams

> 上述数据集为ABSA(Aspect-Based Sentiment Analysis)领域数据集，基本形式为从句子中抽取：方面术语、方面类别(术语类别)、术语在上下文中情感极性以及针对该术语的观点词，不同数据集抽取不同的信息，这点在jsonl文件的“instruction”键中有分别提到，在此我将其改造为了生成任务，需要模型按照一定格式生成抽取结果。

#### 以acos数据集中抽取的jsonl文件一条数据举例：

```
{
"task_type": "generation",
"dataset": "acos",
"input": ["the computer has difficulty switching between tablet and computer ."],
"output": "[['computer', 'laptop usability', 'negative', 'difficulty']]",
"situation": "none",
"label": "",
"extra": "",
"instruction": "
Task: Extracting aspect terms and their corresponding aspect categories, sentiment polarities, and opinion words.
Input: A sentence
Output: A list of 4-tuples, where each tuple contains the extracted aspect term, its aspect category, sentiment polarity, and opinion words (if any). Supplement: \"Null\" means that there is no occurrence in the sentence.
Example:
Sentence: \"Also it's not a true SSD drive in there but eMMC, which makes a difference.\"
Output: [['SSD drive', 'hard_disc operation_performance', 'negative', 'NULL']]'
"
}
```
> 此处未设置label和extra，在instruction中以如上所示的字符串模板，并给出一个例子进行one-shot，ABSA领域数据集(absa-quad,acos,arts,aste-data-v2,mams,semeval-2014,semeval-2015,semeval-2016,towe)每个数据集对应instruction模板相同，内容有细微不同，且部分数据集存在同一数据集不同数据instruction内容不同的情况。

#### 原始数据集
- 数据[链接](https://github.com/siat-nlp/MAMS-for-ABSA)
- Paper：[A Challenge Dataset and Effective Models for Aspect-Based Sentiment Analysis](https://aclanthology.org/D19-1654.pdf)
- 说明：原始数据由MAMS-ACSA和MAMS-ATSA组成，两部分数据集为不同任务，抽取不同元素。

#### 当前SOTA
*数据来自[PaperWithCode](https://paperswithcode.com/sota/aspect-based-sentiment-analysis-on-mams)*

- 评价指标：Accuracy 、 Macro-F1
- 模型：RGAT+ (Accuracy: **84.52** , Macro-F1: **83.74**)
- Paper：[Investigating Typed Syntactic Dependencies for Targeted Sentiment Classification Using Graph Attention Neural Network](https://paperswithcode.com/paper/exploiting-typed-syntactic-dependencies-for)

上述数据集属于基于方面的情感分析（Aspect-Based Sentiment Analysis，ABSA）领域，其核心任务为从句子中抽取方面术语、方面类别（术语类别）、该术语在上下文语境中的情感极性，以及针对该术语的观点词。不同数据集的抽取目标存在差异，该差异在jsonl文件的"instruction"字段中均有明确说明。本次工作将此类任务改造为生成式任务，要求模型按照指定格式输出抽取结果。

#### 示例说明
以acos数据集的jsonl文件单条数据为例：
json
{
"task_type": "生成式",
"dataset": "acos",
"input": ["该电脑在平板模式与电脑模式之间切换存在困难。"],
"output": "[["电脑", "笔记本电脑使用性能", "负面", "困难"]]",
"situation": "无",
"label": "",
"extra": "",
"instruction": "
任务：抽取方面术语及其对应的方面类别、情感极性与观点词。
输入：单句文本
输出：四元组列表，每个四元组依次包含抽取得到的方面术语、对应方面类别、情感极性与观点词（若存在）。补充说明："Null"表示该元素在句中未出现。
示例：
例句："此外，该设备搭载的并非真正的固态硬盘（SSD），而是eMMC存储，这会对使用体验产生影响。"
输出：[["固态硬盘（SSD）", "硬盘操作性能", "负面", "NULL"]]'
"
}

本次示例未设置label与extra字段，instruction采用上述字符串模板，并附带单样本（one-shot）示例进行说明。ABSA领域数据集（包括absa-quad、acos、arts、aste-data-v2、mams、semeval-2014、semeval-2015、semeval-2016、towe）的instruction模板框架一致，但具体内容存在细微差异，部分数据集甚至存在单数据集内不同样本的instruction内容不一致的情况。

#### 原始数据集
- 数据链接：[https://github.com/siat-nlp/MAMS-for-ABSA](https://github.com/siat-nlp/MAMS-for-ABSA)
- 相关论文：[《面向基于方面的情感分析的挑战数据集与高效模型》](https://aclanthology.org/D19-1654.pdf)
- 数据集说明：原始数据集包含MAMS-ACSA与MAMS-ATSA两个子任务模块，二者属于不同的情感分析任务，抽取的元素也存在差异。

#### 当前最优性能（State-of-the-art，SOTA）
*数据来源：[PaperWithCode](https://paperswithcode.com/sota/aspect-based-sentiment-analysis-on-mams)*
- 评价指标：准确率（Accuracy）、宏平均F1值（Macro-F1）
- 最优模型：RGAT+（准确率：**84.52**，宏平均F1值：**83.74**）
- 相关论文：[《基于图注意力神经网络的类型化句法依赖关系研究在目标情感分类中的应用》](https://paperswithcode.com/paper/exploiting-typed-syntactic-dependencies-for)

原始信息汇总

数据集概述

数据集类型

• 领域：Aspect-Based Sentiment Analysis (ABSA)
• 任务类型：Generation

数据集内容

• 数据结构：每条数据包含以下字段：
  • task_type：任务类型，固定为"generation"。
  • dataset：数据集名称，如"acos"。
  • input：输入句子。
  • output：输出结果，格式为包含四个元素的列表，分别表示方面术语、方面类别、情感极性和观点词。
  • instruction：任务说明，包括任务描述、输入输出格式及示例。

数据集特点

• 任务说明：从句子中抽取方面术语、方面类别、情感极性和观点词。
• 输出格式：每个输出为一个四元组，包含方面术语、方面类别、情感极性和观点词。
• 示例：
  • 输入句子："the computer has difficulty switching between tablet and computer ."
  • 输出：[[computer, laptop usability, negative, difficulty]]

原始数据集信息

• 来源：MAMS-for-ABSA
• 论文：A Challenge Dataset and Effective Models for Aspect-Based Sentiment Analysis
• 组成：由MAMS-ACSA和MAMS-ATSA两部分组成，分别用于不同的任务。