Fourteen-channel EEG with Imagined Speech (FEIS) dataset

><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><>

Welcome to the FEIS (Fourteen-channel EEG with Imagined Speech) dataset.

<>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <><

The FEIS dataset comprises Emotiv EPOC+ [1] EEG recordings of:

* 21 participants listening to, imagining speaking, and then actually speaking
16 English phonemes (see supplementary, below)

* 2 participants listening to, imagining speaking, and then actually speaking
16 Chinese syllables (see supplementary, below)

For replicability and for the benefit of further research, this dataset
includes the complete experiment set-up, including participants' recorded
audio and 'flashcard' screens for audio-visual prompts, Lua script and .mxs
scenario for the OpenVibe [2] environment, as well as all Python scripts
for the preparation and processing of data as used in the supporting
studies (submitted in support of completion of the MSc Speech and Language
Processing with the University of Edinburgh):

* J. Clayton, "Towards phone classification from imagined speech using
a lightweight EEG brain-computer interface," M.Sc. dissertation,
University of Edinburgh, Edinburgh, UK, 2019.

* S. Wellington, "An investigation into the possibilities and limitations
of decoding heard, imagined and spoken phonemes using a low-density,
mobile EEG headset," M.Sc. dissertation, University of Edinburgh,
Edinburgh, UK, 2019.

Each participant's data comprise 5 .csv files -- these are the 'raw'
(unprocessed) EEG recordings for the 'stimuli', 'articulators' (see
supplementary, below) 'thinking', 'speaking' and 'resting' phases per epoch
for each trial -- alongside a 'full' .csv file with the end-to-end
experiment recording (for the benefit of calculating deltas).

To guard against software deprecation or inaccessability, the full repository
of open-source software used in the above studies is also included.

We hope for the FEIS dataset to be of some utility for future researchers,
due to the sparsity of similar open-access databases. As such, this dataset
is made freely available for all academic and research purposes (non-profit).

><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><>

REFERENCING

<>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <><

If you use the FEIS dataset, please reference:

* S. Wellington, J. Clayton, "Fourteen-channel EEG with Imagined Speech
(FEIS) dataset," v1.0, University of Edinburgh, Edinburgh, UK, 2019.
doi:10.5281/zenodo.3369178

><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><>

LEGAL

<>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <><

The research supporting the distribution of this dataset has been approved by
the PPLS Research Ethics Committee, School of Philosophy, Psychology and
Language Sciences, University of Edinburgh (reference number: 435-1819/2).

This dataset is made available under the Open Data Commons Attribution License
(ODC-BY): http://opendatacommons.org/licenses/by/1.0

><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><>

ACKNOWLEDGEMENTS

<>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <><

The FEIS database was compiled by:

Scott Wellington (MSc Speech and Language Processing, University of Edinburgh)
Jonathan Clayton (MSc Speech and Language Processing, University of Edinburgh)

Principal Investigators:

Oliver Watts (Senior Researcher, CSTR, University of Edinburgh)
Cassia Valentini-Botinhao (Senior Researcher, CSTR, University of Edinburgh)

<>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <><

METADATA

><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><>

For participants, dataset refs 01 to 21:

01 - NNS
02 - NNS
03 - NNS, Left-handed
04 - E
05 - E, Voice heard as part of 'stimuli' portions of trials belongs to
particpant 04, due to microphone becoming damaged and unusable prior to
recording
06 - E
07 - E
08 - E, Ambidextrous
09 - NNS, Left-handed
10 - E
11 - NNS
12 - NNS, Only sessions one and two recorded (out of three total), as
particpant had to leave the recording session early
13 - E
14 - NNS
15 - NNS
16 - NNS
17 - E
18 - NNS
19 - E
20 - E
21 - E

E = native speaker of English
NNS = non-native speaker of English (>= C1 level)

For participants, dataset refs chinese-1 and chinese-2:

chinese-1 - C
chinese-2 - C, Voice heard as part of 'stimuli' portions of trials belongs to
participant chinese-1

C = native speaker of Chinese

<>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <><

SUPPLEMENTARY

><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><>

Under the international 10-20 system, the Emotiv EPOC+ headset 14 channels:

F3 FC5 AF3 F7 T7 P7 O1 O2 P8 T8 F8 AF4 FC6 F4

The 16 English phonemes investigated in dataset refs 01 to 21:

/i/ /u:/ /æ/ /ɔ:/ /m/ /n/ /ŋ/ /f/ /s/ /ʃ/ /v/ /z/ /ʒ/ /p /t/ /k/

The 16 Chinese syllables investigated in dataset refs chinese-1 and chinese-2:

mā má mǎ mà mēng méng měng mèng duō duó duǒ duò tuī tuí tuǐ tuì

All references to 'articulators' (e.g. as part of filenames) refer to the
1-second 'fixation point' portion of trials. The name is a layover from
preliminary trials which were modelled on the KARA ONE database
(http://www.cs.toronto.edu/~complingweb/data/karaOne/karaOne.html) [3].

<>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <>< <><
><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><> ><>

[1] Emotiv EPOC+. https://emotiv.com/epoc. Accessed online 14/08/2019.

[2] Y. Renard, F. Lotte, G. Gibert, M. Congedo, E. Maby, V. Delannoy,
O. Bertrand, A. Lécuyer. “OpenViBE: An Open-Source Software Platform
to Design, Test and Use Brain-Computer Interfaces in Real and Virtual
Environments”, Presence: teleoperators and virtual environments,
vol. 19, no 1, 2010.

[3] S. Zhao, F. Rudzicz. "Classifying phonological categories in imagined
and articulated speech." In Proceedings of ICASSP 2015, Brisbane
Australia, 2015.

欢迎使用FEIS（十四通道想象语音脑电数据集，Fourteen-channel EEG with Imagined Speech）。

FEIS数据集包含基于Emotiv EPOC+ [1] 脑电设备的脑电记录，具体包括：
* 21名参与者完成16个英语音素的聆听、想象发音及实际发音任务（详见下文补充材料）；
* 2名参与者完成16个汉语音节的聆听、想象发音及实际发音任务（详见下文补充材料）。

为保证研究可重复性并助力后续科研工作，本数据集包含完整的实验搭建信息，包括参与者的录制音频、用于视听提示的"闪卡"界面、适配OpenVibe [2] 环境的Lua脚本与.mxs场景文件，以及支持性研究中用于数据预处理与分析的全部Python脚本（相关研究为提交至爱丁堡大学言语与语言处理硕士学位的成果）：
* J. Clayton，《基于轻量级脑电脑机接口的想象语音音素分类研究》，硕士学位论文，英国爱丁堡大学，爱丁堡，2019年。
* S. Wellington，《基于低密度移动脑电头戴设备解码聆听、想象及发音音素的可能性与局限性研究》，硕士学位论文，英国爱丁堡大学，爱丁堡，2019年。

每名参与者的数据包含5个.csv文件，分别对应每个试次中"刺激阶段""发音准备阶段（articulators，详见下文补充材料）""想象阶段""实际发音阶段"与"静息阶段"的原始（未处理）脑电记录；此外还包含一个完整的.csv文件，记录了整个实验的端到端数据（用于计算增量变化）。

为防止软件过时或无法获取，本数据集还包含上述研究中使用的全部开源软件仓库。

鉴于同类开放获取数据库较为稀缺，我们期望FEIS数据集能够为未来研究者提供助力。因此，本数据集免费开放供所有学术与研究用途（非商业性质）。

---

### 引用说明
若您使用本数据集，请引用以下文献：
* S. Wellington, J. Clayton，《十四通道想象语音脑电（FEIS）数据集》，v1.0，英国爱丁堡大学，爱丁堡，2019年。DOI: 10.5281/zenodo.3369178

---

### 法律声明
本数据集的分发相关研究已获得爱丁堡大学哲学、心理学与语言科学学院（PPLS）研究伦理委员会批准（审批编号：435-1819/2）。
本数据集遵循开放数据 Commons 署名许可协议（ODC-BY）发布：http://opendatacommons.org/licenses/by/1.0

---

### 致谢
本FEIS数据库由以下人员编制：
Scott Wellington（爱丁堡大学言语与语言处理硕士研究生）
Jonathan Clayton（爱丁堡大学言语与语言处理硕士研究生）

主要研究者：
Oliver Watts（爱丁堡大学语音技术研究中心（CSTR）高级研究员）
Cassia Valentini-Botinhao（爱丁堡大学语音技术研究中心（CSTR）高级研究员）

---

### 元数据
对于数据集编号01至21的参与者：
01 - 非英语母语者（NNS）
02 - 非英语母语者（NNS）
03 - 非英语母语者（NNS），左利手
04 - 英语母语者（E）
05 - 英语母语者（E），由于录音前麦克风损坏无法使用，试次"刺激"部分的播报语音来自参与者04
06 - 英语母语者（E）
07 - 英语母语者（E）
08 - 英语母语者（E），双利手
09 - 非英语母语者（NNS），左利手
10 - 英语母语者（E）
11 - 非英语母语者（NNS）
12 - 非英语母语者（NNS），仅完成了第1、2次录音场次，因参与者提前终止了全部三次录音场次
13 - 英语母语者（E）
14 - 非英语母语者（NNS）
15 - 非英语母语者（NNS）
16 - 非英语母语者（NNS）
17 - 英语母语者（E）
18 - 非英语母语者（NNS）
19 - 英语母语者（E）
20 - 英语母语者（E）
21 - 英语母语者（E）

其中：E=英语母语者，NNS=非英语母语者（英语水平≥C1级）

对于数据集编号chinese-1与chinese-2的参与者：
chinese-1 - 汉语母语者（C）
chinese-2 - 汉语母语者（C），试次"刺激"部分的播报语音来自参与者chinese-1

其中：C=汉语母语者

---

### 补充材料
根据国际10-20系统，Emotiv EPOC+头戴设备的14个通道位置为：
F3、FC5、AF3、F7、T7、P7、O1、O2、P8、T8、F8、AF4、FC6、F4

针对数据集编号01至21的16个英语音素：
/i/、/u:/、/æ/、/ɔ:/、/m/、/n/、/ŋ/、/f/、/s/、/ʃ/、/v/、/z/、/ʒ/、/p/、/t/、/k/

针对数据集编号chinese-1与chinese-2的16个汉语音节：
mā、má、mǎ、mà、mēng、méng、měng、mèng、duō、duó、duǒ、duò、tuī、tuí、tuǐ、tuì

所有提及"articulators"（例如文件名中）的内容均指试次中时长为1秒的"固定点"阶段。该名称源自基于KARA ONE数据库（http://www.cs.toronto.edu/~complingweb/data/karaOne/karaOne.html）[3] 设计的预实验。

---

### 参考文献
[1] Emotiv EPOC+. https://emotiv.com/epoc. 2019年8月14日在线访问。
[2] Y. Renard, F. Lotte, G. Gibert, M. Congedo, E. Maby, V. Delannoy, O. Bertrand, A. Lécuyer. 《OpenViBE：一款用于在真实与虚拟环境中设计、测试与使用脑机接口的开源软件平台》，《存在：远程操作与虚拟环境》，第19卷，第1期，2010年。
[3] S. Zhao, F. Rudzicz. 《想象语音与发音语音的音系类别分类》，收录于2015年国际声学、语音与信号处理会议（ICASSP 2015）论文集，澳大利亚布里斯班，2015年。