text_train.txt, text_test.txt, text_all.txt

用到的数据分为训练数据集`text_train.txt`和验证数据集`text_test.txt`，以及`text_train.txt`与`text_test.txt`内容简单拼接的`text_all.txt`。使用时请将这三个文件里的文本数据替换为自己的文本。

本数据集由训练数据集 `text_train.txt`、验证数据集 `text_test.txt` 以及将 `text_train.txt` 与 `text_test.txt` 内容简明拼接而成的 `text_all.txt` 组成。在使用过程中，请将三者所含文本数据替换为自备文本。

原始信息汇总

数据集概述

数据集内容

• 本数据集为浙江大学《信号与认知系统》2024春学期课程的作业3代码与数据集。
• 包含两个主要模型：CBOW模型和Skip-gram模型。

数据集文件

• CBOW模型代码文件：CBOW_V5.py
• Skip-gram模型代码文件：SKIPgram_V1.py
• 词向量文件：GloVe100维词向量
• 数据集文件：
  • 训练数据集：text_train.txt
  • 验证数据集：text_test.txt
  • 拼接数据集：text_all.txt

数据集用途

• CBOW模型用于预测以下任务：
  • 预测句子中空白处的单词：
    • "I ate a _____ for breakfast."
    • "I saw a huge _____ yesterday."
• Skip-gram模型用于预测中心词“croissant”和“cloud”的上下文。

数据集输出

• 两个模型均输出Excel表格，记录训练过程中的损失值和预测结果，以及训练总耗时。
• 同时输出使用t-SNE降为2维的词向量示意图。

搜集汇总

数据集介绍

构建方式

该数据集的构建基于浙江大学《信号与认知系统》课程的作业需求，旨在为连续词袋模型（CBOW）和跳元模型（Skip-gram）提供训练和验证数据。数据集包括训练数据集`text_train.txt`、验证数据集`text_test.txt`以及两者的简单拼接`text_all.txt`。构建过程中，特别强调了训练数据集中需包含预测任务的句子原句，以确保模型能够准确预测空白处的单词。

特点

该数据集的主要特点在于其针对特定预测任务的设计，即预测句子中空白处的单词。此外，数据集与GloVe100维词向量紧密结合，确保模型在初始化时具备高质量的词嵌入。数据集的结构简单明了，便于替换和扩展，适用于多种自然语言处理任务。

使用方法

使用该数据集时，需确保环境中已安装必要的库，如PyTorch，并将数据集文件替换为自定义文本。运行`CBOW_V5.py`或`SKIPgram_V1.py`代码，模型将基于GloVe词向量进行训练，输出包括每轮训练的平均损失值、预测结果及训练耗时。此外，代码还将生成t-SNE降维后的词向量示意图，便于直观理解词向量的分布。

背景与挑战

背景概述

本数据集由浙江大学《信号与认知系统》课程的2024春学期作业3项目提供，主要用于支持连续词袋模型（CBOW）和Skip-gram模型的训练与验证。该数据集由`text_train.txt`、`text_test.txt`和`text_all.txt`组成，其中`text_all.txt`是前两者的简单拼接。这些数据集旨在帮助学生理解和实践自然语言处理中的词向量生成技术，特别是通过GLoVe词向量进行初始化，以预测特定句子中缺失的单词。此项目不仅为学生提供了一个实践平台，也展示了词向量技术在实际应用中的潜力，尤其是在文本预测和上下文理解方面。

当前挑战

该数据集在构建和应用过程中面临多项挑战。首先，确保训练数据集`text_train.txt`包含所有必要的句子样本，以支持模型的准确预测，这是一个关键的数据准备挑战。其次，模型训练过程中需要处理大量的文本数据，这对计算资源和时间效率提出了较高要求。此外，如何有效地评估模型在验证数据集`text_test.txt`上的表现，以及如何优化模型以提高预测准确性，也是研究中的重要挑战。最后，数据集的使用需要依赖于特定的编程环境和库，如PyTorch和GLoVe词向量，这要求用户具备一定的技术背景和环境配置能力。

常用场景

经典使用场景

该数据集主要用于训练和验证连续词袋模型（CBOW）和跳字模型（Skip-gram），这两种模型是自然语言处理领域中用于词嵌入的经典算法。通过使用`text_train.txt`和`text_test.txt`数据集，模型能够学习到文本中词与词之间的语义关系，从而在给定句子中预测缺失的单词。例如，CBOW模型可以预测句子“I ate a _____ for breakfast.”中缺失的单词，而Skip-gram模型则可以预测中心词“croissant”或“cloud”的上下文。

解决学术问题

该数据集解决了自然语言处理中的词嵌入问题，特别是如何通过上下文信息来推断单词的语义。通过训练CBOW和Skip-gram模型，研究者可以深入探讨词向量的生成机制，以及这些词向量如何在不同的语言任务中表现。这不仅有助于理解语言模型的内部工作原理，还为后续的文本分类、情感分析等任务提供了基础。

衍生相关工作

基于该数据集的研究工作已经衍生出多个相关的经典研究，包括但不限于词向量的可视化分析、不同词嵌入模型的性能比较，以及在特定任务（如情感分析、命名实体识别）中的应用。此外，该数据集还激发了对更高效词嵌入算法的研究，如基于神经网络的词嵌入方法和预训练语言模型的探索，这些工作在自然语言处理领域产生了深远的影响。