cw1521/nl-st

该数据集可用于翻译或标记分类任务。它有两个版本：nl-st包含超过120万条记录，nl-st-lg包含超过980万条记录。每条记录包含6个特征：自然语言句子（描述状态的英语句子）、状态信息（由感知值对组成的字符串）、NER标签（句子中每个标记的NER标签列表）、NER句子（由NER标签连接而成的字符串）、NER ID（与NER标签对应的ID）和分词（句子分词后的标记列表）。此外，数据集还提供了NER ID到NER标签的映射以及NER标签到NER ID的映射。

原始信息汇总

Natural Language to State Translation Dataset 概述

数据集版本与大小

• 版本1 (nl-st): 包含超过1.2百万条记录。
• 版本2 (nl-st-lg): 包含超过9.8百万条记录。

记录特征

每条记录包含以下6个特征：

• sentence (字符串) - 描述状态的自然语言（英语）句子。
• state (字符串) - 包含感知值对的状态信息，存储为字符串形式。
• ner_tags (字符串列表) - 句子中每个词的命名实体识别标签，存储为列表。
• ner_sentence (字符串) - 连接在一起的命名实体识别标签，代表整个句子。
• ner_ids (浮点数列表) - 对应于ner_tags的ID。
• tokens (字符串列表) - 句子分割成的每个词，对应于ner_ids和ner_tags。

命名实体识别映射

NER ID 到 NER Tag 映射

ner_id_map = { 0: "O", 1: "L-DEMO", 2: "L-BA", 3: "V-BA", 4: "L-GROUND", 5: "L-BALL", 6: "L-SPEED", 7: "V-SPEED", 8: "L-DIR", 9: "V-DIR", 10: "L-BRAKE", 11: "L-STEER", 12: "V-STEER", 13: "L-THROTTLE", 14: "V-THROTTLE", 15: "L-BOOST", 16: "L-POS" }

NER Tag 到 NER ID 映射

ner_tag_map = { "O": 0, "L-DEMO": 1, "L-BA": 2, "V-BA": 3, "L-GROUND": 4, "L-BALL": 5, "L-SPEED": 6, "V-SPEED": 7, "L-DIR": 8, "V-DIR": 9, "L-BRAKE": 10, "L-STEER": 11, "V-STEER": 12, "L-THROTTLE": 13, "V-THROTTLE": 14, "L-BOOST": 15, "L-POS": 16 }

搜集汇总

数据集介绍

构建方式

在自然语言处理与机器人控制交叉领域中，将非结构化语言指令转化为结构化状态表示是一项关键挑战。cw1521/nl-st数据集正是为此而生，其构建方式基于对自然语言描述与对应状态信息的配对采集。该数据集包含两个版本：'nl-st'拥有超过120万条记录，而'nl-st-lg'则包含超过980万条记录。每条记录由六个特征构成：自然语言句子（sentence）、以字符串形式存储的感知-值对状态信息（state）、句子中每个令牌的命名实体识别标签（ner_tags）、NER标签连接而成的字符串（ner_sentence）、对应NER标签的ID序列（ner_ids）以及句子分割后的令牌列表（tokens）。这种结构化的构建方式确保了语言描述与状态表示之间的精确映射。

特点

该数据集的核心特点在于其双重任务适用性，既可服务于翻译任务，也可用于令牌分类任务。其丰富的NER标签体系涵盖了17个类别，包括'L-DEMO'、'V-SPEED'、'L-BALL'等与机器人控制相关的语义标签，能够细致刻画语言指令中的实体与动作。此外，数据集提供了NER ID与NER标签之间的双向映射表，便于研究者灵活转换。大规模的数据量（百万级记录）为训练深度学习模型提供了坚实基础，而两个版本的选择则为不同计算资源需求的研究者提供了灵活性。

使用方法

使用该数据集时，研究者可根据任务需求选择相应版本。对于翻译任务，可直接利用'sentence'与'state'字段进行序列到序列的模型训练。对于令牌分类任务，则需使用'tokens'、'ner_tags'和'ner_ids'字段，通过预定义的NER映射表对每个令牌进行标签预测。数据加载可通过HuggingFace的datasets库轻松实现，并支持自定义划分训练集与测试集。建议在使用前先进行数据预处理，如令牌对齐和标签编码，以适配不同模型架构。

背景与挑战

背景概述

自然语言到状态翻译（Natural Language to State Translation）数据集由研究团队cw1521构建，旨在弥合人类语言指令与机器可执行状态表示之间的鸿沟。该数据集发布于2023年，核心研究问题聚焦于如何将非结构化的自然语言描述精准映射为结构化的感知-值对状态信息，从而推动机器人控制、自动驾驶及智能交互系统中的语义理解与决策执行。数据集包含两个规模版本：nl-st（120万条记录）与nl-st-lg（980万条记录），每条记录涵盖句子、状态、命名实体识别（NER）标签等多维特征。通过引入细粒度的NER标签体系（如L-SPEED、V-STEER等），该数据集为翻译与序列标注任务提供了丰富的训练资源，对自然语言理解与智能体控制领域的交叉研究产生了重要影响。

当前挑战

该数据集所解决的领域问题在于自然语言指令的歧义性与状态表示的精确性之间的矛盾。例如，同一句“快速前进”可能对应不同的速度与方向组合，模型需从上下文中推断正确映射。构建过程中面临两大挑战：一是数据标注的复杂性，需将英文句子逐词标注为16类NER标签（如L-DIR代表方向标签、V-THROTTLE代表油门值标签），确保标签与状态字段的一致性；二是规模扩展的平衡，在从120万条扩展至980万条记录时，需维持标签分布的均匀性与领域覆盖的全面性，避免因数据膨胀引入噪声或偏置。此外，状态字段的字符串化存储格式增加了模型解析的难度，要求算法具备从非结构化文本中提取结构化信息的鲁棒能力。

常用场景

经典使用场景

Natural Language to State Translation (nl-st) 数据集最经典的使用场景在于构建从自然语言指令到结构化状态描述的翻译模型。该数据集蕴含超过120万条记录，每条记录包含自然语言句子及其对应的感知-数值对形式的状态表示，并辅以细粒度的命名实体识别标签。研究者可借助此数据集训练序列到序列模型，将诸如“将速度提升至50”之类的非结构化语言精准映射为“(speed 50)”的形式化状态，从而弥合人类语言与机器可解析符号之间的鸿沟。

衍生相关工作

基于nl-st数据集，学术界衍生了一系列富有影响力的工作。其中，研究者提出了融合注意力机制的Transformer模型用于语言到状态的翻译，显著提升了长句与复杂场景下的解析精度。此外，有工作探索了基于对比学习的预训练策略，利用数据集中丰富的NER标签增强模型对领域实体的敏感度。还有研究将状态翻译任务与对话系统结合，构建了能够持续从交互中学习状态更新的动态语义解析框架，进一步拓展了该数据集的学术价值与应用边界。

数据集最近研究

最新研究方向

当前，自然语言到状态转换（NL-ST）数据集在具身智能与机器人控制领域展现出前沿研究价值。该数据集通过将自然语言指令映射为包含感知-值对的状态表示，并引入细粒度命名实体识别标签（如L-SPEED、V-STEER等），为多模态语义解析与自主决策系统的构建提供了关键支撑。结合大语言模型与强化学习的交叉热点，研究者正利用该数据集探索语言驱动的动态环境交互，例如在自动驾驶、无人机编队及服务机器人场景中，通过解析“加速左转并降低油门”等复杂指令实现精准控制。其超过120万条的大规模记录，显著提升了模型对动作参数（如方向、速度、刹车）的泛化能力，推动了从符号接地到行为生成的端到端学习范式发展，对实现人机协同的智能系统具有里程碑意义。