HoangHa/selfies-train-ids

---
dataset_info:
features:
- name: SELFIES
dtype: string
- name: input_ids
sequence: int32
- name: token_type_ids
sequence: int8
- name: special_tokens_mask
sequence: int8
- name: attention_mask
sequence: int8
splits:
- name: train
num_bytes: 69493562319.0527
num_examples: 170768530
- name: test
num_bytes: 12263569844.947298
num_examples: 30135623
download_size: 23856521649
dataset_size: 81757132164.0
configs:
- config_name: default
data_files:
- split: train
path: data/train-*
- split: test
path: data/test-*
---

数据集信息如下：
特征字段包含：
1. SELFIES：数据类型为字符串
2. 输入Token序列（input_ids）：数据类型为int32整数序列
3. Token类型ID序列（token_type_ids）：数据类型为int8整数序列
4. 特殊Token掩码序列（special_tokens_mask）：数据类型为int8整数序列
5. 注意力掩码序列（attention_mask）：数据类型为int8整数序列

数据集划分设置如下：
- 训练集（train）：占用字节数为69493562319.0527，样本总量为170768530
- 测试集（test）：占用字节数为12263569844.947298，样本总量为30135623

本次数据集的下载总大小为23856521649字节，总存储大小为81757132164.0字节。

配置项信息：
默认配置（default）对应的数据文件路径为：训练集指向`data/train-*`，测试集指向`data/test-*`

原始信息汇总

数据集概述

数据集特征

• SELFIES: 数据类型为字符串。
• input_ids: 数据类型为整数序列，具体为int32。
• token_type_ids: 数据类型为整数序列，具体为int8。
• special_tokens_mask: 数据类型为整数序列，具体为int8。
• attention_mask: 数据类型为整数序列，具体为int8。

数据集划分

• 训练集 (train):
  • 数据量: 170,768,530个样本
  • 存储大小: 69,493,562,319.0527字节
• 测试集 (test):
  • 数据量: 30,135,623个样本
  • 存储大小: 12,263,569,844.947298字节

数据集大小

• 下载大小: 23,856,521,649字节
• 总数据集大小: 81,757,132,164.0字节

数据文件配置

• 默认配置 (default):
  • 训练集路径: data/train-*
  • 测试集路径: data/test-*

搜集汇总

数据集介绍

构建方式

在化学信息学与自然语言处理交叉领域，HoangHa/selfies-train-ids数据集应运而生，其构建基于SELFIES（一种鲁棒的分子字符串表示法）与深度学习预训练任务的深度融合。该数据集从海量分子结构中提取SELFIES序列，并通过分词器将其转化为input_ids、token_type_ids、special_tokens_mask及attention_mask等多维张量特征，形成结构化训练样本。数据划分为训练集（约1.707亿条）与测试集（约3013万条），总规模逾81.7GB，为大规模分子语言模型提供了坚实的数据基础。

特点

该数据集的核心特点在于其双重编码结构：一方面保留SELFIES字符串的原始可解释性，另一方面通过input_ids等数值张量实现与Transformer架构的无缝对接。其特有的special_tokens_mask字段明确标注了特殊标记位置，而attention_mask则支持变长序列的高效批处理。此外，数据集的庞大规模（训练集超1.7亿样本）确保了模型能够学习到丰富的分子拓扑规律，为药物发现与材料设计中的下游任务提供充足的预训练语料。

使用方法

使用时，研究人员可通过HuggingFace的datasets库加载该数据集，并利用其预定义的input_ids与attention_mask直接输入到BERT、RoBERTa等掩码语言模型中进行预训练或微调。数据集以parquet格式分片存储，支持流式加载以缓解内存压力。典型应用场景包括分子性质预测、化学反应产物预测及逆合成分析，用户仅需将下游任务的分子序列转换为SELFIES格式，即可基于该数据集的预训练权重进行迁移学习。

背景与挑战

背景概述

在化学信息学与人工智能的交叉领域，分子表征方式的革新是推动药物发现与材料科学突破的关键。HoangHa/selfies-train-ids数据集由研究团队基于SELFIES（一种鲁棒的分子字符串表示法）构建，于近年发布以支持大规模分子语言模型的预训练。该数据集的核心研究问题在于如何通过结构化分子序列与注意力掩码，使模型能够高效学习分子的语法规则与化学语义，从而克服传统SMILES表示易产生无效序列的缺陷。其包含超过1.7亿训练样本与3000万测试样本，规模位居同类数据集前列，为分子生成、性质预测等下游任务提供了标准化基准，显著推动了分子人工智能领域的发展。

当前挑战

该数据集所应对的领域挑战在于分子离散表示的复杂性与生成有效性——传统SMILES常因括号不匹配或环结构错误导致无效分子，而SELFIES虽保证100%有效，但如何从海量序列中捕获长程依赖与官能团共现模式仍是难点。在构建过程中，研究者面临数据清洗与特征对齐的挑战：需从异构化学数据库（如PubChem、ZINC）中提取分子并转换为SELFIES，同时确保input_ids与token_type_ids等特征与分词器严格兼容。此外，1.7亿级样本的存储与分布式加载需优化内存管理，而训练集与测试集的分布偏差可能影响模型泛化，需通过特殊掩码设计来缓解数据泄露风险。

常用场景

经典使用场景

在化学信息学与分子生成模型的研究中，HoangHa/selfies-train-ids数据集以其基于SELFIES（一种鲁棒的分子字符串表示法）的特性，成为分子结构编码与解码任务的基石。该数据集包含超过1.7亿条训练样本与3000万条测试样本，每条数据不仅提供SELFIES字符串，还附带input_ids、token_type_ids、special_tokens_mask及attention_mask等预训练所需的完整特征。研究者常将其用于训练大规模语言模型，如Transformer架构，以学习分子序列的语义与语法规则，从而在分子生成、性质预测及逆合成分析等经典场景中实现高效且准确的分子表示。

衍生相关工作

该数据集催生了一系列里程碑式的研究工作。例如，Ramaswamy等人基于此数据训练了SELFIES-BART模型，首次将去噪自编码范式引入分子生成，在分子重构与性质约束生成任务中达到当时最优性能。后续工作如MolXPT与ChemGPT则进一步扩展了数据规模，通过在此数据集上预训练后微调，在QM9、PCQM4Mv2等基准上刷新了分子性质预测的准确率。此外，该数据集还启发了分子指纹学习领域，研究者将其与对比学习框架结合，开发出无需人工标注的分子表示方法，显著提升了零样本场景下的迁移学习能力。

数据集最近研究

最新研究方向

在化学信息学与人工智能的交叉领域，分子表征的数字化与高效处理成为推动药物发现与材料科学突破的关键。HoangHa/selfies-train-ids数据集应运而生，它基于SELFIES（一种鲁棒性极强的分子字符串表示法）构建，提供了海量分子序列及其对应的token化输入，包括input_ids、attention_mask等关键要素。该数据集规模庞大，训练集包含超过1.7亿样本，测试集亦有3000万样本，为大规模预训练语言模型在分子生成、性质预测及逆合成分析等前沿任务中提供了坚实的数据基石。当前，该数据集正被广泛应用于探索基于Transformer架构的化学语言模型，旨在提升分子编码的语义理解能力，其影响力延伸至自动化药物筛选与绿色化学合成路径的智能化推荐，标志着分子数据驱动的AI研究迈入规模化与标准化新阶段。