marin-community/synth-delimiter-format-ppl

该数据集是一个用于评估或训练自然语言处理模型在处理结构化文本数据方面能力的基准数据集，包含多个任务配置。具体任务包括：对齐空格列（处理文本中对齐的列数据）、CSV下一个字段（预测CSV文件中的下一个字段）、固定宽度行（处理固定宽度的文本行）、Markdown表格行（处理Markdown格式的表格）、管道分隔行（处理管道分隔的文本行）、Python缩进或Makefile制表符（处理代码缩进或Makefile中的制表符）、稀有控制分隔符（处理稀有控制字符作为分隔符的情况）以及TSV下一个字段（预测TSV文件中的下一个字段）。每个任务配置都包含输入文本（input）和目标文本（target），并附带元数据（metadata）以提供任务特定信息，如分隔符、列宽等。数据集仅包含验证集（validation），每个任务有1000个样本，适用于模型性能测试和微调。

This dataset is a benchmark for evaluating or training natural language processing models on structured text data handling, comprising multiple task configurations. Specific tasks include: aligned space columns (handling aligned column data in text), CSV next field (predicting the next field in CSV files), fixed width rows (processing fixed-width text rows), Markdown table rows (handling Markdown-formatted tables), pipe rows (processing pipe-delimited text rows), Python indentation or Makefile tabs (handling code indentation or tabs in Makefiles), rare control delimiters (dealing with rare control characters as delimiters), and TSV next field (predicting the next field in TSV files). Each task configuration includes input text (input) and target text (target), along with metadata (metadata) providing task-specific information such as delimiters, column widths, etc. The dataset only contains a validation split, with 1000 examples per task, suitable for model performance testing and fine-tuning.