工程监理领域文本大模型预训练数据集

数据采用UTF-8编码的JSONL格式存储，每行一条语料记录。每条记录包含八个字段：doc_id（语料唯一标识）、data_class（语料类型，对应原始数据分类）、tokens（Token数量）、language（语种，zh/en）、text（清洗后的语料正文）、origin_path（语料原始文件路径）、md_path（Markdown中间文件路径）、sentence_num（句子数量）。

搜集汇总

背景与挑战

背景概述

工程监理领域文本大模型预训练数据集采用UTF-8编码的JSONL格式存储，每行一条语料记录，包含语料唯一标识、语料类型、Token数量、语种、清洗后的语料正文、原始文件路径、Markdown中间文件路径及句子数量八个字段，语种涵盖中文和英文。该数据集属于数据加工集合类型，申请人为上海建科咨询集团股份有限公司，并在上海市数据产品知识产权登记管理系统予以公示。