toilaluan/sanitize_vl

--- dataset_info: - config_name: train-ocr features: - name: images list: image - name: texts list: - name: user dtype: string - name: assistant dtype: string - name: source dtype: string - name: visual_dependency_ratings list: int64 - name: visual_dependency_min dtype: int64 - name: formatting_ratings list: int64 - name: formatting_min dtype: int64 - name: image_correspondence_ratings list: int64 - name: image_correspondence_min dtype: int64 - name: relevance_ratings list: int64 - name: relevance_min dtype: int64 splits: - name: train num_bytes: 7861047853 num_examples: 16041 download_size: 7864497675 dataset_size: 7861047853 - config_name: train-qa features: - name: images list: image - name: texts list: - name: user dtype: string - name: assistant dtype: string - name: source dtype: string - name: relevance_ratings list: int64 - name: relevance_min dtype: int64 - name: visual_dependency_ratings list: int64 - name: visual_dependency_min dtype: int64 - name: image_correspondence_ratings list: int64 - name: image_correspondence_min dtype: int64 - name: formatting_ratings list: int64 - name: formatting_min dtype: int64 splits: - name: train num_bytes: 2376717390 num_examples: 46159 download_size: 2392726650 dataset_size: 2376717390 - config_name: val-ocr features: - name: images list: image - name: texts list: - name: user dtype: string - name: assistant dtype: string - name: source dtype: string - name: visual_dependency_ratings list: int64 - name: visual_dependency_min dtype: int64 - name: formatting_ratings list: int64 - name: formatting_min dtype: int64 - name: image_correspondence_ratings list: int64 - name: image_correspondence_min dtype: int64 - name: relevance_ratings list: int64 - name: relevance_min dtype: int64 splits: - name: train num_bytes: 62727125 num_examples: 128 download_size: 65401902 dataset_size: 62727125 - config_name: val-qa features: - name: images list: image - name: texts list: - name: user dtype: string - name: assistant dtype: string - name: source dtype: string - name: relevance_ratings list: int64 - name: relevance_min dtype: int64 - name: visual_dependency_ratings list: int64 - name: visual_dependency_min dtype: int64 - name: image_correspondence_ratings list: int64 - name: image_correspondence_min dtype: int64 - name: formatting_ratings list: int64 - name: formatting_min dtype: int64 splits: - name: train num_bytes: 6590536 num_examples: 128 download_size: 6742838 dataset_size: 6590536 configs: - config_name: train-ocr data_files: - split: train path: train-ocr/train-* - config_name: train-qa data_files: - split: train path: train-qa/train-* - config_name: val-ocr data_files: - split: train path: val-ocr/train-* - config_name: val-qa data_files: - split: train path: val-qa/train-* ---数据集信息： - 配置名称：train-ocr 特征： - 字段名：images，类型：图像（image）列表 - 字段名：texts，类型：列表结构，包含子字段： - 子字段名：user，数据类型：字符串（string） - 子字段名：assistant，数据类型：字符串（string） - 字段名：source，数据类型：字符串（string） - 字段名：视觉依赖评分（visual_dependency_ratings），类型：64位整数（int64）列表 - 字段名：视觉依赖最低分（visual_dependency_min），数据类型：64位整数（int64） - 字段名：格式评分（formatting_ratings），类型：64位整数（int64）列表 - 字段名：格式最低分（formatting_min），数据类型：64位整数（int64） - 字段名：图像对应评分（image_correspondence_ratings），类型：64位整数（int64）列表 - 字段名：图像对应最低分（image_correspondence_min），数据类型：64位整数（int64） - 字段名：相关性评分（relevance_ratings），类型：64位整数（int64）列表 - 字段名：相关性最低分（relevance_min），数据类型：64位整数（int64） 数据集划分： - 划分名称：train，字节数：7861047853，样本数量：16041 下载大小：7864497675，数据集总大小：7861047853 - 配置名称：train-qa 特征： - 字段名：images，类型：图像（image）列表 - 字段名：texts，类型：列表结构，包含子字段： - 子字段名：user，数据类型：字符串（string） - 子字段名：assistant，数据类型：字符串（string） - 字段名：source，数据类型：字符串（string） - 字段名：相关性评分（relevance_ratings），类型：64位整数（int64）列表 - 字段名：相关性最低分（relevance_min），数据类型：64位整数（int64） - 字段名：视觉依赖评分（visual_dependency_ratings），类型：64位整数（int64）列表 - 字段名：视觉依赖最低分（visual_dependency_min），数据类型：64位整数（int64） - 字段名：图像对应评分（image_correspondence_ratings），类型：64位整数（int64）列表 - 字段名：图像对应最低分（image_correspondence_min），数据类型：64位整数（int64） - 字段名：格式评分（formatting_ratings），类型：64位整数（int64）列表 - 字段名：格式最低分（formatting_min），数据类型：64位整数（int64） 数据集划分： - 划分名称：train，字节数：2376717390，样本数量：46159 下载大小：2392726650，数据集总大小：2376717390 - 配置名称：val-ocr 特征： - 字段名：images，类型：图像（image）列表 - 字段名：texts，类型：列表结构，包含子字段： - 子字段名：user，数据类型：字符串（string） - 子字段名：assistant，数据类型：字符串（string） - 字段名：source，数据类型：字符串（string） - 字段名：视觉依赖评分（visual_dependency_ratings），类型：64位整数（int64）列表 - 字段名：视觉依赖最低分（visual_dependency_min），数据类型：64位整数（int64） - 字段名：格式评分（formatting_ratings），类型：64位整数（int64）列表 - 字段名：格式最低分（formatting_min），数据类型：64位整数（int64） - 字段名：图像对应评分（image_correspondence_ratings），类型：64位整数（int64）列表 - 字段名：图像对应最低分（image_correspondence_min），数据类型：64位整数（int64） - 字段名：相关性评分（relevance_ratings），类型：64位整数（int64）列表 - 字段名：相关性最低分（relevance_min），数据类型：64位整数（int64） 数据集划分： - 划分名称：train，字节数：62727125，样本数量：128 下载大小：65401902，数据集总大小：62727125 - 配置名称：val-qa 特征： - 字段名：images，类型：图像（image）列表 - 字段名：texts，类型：列表结构，包含子字段： - 子字段名：user，数据类型：字符串（string） - 子字段名：assistant，数据类型：字符串（string） - 字段名：source，数据类型：字符串（string） - 字段名：相关性评分（relevance_ratings），类型：64位整数（int64）列表 - 字段名：相关性最低分（relevance_min），数据类型：64位整数（int64） - 字段名：视觉依赖评分（visual_dependency_ratings），类型：64位整数（int64）列表 - 字段名：视觉依赖最低分（visual_dependency_min），数据类型：64位整数（int64） - 字段名：图像对应评分（image_correspondence_ratings），类型：64位整数（int64）列表 - 字段名：图像对应最低分（image_correspondence_min），数据类型：64位整数（int64） - 字段名：格式评分（formatting_ratings），类型：64位整数（int64）列表 - 字段名：格式最低分（formatting_min），数据类型：64位整数（int64） 数据集划分： - 划分名称：train，字节数：6590536，样本数量：128 下载大小：6742838，数据集总大小：6590536 配置项： - 配置名称：train-ocr，数据文件： - 划分：train，路径：train-ocr/train-* - 配置名称：train-qa，数据文件： - 划分：train，路径：train-qa/train-* - 配置名称：val-ocr，数据文件： - 划分：train，路径：val-ocr/train-* - 配置名称：val-qa，数据文件： - 划分：train，路径：val-qa/train-*