shamotskyi/unsymbols-lg-sim-symbols-lgdedup

--- dataset_info: features: - name: name dtype: string - name: hash_average dtype: string - name: hash_phash dtype: string - name: hash_dhash dtype: string - name: hash_whash dtype: string - name: embeddings list: float32 - name: faiss_sim_names list: string - name: faiss_sim_dists list: float32 - name: min_faiss_dist dtype: float32 - name: min_dhash_dist dtype: int64 - name: hash_dhash_sim_names list: string - name: hash_dhash_sim_dists list: int64 splits: - name: train num_bytes: 21897722 num_examples: 9100 download_size: 21460342 dataset_size: 21897722 configs: - config_name: default data_files: - split: train path: data/train-* ---数据集信息： 特征项： - 名称：字符串类型 - 平均哈希值（hash_average）：字符串类型 - 感知哈希值（hash_phash）：字符串类型 - 差异哈希值（hash_dhash）：字符串类型 - 小波哈希值（hash_whash）：字符串类型 - 嵌入向量（embeddings）：float32类型列表 - FAISS（Facebook AI Similarity Search）相似度匹配名称列表（faiss_sim_names）：字符串类型列表 - FAISS（Facebook AI Similarity Search）相似度匹配距离列表（faiss_sim_dists）：float32类型列表 - 最小FAISS相似度距离（min_faiss_dist）：float32类型 - 最小差异哈希距离（min_dhash_dist）：int64类型 - 差异哈希相似度匹配名称列表（hash_dhash_sim_names）：字符串类型列表 - 差异哈希相似度匹配距离列表（hash_dhash_sim_dists）：int64类型列表 数据划分： - 训练集（train）： 字节占用：21897722 样本数量：9100 下载大小：21460342 数据集总大小：21897722 配置项： - 默认配置（default）： 数据文件： - 训练集（train）： 文件路径：data/train-*