Zaid/ashaar-small-proc

--- dataset_info: features: - name: poem title dtype: string - name: poem meter dtype: string - name: poem verses dtype: string - name: poem theme dtype: string - name: poem url dtype: string - name: poet name dtype: string - name: poet description dtype: string - name: poet url dtype: string - name: poet era dtype: string - name: poet location dtype: string - name: poem description list: - name: attributes struct: - name: class dtype: string - name: color dtype: string - name: dir dtype: string - name: face dtype: string - name: id dtype: string - name: lang dtype: string - name: style dtype: string - name: children list: - name: attributes struct: - name: color dtype: string - name: dir dtype: string - name: face dtype: string - name: href dtype: string - name: id dtype: string - name: lang dtype: string - name: style dtype: string - name: title dtype: string - name: value dtype: string - name: children list: - name: attributes struct: - name: class dtype: string - name: color dtype: string - name: dir dtype: string - name: face dtype: string - name: lang dtype: string - name: style dtype: string - name: children list: - name: attributes struct: - name: align dtype: string - name: face dtype: string - name: nowrap dtype: string - name: name dtype: string - name: parentAttributes struct: - name: lang dtype: string - name: style dtype: string - name: size dtype: int64 - name: text dtype: string - name: truncated dtype: bool - name: type dtype: string - name: name dtype: string - name: parentAttributes struct: - name: dir dtype: string - name: face dtype: string - name: id dtype: string - name: lang dtype: string - name: style dtype: string - name: partA dtype: string - name: size dtype: int64 - name: text dtype: string - name: truncated dtype: bool - name: type dtype: string - name: name dtype: string - name: parentAttributes struct: - name: class dtype: string - name: color dtype: string - name: dir dtype: string - name: id dtype: string - name: lang dtype: string - name: style dtype: string - name: partA dtype: string - name: partB dtype: string - name: size dtype: int64 - name: text dtype: string - name: truncated dtype: bool - name: type dtype: string - name: name dtype: string - name: parentAttributes struct: - name: dir dtype: string - name: style dtype: string - name: partA dtype: string - name: partB dtype: string - name: size dtype: int64 - name: text dtype: string - name: truncated dtype: bool - name: type dtype: string - name: poem language type dtype: string splits: - name: train num_bytes: 31435320 num_examples: 10000 download_size: 0 dataset_size: 31435320 --- # Dataset Card for "ashaar-small-proc" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)数据集信息： 特征字段： - 诗名（poem title）：数据类型为字符串（string） - 诗歌格律（poem meter）：数据类型为字符串（string） - 诗句内容（poem verses）：数据类型为字符串（string） - 诗歌主题（poem theme）：数据类型为字符串（string） - 诗歌链接（poem url）：数据类型为字符串（string） - 诗人姓名（poet name）：数据类型为字符串（string） - 诗人简介（poet description）：数据类型为字符串（string） - 诗人链接（poet url）：数据类型为字符串（string） - 诗人所处时代（poet era）：数据类型为字符串（string） - 诗人籍贯（poet location）：数据类型为字符串（string） - 诗歌描述（poem description）：数据类型为列表（list），列表结构如下： - 属性（attributes）：结构体（struct），包含字段： - 类别（class）：字符串（string） - 颜色（color）：字符串（string） - 方向（dir）：字符串（string） - 字体（face）：字符串（string） - 标识符（id）：字符串（string） - 语言（lang）：字符串（string） - 样式（style）：字符串（string） - 子项（children）：列表（list），列表内元素结构： - 属性（attributes）：结构体（struct），包含字段： - 颜色（color）：字符串（string） - 方向（dir）：字符串（string） - 字体（face）：字符串（string） - 超链接地址（href）：字符串（string） - 标识符（id）：字符串（string） - 语言（lang）：字符串（string） - 样式（style）：字符串（string） - 标题（title）：字符串（string） - 值（value）：字符串（string） - 子项（children）：列表（list），列表内元素结构： - 属性（attributes）：结构体（struct），包含字段： - 类别（class）：字符串（string） - 颜色（color）：字符串（string） - 方向（dir）：字符串（string） - 字体（face）：字符串（string） - 语言（lang）：字符串（string） - 样式（style）：字符串（string） - 子项（children）：列表（list），列表内元素结构： - 属性（attributes）：结构体（struct），包含字段： - 对齐方式（align）：字符串（string） - 字体（face）：字符串（string） - 不换行标记（nowrap）：字符串（string） - 名称（name）：字符串（string） - 父级属性（parentAttributes）：结构体（struct），包含字段： - 语言（lang）：字符串（string） - 样式（style）：字符串（string） - 大小（size）：64位整型（int64） - 文本（text）：字符串（string） - 截断标记（truncated）：布尔型（bool） - 类型（type）：字符串（string） - 名称（name）：字符串（string） - 父级属性（parentAttributes）：结构体（struct），包含字段： - 方向（dir）：字符串（string） - 字体（face）：字符串（string） - 标识符（id）：字符串（string） - 语言（lang）：字符串（string） - 样式（style）：字符串（string） - 段落A（partA）：字符串（string） - 大小（size）：64位整型（int64） - 文本（text）：字符串（string） - 截断标记（truncated）：布尔型（bool） - 类型（type）：字符串（string） - 名称（name）：字符串（string） - 父级属性（parentAttributes）：结构体（struct），包含字段： - 类别（class）：字符串（string） - 颜色（color）：字符串（string） - 方向（dir）：字符串（string） - 标识符（id）：字符串（string） - 语言（lang）：字符串（string） - 样式（style）：字符串（string） - 段落A（partA）：字符串（string） - 段落B（partB）：字符串（string） - 大小（size）：64位整型（int64） - 文本（text）：字符串（string） - 截断标记（truncated）：布尔型（bool） - 类型（type）：字符串（string） - 名称（name）：字符串（string） - 父级属性（parentAttributes）：结构体（struct），包含字段： - 方向（dir）：字符串（string） - 样式（style）：字符串（string） - 段落A（partA）：字符串（string） - 段落B（partB）：字符串（string） - 大小（size）：64位整型（int64） - 文本（text）：字符串（string） - 截断标记（truncated）：布尔型（bool） - 类型（type）：字符串（string） - 诗歌语言类型（poem language type）：数据类型为字符串（string） 划分集： - 训练集（train）：字节大小31435320，样本数量10000 下载大小：0 数据集总大小：31435320 # 数据集卡片："ashaar-small-proc" [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称：ashaar-small-proc

数据集特征

• 诗标题 (poem title)：字符串类型
• 诗韵律 (poem meter)：字符串类型
• 诗节数 (poem verses)：字符串类型
• 诗主题 (poem theme)：字符串类型
• 诗URL (poem url)：字符串类型
• 诗人姓名 (poet name)：字符串类型
• 诗人描述 (poet description)：字符串类型
• 诗人URL (poet url)：字符串类型
• 诗人时代 (poet era)：字符串类型
• 诗人地点 (poet location)：字符串类型
• 诗描述 (poem description)：包含多个子特征的列表
  • 属性 (attributes)：结构化数据，包含以下字段：
    • 类别 (class)：字符串类型
    • 颜色 (color)：字符串类型
    • 方向 (dir)：字符串类型
    • 面 (face)：字符串类型
    • ID (id)：字符串类型
    • 语言 (lang)：字符串类型
    • 风格 (style)：字符串类型
  • 子项 (children)：列表，包含多个子特征
    • 属性 (attributes)：结构化数据，包含以下字段：
      • 颜色 (color)：字符串类型
      • 方向 (dir)：字符串类型
      • 面 (face)：字符串类型
      • 链接 (href)：字符串类型
      • ID (id)：字符串类型
      • 语言 (lang)：字符串类型
      • 风格 (style)：字符串类型
      • 标题 (title)：字符串类型
      • 值 (value)：字符串类型
    • 子项 (children)：列表，包含多个子特征
      • 属性 (attributes)：结构化数据，包含以下字段：
        • 类别 (class)：字符串类型
        • 颜色 (color)：字符串类型
        • 方向 (dir)：字符串类型
        • 面 (face)：字符串类型
        • 语言 (lang)：字符串类型
        • 风格 (style)：字符串类型
      • 子项 (children)：列表，包含多个子特征
        • 属性 (attributes)：结构化数据，包含以下字段：
          • 对齐 (align)：字符串类型
          • 面 (face)：字符串类型
          • 不换行 (nowrap)：字符串类型
        • 名称 (name)：字符串类型
        • 父属性 (parentAttributes)：结构化数据，包含以下字段：
          • 语言 (lang)：字符串类型
          • 风格 (style)：字符串类型
        • 大小 (size)：整数类型
        • 文本 (text)：字符串类型
        • 截断 (truncated)：布尔类型
        • 类型 (type)：字符串类型
• 诗语言类型 (poem language type)：字符串类型

数据集分割

• 训练集 (train)：
  • 字节数：31435320
  • 示例数：10000

数据集大小

• 下载大小：0
• 数据集大小：31435320字节

搜集汇总

数据集介绍

构建方式

在阿拉伯诗歌研究的数字化浪潮中，Zaid/ashaar-small-proc数据集应运而生。该数据集源自对大量阿拉伯古典诗歌资源的系统化整理与处理，通过精细化的数据清洗与结构化标注构建而成。每条诗歌样本均包含诗题、格律、诗句文本、主题、来源链接等元数据，同时关联诗人姓名、生平简介、所属时代与地理位置。尤为独特的是，其诗文描述字段采用嵌套的树状结构，将诗歌文本分解为带有属性标签的层级化组件，如颜色、方向、字体、语言风格等视觉与语义特征，从而实现了对诗歌表达形式的细粒度编码。数据集共收录训练样本一万条，总容量约31.4兆字节。

特点

该数据集的核心亮点在于其多维度的结构化描述体系。与传统诗歌语料库仅关注文本内容不同，Zaid/ashaar-small-proc通过深度嵌套的字段设计，同时捕捉诗歌的语义内涵与表现形式。诗文的描述信息被组织为属性与子节点的层级树，每个节点均携带丰富的样式属性（如字体、颜色、对齐方式），并保留文本片段的截断标记与类型分类。这种设计使得数据集不仅适用于自然语言处理中的文本生成与风格迁移任务，还能支持对阿拉伯诗歌视觉排版与韵律特征的量化分析。此外，诗人信息与诗作主题的完整标注，为跨时代、跨地域的文学比较研究提供了坚实的数据基础。

使用方法

使用该数据集时，可通过HuggingFace的datasets库直接加载，默认调用train分割即可获取一万条标注完整的诗歌样本。每条样本以字典形式返回，顶层字段可直接提取诗题、格律、主题等基础信息。对于需要深入分析诗歌文本结构的研究者，可通过poem description字段访问嵌套的树状数据，利用递归遍历算法解析attributes与children层级，从而还原诗歌的原始排版与样式信息。建议在预处理阶段根据truncated标记过滤不完整记录，并利用poem language type字段进行语料筛选。该数据集特别适合用于阿拉伯诗歌的自动格律识别、主题分类以及多模态文学特征提取等研究场景。

背景与挑战

背景概述

阿拉伯诗歌作为阿拉伯文化遗产的瑰宝，承载着千年的语言韵律与情感表达，其研究对于理解阿拉伯文学史、语言学演变乃至社会历史脉络具有不可替代的价值。Zaid/ashaar-small-proc数据集由研究团队精心构建，专注于阿拉伯古典与现代诗歌的数字化整理，涵盖诗题、格律、诗句、主题及诗人信息等丰富元数据。该数据集的创建旨在突破传统诗歌研究的数据瓶颈，为自然语言处理领域提供结构化的阿拉伯诗歌语料，推动机器对诗歌格律、主题分类及诗人风格的自动理解。其影响力在于，它不仅为计算诗学开辟了新路径，还为阿拉伯语资源的数字化保存与智能分析奠定了坚实基础。

当前挑战

该数据集面临的挑战首先在于阿拉伯诗歌的领域复杂性：格律体系（如“بحور الشعر”）的多样性、诗歌主题的模糊边界以及古典与现代诗歌的语言差异，使得自动分类与标注任务极具难度。其次，构建过程中需应对数据清洗的艰巨性，如从非结构化网页中提取诗句时面临的HTML标签嵌套、多语言混排及编码不一致问题。此外，诗歌元数据的完整性与准确性难以保证，例如诗人时代与地域的推断常依赖有限的历史记录，而诗歌描述字段的层级化结构（如诗篇解析）增加了数据对齐与验证的挑战。这些障碍共同制约着数据集在低资源场景下的鲁棒性与泛化能力。

常用场景

经典使用场景

在阿拉伯诗歌与计算语言学的交叉领域中，Zaid/ashaar-small-proc数据集为古典阿拉伯诗歌的数字化解析提供了宝贵的语料资源。该数据集收录了逾万首诗歌样本，涵盖诗题、格律、诗句、主题及诗人信息等多维标注，尤其通过精细的诗歌描述结构（如文本属性、层级关系、语言风格等），使得研究者能够深入探索诗歌的形式特征与语义内涵。其经典应用在于训练和评估诗歌格律识别模型、主题分类器以及诗人风格迁移系统，为自动化诗歌分析与生成奠定了坚实的数据基础。

解决学术问题

该数据集直面阿拉伯诗歌研究中长期存在的语料匮乏与标注不一致等核心困境。通过系统性地整合诗歌的元数据与细粒度描述信息，它有效解决了古典诗歌自动格律解析、主题聚类以及诗人身份识别等学术难题。这些问题的突破，不仅推动了计算诗学在非英语语种中的发展，更促进了跨文化文学遗产的数字化保护与量化研究，为理解阿拉伯诗歌的演变规律与美学结构提供了可复现的实证依据。

衍生相关工作

基于该数据集，学界已衍生出若干具有影响力的研究工作。例如，部分研究者利用其丰富的格律与主题标注，开发了针对阿拉伯诗歌的多任务学习框架，同时完成格律分类与情感分析；另有工作聚焦于诗歌生成任务，通过序列到序列模型在诗人风格约束下进行文本创作。此外，该数据集还推动了跨语言诗歌比较研究，为对比阿拉伯与中国古典诗歌的韵律模式提供了对齐语料，催生了新的文化计算范式。