有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
SaudiCulture|沙特文化数据集|语言模型评估数据集
收藏arXiv2025-03-22 更新2025-03-26 收录
下载链接：
https://arxiv.org/abs/2503.17485v1
下载链接
链接失效反馈资源简介：
SaudiCulture是一个由沙特国王大学计算机科学系创建的全面数据集，旨在评估大型语言模型在沙特阿拉伯不同地区文化背景下的理解能力。该数据集包含441个问题及其答案，来源于沙特文化知名在线平台Saudipedia和熟悉文化背景的人类专家的直接贡献。它涵盖了五个地理区域的地区特定问题，以及反映共享国家遗产和习俗的通用问题，旨在为评估LLM的文化能力提供一个具有挑战性的框架。
提供机构：
沙特国王大学计算机科学系, 沙特阿卜哈
创建时间：
2025-03-22
AI搜集汇总
数据集介绍
构建方式
SaudiCulture数据集的构建过程体现了严谨的科学态度与文化敏感性。研究团队采用多源数据融合策略，整合了权威文化平台Saudipedia的数字化资源与本土文化专家的深度访谈。通过分层抽样方法，覆盖沙特五大地理区域（西部、东部、南部、北部、中部）及全国通用文化知识，确保地理与文化维度的代表性。数据采集阶段采用三阶段验证机制：首先通过源平台交叉核验基础事实，继而由各地区母语评审进行文化适配性审查，最后由语言学专家完成语言规范校验。特别设计的问题框架包含开放型、单选型及多选型三类应答模式，并区分常识性文化知识与区域专有知识，形成441道题目的结构化语料库。
特点
该数据集的核心价值在于其多维文化表征体系。空间维度上精准映射沙特地域文化差异，包含区域特异性问题（如'塔哈马地区传统服饰'）与全国通用文化命题。内容维度囊括饮食、服饰、庆典等8大文化范畴，其中手工工艺类问题准确率最高（75%），而婚俗传统类表现最弱（14%）。问题设计呈现认知梯度：开放型问题考察生成能力（平均准确率38%），多选问题测试文化关联理解（正确率波动于20-77%）。值得注意的是，数据集揭示了LLMs的显著地域认知偏差，西部区域识别准确率（66%）远超北部（16%），反映了模型训练数据的地理不均衡性。
使用方法
使用该数据集需遵循文化评估的标准化流程。评估框架包含三个递进层次：基础层采用封闭式单选问题检验事实记忆（如'沙特西部常见街头食物'），中间层通过多选题考察文化关联能力（如'Al-Mukammam服饰对应的多个正确地域'），高级层运用开放问题测试文化解释生成（如'抛掷头巾手势的文化含义'）。实施评估时应控制提示词变量，统一采用'沙特文化专家'角色设定。结果分析需区分模型在通用文化知识（平均准确率69%）与区域专有知识（最低36%）的表现差异，特别关注多正确答案问题的识别完整度。建议配合误差分析矩阵，重点考察模型在婚俗、方言等敏感领域的文化误读模式。
背景与挑战
背景概述
SaudiCulture数据集由Lama Ayash等研究人员于2025年提出，旨在评估大型语言模型（LLMs）在沙特阿拉伯文化背景下的文化理解能力。该数据集涵盖了沙特五个主要地理区域（西部、东部、南部、北部和中部）的文化知识，包括食物、服饰、娱乐、庆祝活动和手工艺等多个文化领域。SaudiCulture通过开放式、单选和多选等不同复杂度的题目形式，全面考察LLMs对沙特文化细微差别的把握能力。该数据集的创建填补了阿拉伯语文化评估基准的空白，为提升LLMs在非西方文化语境中的表现提供了重要工具。
当前挑战
SaudiCulture数据集面临的核心挑战包括两方面：领域问题方面，LLMs在理解高度专业化或区域特定的文化知识时表现显著下降，尤其是需要多个正确答案的问题；在构建过程中，研究人员需要克服沙特文化多样性和区域差异的复杂性，确保数据集的全面性和代表性。具体挑战包括：1) 准确捕捉沙特各地区独特的文化习俗和方言差异；2) 设计能够有效评估文化理解深度的问题形式；3) 平衡通用文化知识与区域特定知识；4) 确保文化表达的准确性和敏感性；5) 处理开放性问题中LLMs表现不稳定的问题。
常用场景
经典使用场景
SaudiCulture数据集在评估大型语言模型（LLMs）在沙特阿拉伯文化背景下的文化理解能力方面具有经典应用价值。该数据集通过覆盖沙特五大地理区域（西部、东部、南部、北部和中部）的文化问题，为研究者提供了一个全面的评估框架。这些问题涵盖了食物、服饰、娱乐、庆祝活动和手工艺等多个文化领域，并通过开放式、单选和多选等不同题型，测试模型对文化细节的捕捉能力。例如，模型需要回答“什么是Tehama地区的传统服饰？”这类区域特定问题，以检验其文化敏感性。
衍生相关工作
SaudiCulture推动了多项文化感知LLMs的研究，例如：1）阿拉伯文化基准ArabCulture扩展了现代标准阿拉伯语（MSA）的常识推理数据集；2）AraDiCE针对低资源阿拉伯方言开发了细粒度文化意识评估；3）CIDAR提出了由母语者对齐的文化相关指令调优数据集。这些工作共同构建了阿拉伯语LLMs的文化评估体系，而SaudiCulture的区域细分方法更被IndoCulture等研究借鉴，用于评估印尼地理文化多样性。
数据集最近研究
最新研究方向
近年来，SaudiCulture数据集在评估大型语言模型（LLMs）文化理解能力方面引起了广泛关注。该数据集专注于沙特阿拉伯丰富的文化多样性，涵盖了食物、服饰、娱乐、庆祝活动和手工艺品等多个文化领域，并区分了不同地理区域的独特文化特征。研究热点包括如何通过区域特定的知识增强LLMs的文化适应性，以及如何利用多模态方法提升模型对非西方文化的理解。该数据集的推出不仅填补了阿拉伯文化评估工具的空白，还为全球AI系统在多元文化背景下的公平性和包容性设定了新的基准。
相关研究论文
- 1SaudiCulture: A Benchmark for Evaluating Large Language Models Cultural Competence within Saudi Arabia沙特国王大学计算机科学系, 沙特阿卜哈 · 2025年
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国1km分辨率逐月降水量数据集（1901-2024）
该数据集为中国逐月降水量数据，空间分辨率为0.0083333°（约1km），时间为1901.1-2024.12。数据格式为NETCDF，即.nc格式。该数据集是根据CRU发布的全球0.5°气候数据集以及WorldClim发布的全球高分辨率气候数据集，通过Delta空间降尺度方案在中国降尺度生成的。并且，使用496个独立气象观测点数据进行验证，验证结果可信。本数据集包含的地理空间范围是全国主要陆地（包含港澳台地区），不含南海岛礁等区域。为了便于存储，数据均为int16型存于nc文件中，降水单位为0.1mm。 nc数据可使用ArcMAP软件打开制图; 并可用Matlab软件进行提取处理，Matlab发布了读入与存储nc文件的函数，读取函数为ncread，切换到nc文件存储文件夹，语句表达为：ncread (‘XXX.nc’,‘var’, [i j t],[leni lenj lent])，其中XXX.nc为文件名，为字符串需要’’；var是从XXX.nc中读取的变量名，为字符串需要’’；i、j、t分别为读取数据的起始行、列、时间，leni、lenj、lent i分别为在行、列、时间维度上读取的长度。这样，研究区内任何地区、任何时间段均可用此函数读取。Matlab的help里面有很多关于nc数据的命令，可查看。数据坐标系统建议使用WGS84。
国家青藏高原科学数据中心 收录
Wind Turbine Data
该数据集包含风力涡轮机的运行数据，包括风速、风向、发电量等参数。数据记录了多个风力涡轮机在不同时间点的运行状态，适用于风能研究和风力发电系统的优化分析。
www.kaggle.com 收录
中国区域地面气象要素驱动数据集 v2.0（1951-2024）
中国区域地面气象要素驱动数据集（China Meteorological Forcing Data，以下简称 CMFD）是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素，时间分辨率为 3 小时，水平空间分辨率为 0.1°，时间长度为 74 年（1951~2024 年），覆盖了 70°E~140°E，15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据，并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品，其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展，其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本，而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集，但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外，在制作 CMFD 2.0 的过程中，研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息，显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时，CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 74 年，并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同，但其有效数据扩展到了中国之外，能够更好地支持跨境区域研究。为方便用户使用，CMFD 2.0 还在基础变量集之外提供了若干衍生变量，包括近地面相对湿度、雨雪分离降水产品等。此外，CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术，转而直接将实型数据压缩存储于 NetCDF4 格式文件中，从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7，但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变，故将其版本号重新定义为 2.0。CMFD 2.0 的数据内容与此前宣传的 CMFD 1.7 基本一致，仅对 1983 年 7 月以后的向下短/长波辐射通量数据进行了更新，以修正其长期趋势存在的问题。
国家青藏高原科学数据中心 收录
highD
highD数据集是由亚琛工业大学汽车工程研究所创建的，旨在为高度自动化驾驶系统的安全验证提供大规模自然车辆轨迹数据。该数据集包含从德国高速公路收集的16.5小时测量数据，涵盖110,000辆车，总行驶距离达45,000公里，记录了5600次完整的变道行为。数据集通过配备高分辨率摄像头的无人机从空中视角进行测量，确保了数据的准确性和自然性。highD数据集不仅用于安全验证和影响评估，还支持交通模拟模型、交通分析、驾驶员模型和道路用户预测模型等领域的研究，旨在解决高度自动化驾驶系统在复杂交通环境中的应用问题。
arXiv 收录
WHO Drug
WHO Drug数据集包含了世界卫生组织（WHO）发布的药物信息，包括药物的通用名称、国际非专利名称（INN）、化学名称、分子式、分子量、CAS登记号等详细信息。该数据集旨在为全球的药物研究和监管提供标准化的药物信息。
www.who.int 收录