yinzhu-quan/econ_logic_qa
收藏资源简介：
EconLogicQA是一个严格的基准测试，旨在评估大型语言模型（LLMs）在经济学、商业和供应链管理领域的顺序推理能力。与传统的基准测试不同，EconLogicQA要求模型理解和排序多个相互关联的事件，捕捉复杂的经济逻辑。数据集包含从经济叙事中抽象出的多事件场景，并通过一系列评估方法来衡量LLMs在经济上下文中的顺序推理能力。
EconLogicQA is a rigorous benchmark designed to evaluate the sequential reasoning capabilities of large language models (LLMs) in the fields of economics, business, and supply chain management. Unlike traditional benchmarks, EconLogicQA requires models to comprehend and order multiple interrelated events and capture complex economic logic. The dataset comprises multi-event scenarios abstracted from economic narratives, and employs a series of evaluation methods to measure the sequential reasoning abilities of LLMs in economic contexts.
EconLogicQA
数据集概述
EconLogicQA 是一个旨在测试大型语言模型（LLMs）在经济学、商业和供应链管理中顺序推理能力的基准。与传统的基准不同，EconLogicQA 要求模型理解和序列化多个相互关联的事件，捕捉复杂的经济逻辑。该基准包括多事件场景和一套全面的评估，以评估模型在经济环境中的熟练程度。
数据集详情
数据集描述
EconLogicQA 是一个严格的基准，旨在评估大型语言模型（LLMs）在经济学、商业和供应链管理等复杂领域中的顺序推理能力。与预测单个后续事件的传统基准不同，EconLogicQA 提出了一个更具挑战性的任务：要求模型辨别和序列化多个相互关联的事件，捕捉经济逻辑的复杂性。EconLogicQA 包含从经济叙事中抽象出的多事件场景，这些场景需要对时间和逻辑事件关系有细致的理解。通过一套系统的评估，EconLogicQA 有效地衡量了 LLM 在经济环境中处理顺序复杂性的能力。
数据集来源
- 语言(NLP): 英语
- 许可证: CC BY-NC-SA 4.0
数据文件配置
- 默认配置:
- 训练集:
data/train.csv - 测试集:
data/test.csv - 验证集:
data/val.csv
- 训练集:
引用
BibTeX:
@misc{quan2024econlogicqa, title={EconLogicQA: A Question-Answering Benchmark for Evaluating Large Language Models in Economic Sequential Reasoning}, author={Yinzhu Quan and Zefang Liu}, year={2024}, eprint={2405.07938}, archivePrefix={arXiv}, primaryClass={cs.CL} }
APA:
Quan, Y., & Liu, Z. (2024). EconLogicQA: A Question-Answering Benchmark for Evaluating Large Language Models in Economic Sequential Reasoning. arXiv preprint arXiv:2405.07938.
