rose-e-wang/zero-shot-teacher-feedback

该数据集用于评估ChatGPT在课堂指导中的表现，特别是通过零样本分类和文本生成任务来评分和提供可操作的见解。数据集的使用场景包括对课堂转录文本的评分、识别教学中的亮点和错失的机会，以及提供促进学生推理的可操作建议。

This dataset is used to evaluate the performance of ChatGPT in classroom instruction, particularly through zero-shot classification and text generation tasks for scoring and providing actionable insights. The use cases of the dataset include scoring classroom transcripts, identifying highlights and missed opportunities in teaching, and providing actionable suggestions for eliciting student reasoning.

原始信息汇总

数据集概述

基本信息

• 许可证: cc-by-nc-4.0
• 任务类别:
  • zero-shot-classification
  • text-generation
• 语言:
  • en

数据集内容

• 数据文件: single_utterances.csv
• 数据存储位置: data/ncte_single_utterances.csv

实验任务

1. Task A: Scoring Transcripts

   • 任务描述: 计算人类评分与模型预测之间的Spearman相关性，并在CLASS和MQI维度上报告分数分布。
   • 执行脚本: bash output_types=("numerical" "numerical_reasoning" "numerical_descriptions") for output_type in "${output_types[@]}"; do echo "CLASS on $output_type" python3 scripts/class_obs/compare.py --rating_output=$output_type echo "MQI on $output_type" python3 scripts/mqi_obs/compare.py --rating_output=$output_type done

2. Task B: Identify highlights and missed opportunities

   • 任务描述: 报告数学教师在CLASS和MQI上的亮点和错失机会的评估。
   • 执行脚本: bash python3 scripts/plot_task_bc_results.py --key=class_examples python3 scripts/plot_task_bc_results.py --key=mqi_examples

3. Task C: Provide actionable suggestions for eliciting student reasoning

   • 任务描述: 报告数学教师在激发学生推理的可行建议上的评估。
   • 执行脚本: bash python3 scripts/plot_task_bc_results.py --key=suggestions