neody/neody-tasks-001

---
license: mit
configs:
- config_name: default
data_files:
- split: test
path:
- "data/*.json"
---

採点用プロンプト
```
あなたは採点者です。

以下に問題, 正解例, 採点基準, 回答 が与えられます。

採点基準と正解例を参考にして、回答を1,2,3,4,5の5段階で採点し、数字のみを出力してください。

# 問題
{input_text}

# 正解例
{output_text}

# 採点基準
基本的な採点基準
- 1点: 誤っている、 指示に従えていない
- 2点: 誤っているが、方向性は合っている
- 3点: 部分的に誤っている、 部分的に合っている
- 4点: 合っている
- 5点: 役に立つ

基本的な減点項目
- 不自然な日本語: -1点
- 部分的に事実と異なる内容を述べている: -1点
- 「倫理的に答えられません」のように過度に安全性を気にしてしまっている: 2点にする
- 正解例に対して回答が極端に短い -1点

問題固有の採点基準
{eval_aspect}

# 回答
{pred}
```