team-hatakeyama-phase2/LLMChat

---
license: other
task_categories:
- text-classification
- text-generation
language:
- ja
size_categories:
- 1K<n<10K
---

# LLMChat
## 概要
GENIAC 松尾研 LLM開発プロジェクトで開発したモデルを人手評価するために構築したLLMChatというシステムで収集された質問とLLMの回答、及び人手評価のデータです。

このシステムは[Chatbot Arena](https://lmarena.ai/)と同様に、ユーザーが質問を入力するとランダムな2つのLLMからそれぞれ回答が出力され、人間がその2つの出力のどちらが良いか（あるいはどちらも悪い、どちらも良い）を評価するもので、2024年8月19日から2024年8月25日まで運用されました。詳細については[こちらの記事](https://zenn.dev/matsuolab/articles/95fa297ef12a14)をご確認ください。

データ件数: 2139件

## 参加モデルの一覧
本システムにおける回答の生成には以下の13種類のモデルが参加しました。

- [weblab-GENIAC/Tanuki-8B-dpo-v1.0](https://huggingface.co/weblab-GENIAC/Tanuki-8B-dpo-v1.0)
- [team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0)
- [cyberagent/calm3-22b-chat](https://huggingface.co/cyberagent/calm3-22b-chat)
- [karakuri-ai/karakuri-lm-8x7b-chat-v0.1](https://huggingface.co/karakuri-ai/karakuri-lm-8x7b-chat-v0.1)
- [tokyotech-llm/Llama-3-Swallow-70B-Instruct-v0.1](https://huggingface.co/tokyotech-llm/Llama-3-Swallow-70B-Instruct-v0.1)
- [elyza/Llama-3-ELYZA-JP-8B](https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B)
- [plamo-beta](https://www.preferred.jp/ja/news/pr20240807/)
- gpt-3.5-turbo
- gpt-4o-mini-2024-07-18
- gpt-4o-2024-05-13
- gemini-1.5-flash
- gemini-1.5-pro
- claude-3-5-sonnet-20240620

## 評価の参加者
本システムにおける評価には以下のメンバーが参加しました。

- Tanukiモデルの開発者
- 松尾・岩澤研 LLM CommunityのSlackメンバー（登録上は5000名程度）

## データの構造
本データは以下のような構造になっています。

- question: ユーザーが入力した質問
- answer_1: 1つ目のモデルの回答
- answer_2: 2つ目のモデルの回答
- evaluation: どちらのモデルの出力が良いかの評価
- 1: 1つ目のモデルの回答の方が良い
- 2: 2つ目のモデルの回答の方が良い
- 0: どちらの回答も悪い
- 3: どちらの回答も良い
- corrected_answer: 人手修正した回答（一部のレコードにのみ存在）
- model_1: 1つ目の回答をしたモデル名
- model_2: 2つ目の回答をしたモデル名
- created_time: 質問が行われた日時

## ライセンス
質問や評価部分はCC0ライセンスのもと公開します。

モデルの出力部分については、apache-2.0ライセンスのモデルの出力にはCC0ライセンス、商用モデルやLlama系モデルの出力には各モデル個別の規約やライセンスが適用されます。