生成AIと音声認識の連結による外国語(英語)学習に関するデータセット

これはなに

これは生成AIと音声認識を利用した外国語(英語)学習に関するデータセットです。

データセットは6名の実験参加者による入力とシステムの出力、および状況を説明するデータから構成されます。

実験の設定

6名の実験参加者は全て日本人です。実験参加者は料理の見た目を英語によって説明する課題を与えられました。課題は日本国内のレストランや居酒屋などで食べられる日本人にとって馴染みがある料理です。1名の参加者は 2つの課題を割り当てられました。

参加者には以下の指示が与えられました。

課題として提示された料理の見た目を外国人に対して説明するつもりで英語によって説明してください

料理名をそのまま使うことは禁止します

システムによって提示された画像を確認し、頭の中に浮かんでいる見た目と比較して納得のいく状態になるまで単語や表現を変えながら説明を再考してください

システムから提示された画像が納得のいく状態になったら終了してください

実験開始後10分以上経っても被験者が納得できる出力結果が得られない場合は諦めてもかまいません

データセットに含まれるもの

データセットに含まれるのは以下です。

Excelファイル

画像ファイル

Excelファイル

Excelファイルは以下の列から構成されます。

参加者ID(6名の参加者それぞれに付けられた通し番号)

テーマ(課題として説明する料理名)

試行数(説明を試みた回数)

生成された画像ファイル名(画像ファイル名に対応)

音声認識結果(参加者の発話をシステムが認識した結果)

Excelファイルは135行から構成され、1行が1つのデータです。

画像ファイル

画像ファイルは実験参加者の発話をシステムが認識した結果をプロンプトとして生成AI (Stable Diffusion)に与えた結果です。ファイル名はExcelファイル中の1行に対応づけられ、その画像ファイルに対応するテーマやプロンプトを参照することができます。

画像ファイルはtar形式でアーカイブされています。展開すると135個のPNGファイルになります。