Bluemoon_Top50MB_Sorted_Fixed_ja

# Bluemoon_Top50MB_Sorted_Fixed_ja [SicariusSicariiStuff/Bluemoon_Top50MB_Sorted_Fixed](https://huggingface.co/datasets/SicariusSicariiStuff/Bluemoon_Top50MB_Sorted_Fixed)を、[GENIAC-Team-Ozaki/karakuri-lm-8x7b-chat-v0.1-awq](https://huggingface.co/GENIAC-Team-Ozaki/karakuri-lm-8x7b-chat-v0.1-awq)を用いて日本語に翻訳したロールプレイ学習用データセットです。 LLMの推論には[DeepInfra](https://deepinfra.com/)というサービスを使いました。 ## 翻訳の詳細 - 3-shots promptingでの翻訳 - mistralのtokenizerで出力が8000トークンを超えるまで翻訳 - 元データセットにある非常に長い対話は上記条件で途中のターンで翻訳を終了しています。 - LLM特有の同じ出力が繰り返される現象に遭遇した場合、その時点で該当レコードの翻訳を終了 - この結果1ターン未満となったレコード（157件）を削除 なお、`LENGTH`や`Total_TOKENS_LLAMA1`、`Total_TOKENS_LLAMA3`列の内容は元データセットから更新しておらず、実態を表していない点にはご注意ください。