ayousanz/oscor-2301-ja-text-content

--- license: cc0-1.0 language: - ja --- OSCOR-2301-jaのcontent部分だけをテキスト化したもの データセットからcontentのvalueだけ取得する際には、以下のコードで実行しました ```python import json import os import sys # コマンドライン引数からフォルダ名を取得する if len(sys.argv) < 2: print("使用法: python script.py folder_name") sys.exit(1) folder_name = sys.argv[1] # フォルダ内のすべての .json ファイルを処理する for filename in os.listdir(folder_name): if filename.endswith(".txt"): input_file = os.path.join(folder_name, filename) output_file = os.path.splitext(filename)[0] + "_convert.txt" output_path = os.path.join(folder_name, output_file) # 出力テキストファイルを開く with open(output_path, "w", encoding="utf-8") as outfile: # 入力JSONファイルを1行ずつ読み込む with open(input_file, "r", encoding="utf-8") as infile: for line in infile: # JSONを解析する data = json.loads(line) # "content" フィールドが存在する場合のみ処理する if "content" in data: content = data["content"] # "content" の内容をテキストファイルに書き込む outfile.write(content + "\n") print(f"変換が完了しました。出力ファイル: {output_file}") print("すべてのファイルの変換が完了しました。") ```

原始信息汇总

数据集概述

数据集名称

OSCOR-2301-ja

数据集内容

仅包含原始数据集中的"content"部分的文本数据。

数据集处理方法

使用Python脚本从原始JSON文件中提取"content"字段的值，并将其转换为文本文件。处理步骤包括：

1. 从命令行获取文件夹名。
2. 遍历文件夹内所有以.txt结尾的文件。
3. 读取每个JSON文件的每一行，解析JSON数据。
4. 检查是否存在"content"字段，若存在则提取其内容。
5. 将提取的"content"内容写入新的文本文件。

数据集语言

日语（ja）

数据集许可证

CC0-1.0