commoncatalog-cc-by-recap

# CommonCatalog CC-BY Recaptioning このリポジトリはCommonCatalog CC-BYを拡張して、追加の情報を入れたものです。 以下の情報が追加されています。 - Phi-3 VisionでDense Captioningした英語キャプション 主キーはphotoidですので、CommonCatalog CC-BYと結合するなりして使ってください。 streaming=Trueで読み込むと同じ順に読み込まれますのでそれを利用するのが一番楽です。 # Sample Code ```python import pandas from datasets import load_dataset from tqdm import tqdm import json df=pandas.read_csv("commoncatalog-cc-by-phi3.csv") dataset = load_dataset("common-canvas/commoncatalog-cc-by",split="train",streaming=True) #dataset=dataset.skip(100_000) data_info=[] for i,data in enumerate(tqdm(dataset)): data["jpg"].save(f"/mnt/my_raid/pixart2/InternImgs/{i:09}.jpg") width, height = data["jpg"].width, data["jpg"].height ratio = width/height data_info.append({ "height": height, "width": width, "ratio": ratio, "path": f"{i:09}.jpg", "prompt": data["blip2_caption"], }) data_info.append({ "height": height, "width": width, "ratio": ratio, "path": f"{i:09}.jpg", "prompt": df["phi3_caption"][i], }) if(i>=150_000): break with open("/mnt/my_raid/pixart2/InternData/data_info.json", "w") as json_file: json.dump(data_info, json_file) ``` # Recaptioningに意味あるの？ あるんだなぁ、これが。[paper](https://www.haqtu.me/Recap-Datacomp-1B/) # Release Note - 2024/06/21: 460k版リリース。 - 2024/06/15: 350k版リリース。 - 2024/06/08: 250k版リリース。 - 2024/06/06: 200k版リリース。 - 2024/06/02: 150k版リリース。 - 2024/05/30: 100k版リリース。 - 2024/05/27: 50k版リリース。 - 2024/05/26: 30k版リリース。