JackHsieh/dclm-replay.seq-4096.tokens-32B
收藏官方服务：
资源简介：
该数据集包含来自DCLM-baseline的2^35个tokens的重放数据，这些数据被连接成2^23个序列，每个序列长度为4096个tokens，并使用<|endoftext|>分隔符进行分隔。
2^35 tokens of replay data from DCLM-baseline, concatenated into 2^23 sequences of 4096 tokens each with <|endoftext|> separators.
提供机构：
JackHsieh
