dp-testcorpus

test corpus for dp work presented as 52 test bags + rawcorpus/ (unbagged files) files came from: Waterloo Image Repository: links.uwaterloo.ca/Repository.html OpenPreserve Foundation (OPF): github.com/openpreserve/format-corpus Canterbury Corpus: corpus.canterbury.ac.nz Calgary Corpus Total # of files: 1340 Process: files extracted, directories removed made a bunch of bag directories: for ((n=1;n<100;n++));do mkdir bag$n; done used shuf to randomly select files for bag directories: for ((n=1;n<100;n++)); do shuf -zen$n ./* | xargs -0 mv -t ../bag$n/; done turned the bag directories into actual bags: do bagit.py --md5 --source-organization UTL --internal-sender-description 'random bag generated for testing' --co$ note: Bags increase in size only in that the number of files in each bag increases by 1

本数据集为面向数据保护（Data Protection, DP）工作的测试语料库，包含52个测试包（bag）与rawcorpus/目录下的未打包文件。语料来源如下：
1. 滑铁卢图像库（Waterloo Image Repository）：links.uwaterloo.ca/Repository.html
2. 开放保存基金会（OpenPreserve Foundation, OPF）：github.com/openpreserve/format-corpus
3. 坎特伯雷语料库（Canterbury Corpus）：corpus.canterbury.ac.nz
4. 卡尔加里语料库（Calgary Corpus）

总文件数共计1340个。

处理流程如下：
1. 提取所有文件并移除原始目录结构；
2. 创建批量打包目录：执行Shell命令`for ((n=1;n<100;n++));do mkdir bag$n; done`，生成bag1至bag99共99个打包目录；
3. 为各打包目录随机分配文件：执行Shell命令`for ((n=1;n<100;n++)); do shuf -zen$n ./* | xargs -0 mv -t ../bag$n/; done`，通过shuf工具随机选取对应数量的文件并移动至各打包目录；
4. 将打包目录转换为标准打包文件：使用bagit.py工具生成符合规范的打包包，命令参数为`bagit.py --md5 --source-organization UTL --internal-sender-description 'random bag generated for testing' --co$`。

备注：每个打包包的大小仅随其包含的文件数量增加而增大。