Pseudo Dataset for Out-of-Domain Multi-Camera View Recommendation|多摄像头视图推荐数据集|模型泛化数据集
收藏伪数据集生成用于域外多摄像头视图推荐
摘要
多摄像头系统在电影、电视节目和其他媒体中不可或缺。在每个时间戳选择合适的摄像头对制作质量和观众偏好有决定性影响。基于学习的视图推荐框架可以帮助专业人士进行决策。然而，它们在训练域之外往往表现不佳。标记的多摄像头视图推荐数据集的稀缺性加剧了这一问题。基于许多视频是从原始多摄像头视频编辑而来的见解，我们提出将常规视频转换为伪标记的多摄像头视图推荐数据集。有希望的是，通过在源自目标域视频的伪标记数据集上训练模型，我们在目标域中实现了模型准确性68%的相对改进，并缩小了域内和从未见过的域之间的准确性差距。
贡献
- 识别了多摄像头视图推荐模型的域泛化性差。
- 提出使用常规视频生成伪标记的多摄像头编辑数据集，以缓解任意域上标记数据的缺乏。
- 通过提出的伪标记多摄像头编辑数据集，我们在目标域中实现了模型分类准确性68%的相对改进。
伪数据集生成
生成步骤
- 对所有视频运行镜头边界检测，并将结果写入
output/shot_bouundaries。 - 创建一个包含每个视频镜头的开始和结束帧的JSON文件
output/shots.json。 - 生成伪数据集的JSON文件
output/pseudo_data.json，并将每个视频的帧存储在output/frames中。
数据格式
pseudo_data.json的格式如下：
json
{
"data": [
{
"video_id": "gs-o7elkwe8.mp4",
"sampleInterval": 5,
"startFrame": 504,
"outputList": [504, 509, 514, 519, 524, 529, 534, 539, 544, 549, 554, 559, 564, 569, 574],
"outputCam": [2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2],
"candidates": [4454, 0, 3897, 1301, 580, 4220],
"selectCAM": 5,
"CAMList": [1, 2, 3, 4, 5, 6]
},
...
],
"meta": [
"gs-o7elkwe8.mp4": {
"frame2cam": {
"0": 2,
"5": 2,
...
"4454": 1
},
"segments": [
[0, 579],
[580, 1084],
...
[4454, 4457]
]
},
...
]
}
引用
如果您发现此论文/代码对您的研究有帮助，请考虑引用我们：
@inproceedings{lee2024_multicam_recom, author={Lee, Kuan-Ying and Zhou, Qian and Nahrstedt, Klara}, title={Pseudo Dataset Generation for Out-of-domain Multi-Camera View Recommendation}, booktitle={IEEE Visual Communications and Image Processing (VCIP)}, year={2024}, }
