larlarHF/TikTok-10M

--- license: other tags: - dataset - video - social-media - tiktok - multimodal - audio-visual dataset_info: features: - name: id dtype: int64 - name: collected_time dtype: string - name: create_time dtype: int64 - name: desc dtype: string - name: duet_display dtype: int64 - name: duet_enabled dtype: string - name: duet_info_duet_from_id dtype: float64 - name: is_ad dtype: string - name: item_comment_status dtype: int64 - name: item_mute dtype: string - name: item_control_can_repost dtype: string - name: official_item dtype: string - name: original_item dtype: string - name: share_enabled dtype: string - name: playlist_id dtype: float64 - name: stitch_display dtype: int64 - name: stitch_enabled dtype: string - name: diversification_id dtype: float64 - name: stats_time dtype: string - name: collect_count dtype: int64 - name: comment_count dtype: int64 - name: digg_count dtype: int64 - name: play_count dtype: int64 - name: share_count dtype: int64 - name: vq_score dtype: float64 - name: duration dtype: int64 - name: share_cover dtype: string - name: poi_id dtype: int64 - name: poi_name dtype: string - name: address dtype: string - name: city dtype: string - name: city_code dtype: float64 - name: country_code dtype: int64 - name: poi_category dtype: string - name: father_poi_id dtype: string - name: father_poi_name dtype: string - name: poi_tt_type_code dtype: string - name: poi_tt_type_name_medium dtype: string - name: poi_tt_type_name_super dtype: string - name: poi_tt_type_name_tiny dtype: string - name: user_id dtype: int64 - name: user_avatar_larger dtype: string - name: user_avatar_medium dtype: string - name: user_avatar_thumb dtype: string - name: user_tt_seller dtype: string - name: user_verified dtype: string - name: challenges dtype: string - name: music_id dtype: float64 - name: music_title dtype: string - name: music_album dtype: string - name: music_author_name dtype: string - name: music_duration dtype: float64 - name: music_original dtype: string - name: music_play_url dtype: string - name: url dtype: string splits: - name: train num_examples: 10000000 --- # TikTok-10M Dataset ## Dataset Description TikTok-10M is a large-scale dataset containing 10 million short-form posts from TikTok, designed for video understanding, multimodal learning, and social media content analysis. The dataset was curated to bridge the gap between academic video datasets and actual user-generated content, providing researchers with authentic patterns and characteristics of modern short-form video content that dominates social media platforms. ## Request for granular highly curated data Please fill out this form if you are training models and want additional curated datasets: [Google Form](https://forms.gle/1dT6RsKsRKxbuupw8) ## Dataset Structure Each data instance contains: - Post metadata (`id`, `url`, `desc`, `challenges`, `create_time`, etc) - Post statistics (`digg_count`, `comment_count`, `play_count`, etc) - Point of interest data (`poi_name`, `address`, `poi_category`, etc) - Music data (`music_name`,`music_album`, etc) - Video data (`vq_score`, `duration`, etc) ## Usage Examples ```python from datasets import load_dataset # Load the full dataset dataset = load_dataset("The-data-company/TikTok-10M") # Access training split train_dataset = dataset["train"] # Access a sample sample = train_dataset[0] print(f"description: {sample['desc']}") print(f"likes: {sample['digg_count']}") print(f"url: {sample['url']}") ``` ## Dataset Statistics - **Total Videos:** 10,000,000 - **Total Duration:** [To be calculated] - **Average Video Length:** [To be calculated] - **Category Distribution:** [To be calculated] ## Limitations and Biases - **Temporal Bias:** Dataset reflects trending TikTok content during Spring 2025 - **Geographic Bias:** Dataset contains only content with US-based points of interest - **Content Bias:** Dataset focuses on trending content - **Quality Variation:** User-generated content varies significantly in production quality ## Data Access The dataset is available through the Hugging Face datasets library. Due to its large size (10M videos), consider using streaming or downloading specific splits based on your needs. ## Ethical Considerations - **Public Data Only**: Only publicly available data is included - **Privacy Protection**: No personally identifiable information beyond what was publicly shared - **Content Moderation**: Users should implement appropriate content filtering for their use cases - **Responsible Use**: This dataset should be used in accordance with TikTok's terms of service and applicable laws ## Citation ```bibtex @dataset{tiktok_10m_2025, title={TikTok-10M: A Large-Scale Short Video Dataset for Video Understanding}, author={The Data Company}, year={2025}, url={https://huggingface.co/datasets/The-data-company/TikTok-10M}, note={A dataset of 10 million TikTok posts for multimodal learning and social media analysis} } ```--- 许可证：其他 标签： - 数据集 - 视频 - 社交媒体 - TikTok - 多模态（multimodal） - 音视频（audio-visual） 数据集信息： 字段列表： - 字段名：数据ID（id），数据类型：int64 - 字段名：采集时间，数据类型：字符串 - 字段名：创建时间，数据类型：int64 - 字段名：帖子描述，数据类型：字符串 - 字段名：合拍展示状态，数据类型：int64 - 字段名：合拍功能启用状态，数据类型：字符串 - 字段名：合拍来源ID，数据类型：float64 - 字段名：是否为广告，数据类型：字符串 - 字段名：帖子评论状态，数据类型：int64 - 字段名：帖子静音状态，数据类型：字符串 - 字段名：帖子可转发权限，数据类型：字符串 - 字段名：官方帖子标识，数据类型：字符串 - 字段名：原创帖子标识，数据类型：字符串 - 字段名：分享功能启用状态，数据类型：字符串 - 字段名：播放列表ID，数据类型：float64 - 字段名：拼接展示状态，数据类型：int64 - 字段名：拼接功能启用状态，数据类型：字符串 - 字段名：多样化分类ID，数据类型：float64 - 字段名：统计时间，数据类型：字符串 - 字段名：收藏数，数据类型：int64 - 字段名：评论数，数据类型：int64 - 字段名：获赞数，数据类型：int64 - 字段名：播放量，数据类型：int64 - 字段名：分享数，数据类型：int64 - 字段名：视频质量评分（vq_score），数据类型：float64 - 字段名：视频时长，数据类型：int64 - 字段名：分享封面链接，数据类型：字符串 - 字段名：兴趣点（POI）ID，数据类型：int64 - 字段名：兴趣点名称，数据类型：字符串 - 字段名：地址，数据类型：字符串 - 字段名：城市，数据类型：字符串 - 字段名：城市代码，数据类型：float64 - 字段名：国家代码，数据类型：int64 - 字段名：兴趣点分类，数据类型：字符串 - 字段名：父级兴趣点ID，数据类型：字符串 - 字段名：父级兴趣点名称，数据类型：字符串 - 字段名：TikTok兴趣点类型代码，数据类型：字符串 - 字段名：TikTok兴趣点中型分类名称，数据类型：字符串 - 字段名：TikTok兴趣点超级分类名称，数据类型：字符串 - 字段名：TikTok兴趣点细分分类名称，数据类型：字符串 - 字段名：用户ID，数据类型：int64 - 字段名：高清用户头像链接，数据类型：字符串 - 字段名：中等分辨率用户头像链接，数据类型：字符串 - 字段名：缩略图用户头像链接，数据类型：字符串 - 字段名：TikTok商家标识，数据类型：字符串 - 字段名：用户认证状态，数据类型：字符串 - 字段名：挑战话题标签，数据类型：字符串 - 字段名：音乐ID，数据类型：float64 - 字段名：音乐标题，数据类型：字符串 - 字段名：音乐专辑，数据类型：字符串 - 字段名：音乐作者名称，数据类型：字符串 - 字段名：音乐时长，数据类型：float64 - 字段名：原创音乐标识，数据类型：字符串 - 字段名：音乐播放链接，数据类型：字符串 - 字段名：帖子资源链接，数据类型：字符串 数据集划分： - 划分名称：训练集（train），样本数量：10000000 --- # TikTok-10M 数据集 ## 数据集描述 TikTok-10M 是一款大规模数据集，收录了来自TikTok的1000万条短视频帖子，旨在服务于视频理解、多模态（multimodal）学习与社交媒体内容分析研究。本数据集旨在弥合学术类视频数据集与真实用户生成内容之间的鸿沟，为研究者提供主导当代社交媒体平台的现代短视频内容的真实特征与规律。 ## 申请精细化精选数据集 若您正在训练模型并需要更多精选数据集，请填写此表单：[谷歌表单](https://forms.gle/1dT6RsKsRKxbuupw8) ## 数据集结构 每条数据实例包含以下内容： - 帖子元数据：包含数据ID、资源链接、帖子描述、挑战话题、创建时间等字段 - 帖子互动统计数据：包含获赞数、评论数、播放量等指标 - 兴趣点（POI）数据：包含兴趣点名称、地址、兴趣点分类等信息 - 背景音乐数据：包含音乐名称、专辑等信息 - 视频数据：包含视频质量评分、时长等参数 ## 使用示例 python from datasets import load_dataset # 加载完整数据集 dataset = load_dataset("The-data-company/TikTok-10M") # 访问训练集划分 train_dataset = dataset["train"] # 访问单条样本 sample = train_dataset[0] print(f"帖子描述：{sample['desc']}") print(f"获赞数：{sample['digg_count']}") print(f"资源链接：{sample['url']}") ## 数据集统计信息 - **总视频数：** 10,000,000 - **总时长：** [待计算] - **平均视频时长：** [待计算] - **分类分布：** [待计算] ## 局限性与偏差 - **时间偏差：** 本数据集仅反映2025年春季TikTok的热门内容 - **地域偏差：** 本数据集仅包含带有美国本土兴趣点的内容 - **内容偏差：** 本数据集聚焦于热门内容 - **质量差异：** 用户生成内容的制作质量存在显著差异 ## 数据获取方式 本数据集可通过Hugging Face数据集库获取。由于数据集规模庞大（含1000万条视频），建议根据需求采用流式加载或分块下载的方式。 ## 伦理考量 - **仅使用公开数据：** 本数据集仅收录公开可得的内容 - **隐私保护：** 除公开分享的信息外，未包含任何个人可识别信息 - **内容审核：** 用户应根据自身使用场景实施适当的内容过滤措施 - **负责任使用：** 本数据集的使用需符合TikTok服务条款及适用法律法规 ## 引用格式 bibtex @dataset{tiktok_10m_2025, title={TikTok-10M: 面向视频理解的大规模短视频数据集}, author={The Data Company}, year={2025}, url={https://huggingface.co/datasets/The-data-company/TikTok-10M}, note={一款面向多模态学习与社交媒体分析的1000万条TikTok帖子数据集} }