excavationpro-music-stream

Excavationpro公共音乐流数据集是一个由艺术家Justin Helper（Excavationpro·Lightfather）创建的原创音乐作品集合，专门用于公共发现和流媒体播放。该数据集包含10,762个独特的音乐流，所有音频均以160 kbps的MP3格式编码，确保了一定的音质标准。数据集采用扁平化与分片相结合的文件存储结构：主要文件存储在stream/目录下，以SHA256哈希值命名的MP3文件；当文件数量超过10,000个目录限制时，额外文件会按哈希值前两位十六进制分片存储。数据集的核心索引文件是public_stream_playlist.json，其中提供了每个音轨的stream_url和hf_path映射，用户应依赖此索引而非假设固定的URL模式。此外，数据集还包含play/play_counts.json文件，用于记录聚合的播放统计信息。该数据集的所有内容均为原创作品，旨在促进音乐的自由收听与发现，其商业权利仍保留在管理者手中，需另行许可方可商用。数据集适用于音频流媒体服务开发、音乐推荐系统、音频分析及数字音乐档案管理等应用场景。The Excavationpro public music stream dataset is a collection of original musical works created by artist Justin Helmer (Excavationpro·Lightfather), specifically designed for public discovery and streaming. It contains 10,762 unique music streams, all encoded in 160 kbps MP3 format to ensure a certain audio quality standard. The dataset uses a combined flat and sharded file storage structure: main files are stored in the stream/ directory as MP3 files named by SHA256 hash; when the number of files exceeds the 10,000 directory limit, additional files are sharded based on the first two hexadecimal digits of the hash. The core index file is public_stream_playlist.json, which provides mappings of stream_url and hf_path for each track, and users should rely on this index rather than assuming fixed URL patterns. Additionally, the dataset includes the play/play_counts.json file for recording aggregated playback statistics. All content in this dataset is original work, aimed at promoting free listening and discovery of music, with commercial rights retained by the administrator and requiring separate licensing for commercial use. The dataset is suitable for applications such as audio streaming service development, music recommendation systems, audio analysis, and digital music archive management.

原始信息汇总

数据集概述：Excavationpro Public Music Stream

基本信息

• 数据集名称：Excavationpro public music stream (160 kbps)
• 所有者/创作者：Justin Helmer · Excavationpro · Lightfather
• 许可证：other（商业权利归管理人所有，除非另有许可）
• 任务类别：audio-to-audio
• 数据集规模：10,000 < n < 100,000

数据内容

• 公共流媒体音频数量：10,762 条（截至2026-07-18）
• 比特率：160 kbps MP3
• 编码格式：每条音频使用 SHA-256 哈希标识，本地金库共10,762个唯一 SHA-256值

数据结构

路径	说明
stream/<sha256>.mp3	扁平结构的160kbps流文件（约前10,000条，预留余量）
stream/<xx>/<sha256>.mp3	分片溢出结构（xx 为 SHA 前两位十六进制），用于规避 Hugging Face 每目录10,000文件限制
public_stream_playlist.json	完整索引文件，包含每条音轨的 stream_url 和 hf_path
play/play_counts.json	播放次数聚合数据（可选客户端回退方案）

注意：不能假定所有音轨都使用单一的平面 URL 模式，应通过播放列表中的 stream_url 字段获取每条音轨的正确地址。

使用方式

• 用途：免费收听与发现，属于创作者自有作品目录
• 商业权利：保留给管理人，除非另行授权
• 收听入口：
  • https://deepseekoracle.github.io/Excavationpro/excavationpro-listen.html
  • http://asiancoastline.com/ （自定义域名音乐门户）

相关资源

• GitHub 仓库：https://github.com/DeepSeekOracle/Excavationpro
• 协议栈：https://github.com/DeepSeekOracle/lygo-protocol-stack
• 文档：docs/SOVEREIGN_MUSIC_VAULT.md、docs/LATTICE_PUBLIC_HEALTH.md

搜集汇总

数据集介绍

构建方式

该数据集由艺术家Justin Helmer（又名Excavationpro、Lightfather）基于其原创音乐作品构建，汇集了10,762条公共音乐流媒体数据。每条音频以160 kbps的MP3格式编码，并通过SHA-256哈希值进行唯一标识与索引。数据集的物理存储采用扁平目录与分片目录相结合的方式：前约10,000条流媒体文件直接置于`stream/`目录下，超出部分则依据SHA哈希的前两位十六进制字符进行分片存储，以规避HuggingFace平台对单目录文件数的10,000条限制。此外，数据集配备了一份完整的播放列表索引文件`public_stream_playlist.json`，其中记录了每条音轨的流媒体地址或HuggingFace路径，确保访问的可靠性。

特点

该数据集以高可发现性与透明性为核心特点，所有音频均来自艺术家的自有作品，不依赖第三方分发平台如DistroKid，体现了主权音乐的理念。数据集采用扁平与分片混合的存储架构，在兼顾平台限制的同时维持了良好的可扩展性。播放列表索引文件为每条音轨提供了精确的`stream_url`或`hf_path`，避免了单一URL模式的假设风险。此外，数据集包含了可选的播放计数晶格聚合文件`play/play_counts.json`，为使用者提供了基础的使用统计反馈。整体上，这是一个公开、免费用于探索与聆听的音乐流媒体资源，商业权利仍归创作者所有。

使用方法

使用该数据集时，建议首先加载`public_stream_playlist.json`文件，从中读取每条音轨的`stream_url`或`hf_path`字段以获取实际的音频文件路径，而非直接猜测URL模式。音频文件为160 kbps的MP3格式，可直接用于播放或音频处理任务。若需获取计数信息，可解析`play/play_counts.json`文件。数据集的完整协议栈与文档可在GitHub仓库`DeepSeekOracle/Excavationpro`及`lygo-protocol-stack`中找到，其中`SOVEREIGN_MUSIC_VAULT.md`和`LATTICE_PUBLIC_HEALTH.md`提供了更深入的技术细节与使用指引。

背景与挑战

背景概述

Excavationpro Public Music Stream数据集由独立音乐人Justin Helmer（又名Excavationpro、Lightfather）于2026年创建，旨在构建一个去中心化的公共音乐流媒体资源库。该数据集收录了10,762条160 kbps的MP3音频流，采用SHA-256哈希指纹实现内容溯源，并基于Lygo协议栈与Sovereign Music Vault框架管理，探索了不受传统分发平台（如DistroKid）依赖的自主音乐发布模式。其核心研究问题围绕音乐资产的分布式存储、公开索引与听众发现机制展开，为独立音乐人在数字时代维护作品主权与传播自由提供了实验性范本。该数据集通过GitHub与自定义域名门户公开访问，对音乐流媒体技术栈的社区化演进具有启发性影响。

当前挑战

该数据集面临的首要领域挑战是数字音乐版权与分发权分离的实践难题——如何在确保艺术家主权的同时，实现公开播放与商业许可的清晰界定。构建过程中遇到了音频文件分片存储的技术挑战：由于HuggingFace平台对每个目录限制10,000个文件，10,762条流媒体必须采用SHA-256前两位十六进制哈希值进行两级目录散列，这要求索引文件public_stream_playlist.json提供精确的stream_url字段以定位每个轨道，而非依赖简单的扁平路径模式。此外，播放计数的去中心化聚合（play_counts.json作为可选回退方案）与本地CAS保险库的同步维护也增加了系统设计的复杂性。

常用场景

经典使用场景

Excavationpro Public Music Stream 数据集是一个专注于独立音乐流媒体分发与发现的数据集，包含超过一万条160 kbps的MP3音频流。其经典使用场景在于为音乐信息检索（MIR）系统提供真实的、低比特率的流媒体测试数据，研究者可基于此评估音频编码质量对分类、相似度计算等下游任务的影响。同时，该数据集因采用扁平的SHA-256文件结构与分片存储策略，非常适合用于研究大规模音频数据集的索引优化与分布式存储方案。此外，其公开播放列表JSON文件使得流式音频加载与元数据关联分析成为可能，为音频流媒体服务架构的学术探索提供了可靠的数据基础。

衍生相关工作

该数据集催生了若干具有影响力的衍生工作。例如，基于其Lygo协议栈的研究衍生出了《SOVEREIGN_MUSIC_VAULT》文档中描述的自主音乐库管理框架，为去中心化音乐存储与访问控制提供了理论模型。同时，LATTICE_PUBLIC_HEALTH文档中提出的播放计数聚合协议，被后续工作作为社交音乐元数据共享的参考架构。此外，数据集的SHA-256分片哈希策略启发了分布式哈希表（DHT）在音频文件存储领域的优化研究，相关论文探讨了如何在大规模流媒体场景下平衡负载与检索效率。这些衍生产出共同推动了独立音乐流媒体技术栈的标准化进程。

数据集最近研究

最新研究方向

在当前数字音乐分发日益集中于少数平台的背景下，excavationpro-music-stream数据集以其独特的主权音乐理念和自托管流媒体架构，开辟了去中心化音乐分发的前沿研究方向。该数据集由艺术家Justin Helmer主导，收录了逾万首160 kbps MP3格式的公开音乐流，采用基于SHA-256的平面与分片混合存储模式，突破了HuggingFace平台每目录万文件的限制，并配套完整的播放索引与计次聚合机制。其核心创新在于通过Lygo协议栈与格点签名技术，构建了独立于第三方分发渠道（如DistroKid）的音乐主权体系，为艺术家提供了完全可控的免费发现与流媒体播放通道。这一实践不仅回应了音乐人对于数据自主权与分发透明性的迫切需求，更与近年来Web3与创作者经济浪潮紧密呼应，其基于CAS保险库的本地管家模式与公开播放格点健康监测机制，或将为数字音乐生态中版权归属、流量验证与公平计酬等顽疾提供可操作的范式参考。