MetonymousAI/Step-3.5-Flash-SFT-No-Tools
收藏资源简介:
该数据集是stepfun-ai/Step-3.5-Flash-SFT的一个过滤子集,名为Step-3.5-Flash-SFT No-Tools,专门用于文本生成任务。它包含纯聊天对话数据,经过严格过滤:仅保留原始JSON分片中的聊天行,要求对话结构为列表形式,每条消息为对象,消息角色仅限于系统、用户和助手,且排除了任何与工具相关的字段(如tools、tool_calls、tool_call_id)和工具角色。最终数据集包含1493471行数据,原始无工具行数为1495099,通过秘密扫描移除了1628行潜在敏感信息。数据以Parquet分片格式存储(位于data/train-*.parquet),适用于英语语言处理,规模在100万到1000万之间,许可证为other。
许可证:其他 任务类别: - 文本生成(text-generation) 语言: - 英语(en) 数据规模: - 100万<样本量<1000万(1M<n<10M) # Step-3.5-Flash-SFT 无工具版 本数据集为`stepfun-ai/Step-3.5-Flash-SFT`的过滤子集,仅保留原始JSON分片中的纯对话行。 最终保留样本数:`1493471` 秘密过滤前的无工具对话行数:`1495099` 经秘密扫描确认后移除的样本数:`1628` 核心数据文件为`data/train-*.parquet`路径下的Parquet分块文件。 过滤规则如下: - `conversations`必须为列表类型; - 每条对话消息必须为对象类型; - 对话消息的角色仅可限定为`system`、`user`与`assistant`; - 任一消息均不得包含`tools`、`tool_calls`或`tool_call_id`字段; - 任一消息的角色均不得为`tool`。 秘密过滤环节采用了Gitleaks行级扫描技术,最终验证扫描未发现需接受的违规样本。 可查阅`filter_manifest.json`、`parquet_manifest.json`及`secret_scan_report.redacted.json`以获取审计详情。



