typox-ai/Typo_Intent_OS

该数据集包含3383对关于Web3知识库的问题和答案，用于训练和测试应用于Web3场景的AI模型。数据格式包括AI生成的问题和用户选择的最佳答案。数据来源是通过TypoX生成的，并通过TypoCurator telegram Mini-app进行用户评估。注释方法包括问题生成、用户评估、参与规则、多数规则、重新评估、无效问题处理、质量保证和统计数据。

原始信息汇总

数据集概述

基本信息

• 许可证: MIT
• 任务类别: 问答
• 语言: 英语
• 名称: typo_intent_os
• 数据量: 1K<n<10K

数据描述

• 内容: 包含3383对关于Web3知识库的问题和答案，用于训练和测试应用于Web3场景的AI模型。
• 格式:
  • prompt: AI生成的提问。
  • completion: 由多数用户选择的候选答案。
• 示例: json { "prompt": "What is a primary advantage of using a decentralized finance (DeFi) platform?", "completion": "Direct peer-to-peer transactions without intermediaries." }

数据来源

• 生成: 使用TypoX生成问题和候选答案。TypoX是一个基于Web3知识库的Rag系统。
• 评估: 通过TypoCurator Telegram Mini-app进行用户选择。
• 参与: 每个问题至少由300人评估。
• 多数规则: 选项必须被超过75%的参与者选择才能被视为completion。
• 重新评估: 如果没有选项达到75%，问题将被重新评估，直到选项达到80%。
• 无效问题: 如果一个问题被超过1000人回答而没有任何选项达到75%，则被标记为无效。
• 质量保证: 预设500个已知答案的种子问题，以筛选用户。只有在这些问题上表现良好的用户的选择才会被计数。
• 统计: 平均每个问题由453人评估，completion选项的平均选择率为78.9%。数据集已进行两轮内部审查。