cmeraki/ultrachat_hindi_seamless
收藏Hugging Face2024-01-04 更新2024-03-04 收录
下载链接:
https://hf-mirror.com/datasets/cmeraki/ultrachat_hindi_seamless
下载链接
链接失效反馈官方服务:
资源简介:
---
language:
- hi
- en
license: cc-by-nc-4.0
size_categories:
- 100K<n<1M
dataset_info:
features:
- name: messages
list:
- name: content
dtype: string
- name: role
dtype: string
splits:
- name: train_sft
num_bytes: 2761401316
num_examples: 185542
- name: test_sft
num_bytes: 147845678
num_examples: 10000
download_size: 952634359
dataset_size: 2909246994
configs:
- config_name: default
data_files:
- split: train_sft
path: data/train_sft-*
- split: test_sft
path: data/test_sft-*
---
# Dataset Card for Dataset Name
<!-- Provide a quick summary of the dataset. -->
This dataset card aims to be a base template for new datasets. It has been generated using [this raw template](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/datasetcard_template.md?plain=1).
## Dataset Details
### Dataset Description
<!-- Provide a longer summary of what this dataset is. -->
- **Curated by:** [More Information Needed]
- **Funded by [optional]:** [More Information Needed]
- **Shared by [optional]:** [More Information Needed]
- **Language(s) (NLP):** [More Information Needed]
- **License:** [More Information Needed]
### Dataset Sources [optional]
<!-- Provide the basic links for the dataset. -->
- **Repository:** [More Information Needed]
- **Paper [optional]:** [More Information Needed]
- **Demo [optional]:** [More Information Needed]
## Uses
<!-- Address questions around how the dataset is intended to be used. -->
### Direct Use
<!-- This section describes suitable use cases for the dataset. -->
[More Information Needed]
### Out-of-Scope Use
<!-- This section addresses misuse, malicious use, and uses that the dataset will not work well for. -->
[More Information Needed]
## Dataset Structure
<!-- This section provides a description of the dataset fields, and additional information about the dataset structure such as criteria used to create the splits, relationships between data points, etc. -->
[More Information Needed]
## Dataset Creation
### Curation Rationale
<!-- Motivation for the creation of this dataset. -->
[More Information Needed]
### Source Data
<!-- This section describes the source data (e.g. news text and headlines, social media posts, translated sentences, ...). -->
#### Data Collection and Processing
<!-- This section describes the data collection and processing process such as data selection criteria, filtering and normalization methods, tools and libraries used, etc. -->
[More Information Needed]
#### Who are the source data producers?
<!-- This section describes the people or systems who originally created the data. It should also include self-reported demographic or identity information for the source data creators if this information is available. -->
[More Information Needed]
### Annotations [optional]
<!-- If the dataset contains annotations which are not part of the initial data collection, use this section to describe them. -->
#### Annotation process
<!-- This section describes the annotation process such as annotation tools used in the process, the amount of data annotated, annotation guidelines provided to the annotators, interannotator statistics, annotation validation, etc. -->
[More Information Needed]
#### Who are the annotators?
<!-- This section describes the people or systems who created the annotations. -->
[More Information Needed]
#### Personal and Sensitive Information
<!-- State whether the dataset contains data that might be considered personal, sensitive, or private (e.g., data that reveals addresses, uniquely identifiable names or aliases, racial or ethnic origins, sexual orientations, religious beliefs, political opinions, financial or health data, etc.). If efforts were made to anonymize the data, describe the anonymization process. -->
[More Information Needed]
## Bias, Risks, and Limitations
<!-- This section is meant to convey both technical and sociotechnical limitations. -->
[More Information Needed]
### Recommendations
<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
Users should be made aware of the risks, biases and limitations of the dataset. More information needed for further recommendations.
## Citation [optional]
<!-- If there is a paper or blog post introducing the dataset, the APA and Bibtex information for that should go in this section. -->
**BibTeX:**
[More Information Needed]
**APA:**
[More Information Needed]
## Glossary [optional]
<!-- If relevant, include terms and calculations in this section that can help readers understand the dataset or dataset card. -->
[More Information Needed]
## More Information [optional]
[More Information Needed]
## Dataset Card Authors [optional]
[More Information Needed]
## Dataset Card Contact
[More Information Needed]
---
语言:
- 印地语(hi)
- 英语(en)
许可协议:知识共享署名-非商业性使用4.0国际许可协议(CC BY-NC 4.0)
规模类别:
- 100,000 < 样本数量 < 1,000,000
数据集信息:
特征字段:
- 字段名:messages,为列表类型,包含两个子字段:
- content:内容,数据类型为字符串(string)
- role:角色,数据类型为字符串(string)
数据划分:
- 划分名称:监督微调训练集(Supervised Fine-Tuning,SFT),字节大小:2761401316,样本数量:185542
- 划分名称:监督微调测试集(Supervised Fine-Tuning,SFT),字节大小:147845678,样本数量:10000
下载大小:952634359 字节
数据集总大小:2909246994 字节
配置项:
- 配置名称:default(默认配置),数据文件路径:
- 划分监督微调训练集(SFT):对应 data/train_sft-* 系列文件
- 划分监督微调测试集(SFT):对应 data/test_sft-* 系列文件
---
# 数据集卡片(Dataset Card)模板
<!-- 请简要概述该数据集。 -->
本数据集卡片旨在作为全新数据集的基础模板,其生成自[此原始模板](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/datasetcard_template.md?plain=1)。
## 数据集详情
### 数据集描述
<!-- 请详细说明该数据集的具体内容。 -->
- **整理者:** [需补充更多信息]
- **资助方(可选):** [需补充更多信息]
- **分享方(可选):** [需补充更多信息]
- **自然语言(NLP):** [需补充更多信息]
- **许可协议:** [需补充更多信息]
### 数据集来源(可选)
<!-- 请提供该数据集的基础关联链接。 -->
- **代码仓库:** [需补充更多信息]
- **相关论文(可选):** [需补充更多信息]
- **演示示例(可选):** [需补充更多信息]
## 数据集用途
<!-- 请说明该数据集的预期使用场景相关问题。 -->
### 直接使用场景
<!-- 此部分描述该数据集适用的各类用例。 -->
[需补充更多信息]
### 超出适用范围的使用场景
<!-- 此部分说明误用、恶意使用,以及该数据集无法良好适配的使用场景。 -->
[需补充更多信息]
## 数据集结构
<!-- 此部分描述数据集的字段信息,以及额外的数据集结构相关内容,例如数据划分的标准、数据点间的关联关系等。 -->
[需补充更多信息]
## 数据集创建
### 整理逻辑
<!-- 说明创建该数据集的核心动机。 -->
[需补充更多信息]
### 源数据
<!-- 此部分描述源数据的相关信息,例如新闻文本与标题、社交媒体帖子、翻译语句等。 -->
#### 数据收集与处理流程
<!-- 此部分说明数据收集和处理的完整流程,例如数据选择标准、过滤与归一化方法、使用的工具与库等。 -->
[需补充更多信息]
#### 源数据生产者是谁?
<!-- 此部分描述最初创建该数据的个人或系统。若可获取源数据创建者的自我报告人口统计或身份信息,也应一并纳入说明。 -->
[需补充更多信息]
### 标注信息(可选)
<!-- 若数据集包含初始数据收集之外的标注内容,请在此部分描述相关信息。 -->
#### 标注流程
<!-- 此部分说明标注流程的细节,例如过程中使用的标注工具、标注数据的总量、提供给标注人员的标注指南、标注者间一致性统计、标注验证机制等。 -->
[需补充更多信息]
#### 标注者是谁?
<!-- 此部分描述创建标注内容的个人或系统。 -->
[需补充更多信息]
#### 个人与敏感信息
<!-- 说明数据集是否包含可被视为个人、敏感或隐私的数据,例如揭示地址、唯一可识别的姓名或别名、种族或族裔起源、性取向、宗教信仰、政治观点、财务或健康数据等。若已采取措施对数据进行匿名化,请详细说明匿名化流程。 -->
[需补充更多信息]
## 偏差、风险与局限性
<!-- 此部分旨在说明技术与社会技术层面的各类局限性。 -->
### 相关建议
<!-- 此部分旨在针对数据集的偏差、风险和技术局限性给出相关建议。 -->
用户应充分知晓该数据集存在的风险、偏差与局限性。如需获取进一步的相关建议,还需补充更多信息。
## 引用信息(可选)
<!-- 若有介绍该数据集的论文或博客文章,此部分应包含其APA和BibTeX格式的引用信息。 -->
**BibTeX 格式:**
[需补充更多信息]
**APA 格式:**
[需补充更多信息]
## 术语表(可选)
<!-- 若有需要,可在此部分包含可帮助读者理解该数据集或数据集卡片的术语与计算方法。 -->
[需补充更多信息]
## 更多信息(可选)
[需补充更多信息]
## 数据集卡片作者(可选)
[需补充更多信息]
## 数据集卡片联系方式
[需补充更多信息]
提供机构:
cmeraki原始信息汇总
数据集详情
数据集描述
- 语言: 印地语 (hi), 英语 (en)
- 许可证: CC BY-NC 4.0
- 大小分类: 100K<n<1M
数据集信息
特征
- 名称: messages
- 内容:
- 名称: content
- 数据类型: string
- 名称: role
- 数据类型: string
- 名称: content
- 内容:
数据分割
- 训练集 (train_sft):
- 字节数: 2761401316
- 样本数: 185542
- 测试集 (test_sft):
- 字节数: 147845678
- 样本数: 10000
数据大小
- 下载大小: 952634359
- 数据集大小: 2909246994
配置
- 配置名称: default
- 数据文件:
- 分割: train_sft
- 路径: data/train_sft-*
- 分割: test_sft
- 路径: data/test_sft-*
- 分割: train_sft
- 数据文件:



