asoria/dask_test
收藏Hugging Face2024-05-24 更新2024-06-12 收录
下载链接：
https://hf-mirror.com/datasets/asoria/dask_test
下载链接
链接失效反馈官方服务：
资源简介：
This is a test on how to upload a dataset using dask:
```python
import dask.dataframe as dd
# First read from another repo or create your dataframe
df = dd.read_parquet("hf://datasets/asoria/columns_test@~parquet/**/*.parquet")
# And finally, push to HF repo
df.to_parquet('hf://datasets/asoria/dask_test')
```
提供机构：
asoria
原始信息汇总
数据集概述
数据集名称
- dask_test
数据集创建过程
- 使用
dask.dataframe从另一个仓库或本地创建数据框。 - 通过
dd.read_parquet方法读取Parquet格式的数据集，数据源路径为hf://datasets/asoria/columns_test@~parquet/**/*.parquet。 - 将处理后的数据框通过
df.to_parquet方法保存为Parquet格式，并推送至Hugging Face仓库，目标路径为hf://datasets/asoria/dask_test。
数据集格式
- Parquet
