davanstrien/test-transformers-cb-8b

---
tags:
- generated
- transformers
- continuous-batching
- uv-script
---

# Generated Responses Dataset

This dataset contains generated responses for prompts from [davanstrien/haiku_dpo](https://huggingface.co/datasets/davanstrien/haiku_dpo).

## Generation Details

- **Source Dataset**: [davanstrien/haiku_dpo](https://huggingface.co/datasets/davanstrien/haiku_dpo)
- **Input Column**: `question` (plain text prompts)
- **Model**: [Qwen/Qwen3-8B](https://huggingface.co/Qwen/Qwen3-8B)
- **Backend**: transformers continuous batching
- **Number of Examples**: 10
- **Generation Date**: 2026-03-24T18:44:26.007661

### Generation Parameters

- **Temperature**: 0.7
- **Top P**: 0.8
- **Top K**: 20
- **Max New Tokens**: 256
- **Max Batch Tokens**: 1024
- **Repetition Penalty**: 1.0

### Hardware Configuration

- **GPUs**: 1
- **Attention Implementation**: paged|sdpa

## Dataset Structure

The dataset contains all columns from the source dataset plus:
- `response`: The generated response from the model

## Generation Script

Generated using the transformers continuous batching script from [uv-scripts/transformers](https://huggingface.co/datasets/uv-scripts/transformers).

To reproduce this generation:

```bash
uv run https://huggingface.co/datasets/uv-scripts/transformers/raw/main/generate-responses.py \
davanstrien/haiku_dpo \
<output-dataset> \
--model-id Qwen/Qwen3-8B \
--prompt-column question \
--temperature 0.7 \
--top-p 0.8 \
--top-k 20 \
--max-tokens 256
```

---
标签：
- 生成式（generated）
- Transformers 框架（transformers）
- 连续批处理（continuous-batching）
- uv脚本（uv-script）
---

# 生成式响应数据集

本数据集包含来自[davanstrien/haiku_dpo](https://huggingface.co/datasets/davanstrien/haiku_dpo)的提示词对应的模型生成响应。

## 生成详情
- **源数据集**：[davanstrien/haiku_dpo](https://huggingface.co/datasets/davanstrien/haiku_dpo)
- **输入列**：`question`（纯文本提示词）
- **模型**：[Qwen/Qwen3-8B](https://huggingface.co/Qwen/Qwen3-8B)
- **后端**：Transformers 框架连续批处理（continuous-batching）
- **样本总量**：10条
- **生成日期**：2026-03-24T18:44:26.007661

### 生成参数
- **温度系数（Temperature）**：0.7
- **Top P 采样**：0.8
- **Top K 采样**：20
- **最大生成Token数（Max New Tokens）**：256
- **单批次最大Token数（Max Batch Tokens）**：1024
- **重复惩罚系数**：1.0

### 硬件配置
- **GPU数量**：1
- **注意力实现方式**：分页注意力（paged）|缩放点积注意力（SDPA）

## 数据集结构
本数据集包含源数据集的全部原生列，新增列如下：
- `response`：模型生成的响应内容

## 生成脚本
本数据集使用来自[uv-scripts/transformers](https://huggingface.co/datasets/uv-scripts/transformers)的Transformers框架连续批处理脚本生成。

如需复现该生成流程，请执行以下命令：
bash
uv run https://huggingface.co/datasets/uv-scripts/transformers/raw/main/generate-responses.py
davanstrien/haiku_dpo
<output-dataset>
--model-id Qwen/Qwen3-8B
--prompt-column question
--temperature 0.7
--top-p 0.8
--top-k 20
--max-tokens 256