bert-base-chinese

Bert-base-chinese
Table of Contents
Model Details
Uses
Risks, Limitations and Biases
Training
Evaluation
How to Get Started With the Model
Model Details
Model Description: This model has been pre-trained for Chinese, training and random input masking has been applied independently to word pieces (as in the original BERT paper).

Developed by: HuggingFace team

Model Type: Fill-Mask

Language(s): Chinese

License: [More Information needed]

Parent Model: See the BERT base uncased model for more information about the BERT base model.

Uses
Direct Use
This model can be used for masked language modeling

Risks, Limitations and Biases
CONTENT WARNING: Readers should be aware this section contains content that is disturbing, offensive, and can propagate historical and current stereotypes.

Significant research has explored bias and fairness issues with language models (see, e.g., Sheng et al. (2021) and Bender et al. (2021)).

Training
Training Procedure
type_vocab_size: 2
vocab_size: 21128
num_hidden_layers: 12
Training Data

BERT-base-chinese 模型
目录
- 模型详情
- 模型用途
- 风险、局限性与偏倚
- 训练流程
- 评估方法
- 模型快速上手指南

模型详情
模型描述：本模型为中文预训练模型，已针对词块（word piece）独立应用训练与随机输入掩码操作，完全遵循原始BERT（Bidirectional Encoder Representations from Transformers）论文中的设定。
开发团队：HuggingFace 团队
模型类型：掩码填充（Fill-Mask）
支持语言：中文
许可证：[需获取更多信息]
父模型：有关BERT基础模型的详细信息，请参阅BERT base uncased 模型。

模型用途
直接用途：本模型可用于掩码语言建模（masked language modeling）。

风险、局限性与偏倚
内容警告：请注意本章节包含令人不适、具有冒犯性，且可能传播历史与当下刻板印象的内容。
已有大量研究针对语言模型的偏倚与公平性问题展开探讨（例如参见Sheng等人（2021）与Bender等人（2021）的相关研究）。

训练流程
训练参数：类型词表大小（type_vocab_size）：2；词表大小（vocab_size）：21128；隐藏层数量（num_hidden_layers）：12。
训练数据：

评估方法：[未提供具体内容]

模型快速上手指南：[未提供具体内容]

搜集汇总

背景与挑战

背景概述

bert-base-chinese是由HuggingFace团队开发的中文预训练模型，适用于掩码语言建模任务。该模型基于BERT架构，具有12个隐藏层和21128的词汇表大小，但部分训练和评估细节尚未完全公开。