metadata
language:
- zh
license: mit
tags:
- RoBERTa
inference: true
widget:
- text: 生活的真谛是[MASK]。
autohome-roberta-base
简介 Brief Introduction
善于处理NLU任务，采用全词掩码的，中文版的1.1亿参数RoBERTa-base。
模型分类 Model Taxonomy
| 需求 Demand | 任务 Task | 系列 Series | 模型 Model | 参数 Parameter | 额外 Extra |
|---|---|---|---|---|---|
| 通用 General | 自然语言理解 NLU | RoBERTa | RoBERTa | 390M | 中文 Chinese |
模型信息 Model Information
参考论文：RoBERTa: A Robustly Optimized BERT Pretraining Approach
为了得到一个中文版的autohome-roberta-large（110M），我们用autohome语料库(1.2G)进行二次预训练。我们在MLM中使用了全词掩码(wwm)的方式。具体地，我们在二次预训练阶段中使用了transformers框架大概花费了4张A100约11小时。
使用 Usage
from transformers import AutoModelForMaskedLM, AutoTokenizer, FillMaskPipeline
import torch
tokenizer=AutoTokenizer.from_pretrained('ChaosW/autohome-roberta-base')
model=AutoModelForMaskedLM.from_pretrained('ChaosW/autohome-roberta-base')
text = '生活的真谛是[MASK]。'
fillmask_pipe = FillMaskPipeline(model, tokenizer, device=0)
print(fillmask_pipe(text, top_k=10))
参考 Reference
本readme参考 https://huggingface.co/IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese