|
--- |
|
language: |
|
- zh |
|
|
|
license: mit |
|
|
|
tags: |
|
- RoBERTa |
|
|
|
inference: true |
|
|
|
widget: |
|
- text: "生活的真谛是[MASK]" |
|
--- |
|
|
|
# autohome-roberta-large |
|
|
|
## 简介 Brief Introduction |
|
|
|
善于处理NLU任务，采用全词掩码的，中文版的1.1亿参数RoBERTa-large。 |
|
|
|
|
|
## 模型分类 Model Taxonomy |
|
|
|
| 需求 Demand | 任务 Task | 系列 Series | 模型 Model | 参数 Parameter | 额外 Extra | |
|
| :----: | :----: | :----: | :----: | :----: | :----: | |
|
| 通用 General | 自然语言理解 NLU | RoBERTa | RoBERTa | 390M | 中文 Chinese | |
|
|
|
|
|
## 模型信息 Model Information |
|
|
|
参考论文：[RoBERTa: A Robustly Optimized BERT Pretraining Approach](https://arxiv.org/abs/1907.11692) |
|
|
|
为了得到一个中文版的autohome-roberta-large（390M），我们用autohome口碑板块语料库(1.2G)进行二次预训练。模型初始化参数采用hfl/chinese-bert-wwm-ext-large的参数进行初始化，我们在MLM中使用了全词掩码(wwm)的方式。具体地，我们在二次预训练阶段中使用了[transformers框架](https://github.com/huggingface/transformers)大概花费了4张A100约11小时。 |
|
|
|
|
|
## 使用 Usage |
|
|
|
```python |
|
from transformers import AutoModelForMaskedLM, AutoTokenizer, FillMaskPipeline |
|
import torch |
|
|
|
tokenizer=AutoTokenizer.from_pretrained('ChaosW/autohome-roberta-large') |
|
model=AutoModelForMaskedLM.from_pretrained('ChaosW/autohome-roberta-large') |
|
text = '生活的真谛是[MASK]。' |
|
fillmask_pipe = FillMaskPipeline(model, tokenizer, device=0) |
|
print(fillmask_pipe(text, top_k=10)) |
|
``` |
|
## 参考 Reference |
|
本readme参考 https://huggingface.co/IDEA-CCNL/Erlangshen-DeBERTa-v2-97M-Chinese |
|
|
|
## 下一步计划 Feature Work |
|
下一步将推出基于汽车论坛数据的定制化预训练模型 |
