Update dataset and license
Browse files
README.md
CHANGED
|
@@ -8,6 +8,7 @@ license: "cc-by-sa-3.0"
|
|
| 8 |
datasets:
|
| 9 |
- "wikipedia"
|
| 10 |
- "oscar"
|
|
|
|
| 11 |
---
|
| 12 |
|
| 13 |
# 日本語T5事前学習済みモデル（公開準備中）
|
|
@@ -18,6 +19,7 @@ This is a T5 (Text-to-Text Transfer Transformer) model pretrained on Japanese co
|
|
| 18 |
|
| 19 |
* [Wikipedia](https://ja.wikipedia.org)の日本語ダンプデータ (2020年7月6日時点のもの)
|
| 20 |
* [OSCAR](https://oscar-corpus.com)の日本語コーパス
|
|
|
|
| 21 |
|
| 22 |
このモデルは事前学習のみを行なったものであり、特定のタスクに利用するにはファインチューニングする必要があります。
|
| 23 |
本モデルにも、大規模コーパスを用いた言語モデルにつきまとう、学習データの内容の偏りに由来する偏った（倫理的ではなかったり、有害だったり、バイアスがあったりする）出力結果になる問題が潜在的にあります。
|
|
@@ -78,3 +80,5 @@ livedoorニュースコーパスを用いたニュース記事のジャンル予
|
|
| 78 |
## ライセンス
|
| 79 |
|
| 80 |
[CC-BY SA 3.0](https://creativecommons.org/licenses/by-sa/3.0/deed.ja)
|
|
|
|
|
|
|
|
|
| 8 |
datasets:
|
| 9 |
- "wikipedia"
|
| 10 |
- "oscar"
|
| 11 |
+
- "cc100"
|
| 12 |
---
|
| 13 |
|
| 14 |
# 日本語T5事前学習済みモデル（公開準備中）
|
|
|
|
| 19 |
|
| 20 |
* [Wikipedia](https://ja.wikipedia.org)の日本語ダンプデータ (2020年7月6日時点のもの)
|
| 21 |
* [OSCAR](https://oscar-corpus.com)の日本語コーパス
|
| 22 |
+
* [CC-100](http://data.statmt.org/cc-100/)の日本語コーパス
|
| 23 |
|
| 24 |
このモデルは事前学習のみを行なったものであり、特定のタスクに利用するにはファインチューニングする必要があります。
|
| 25 |
本モデルにも、大規模コーパスを用いた言語モデルにつきまとう、学習データの内容の偏りに由来する偏った（倫理的ではなかったり、有害だったり、バイアスがあったりする）出力結果になる問題が潜在的にあります。
|
|
|
|
| 80 |
## ライセンス
|
| 81 |
|
| 82 |
[CC-BY SA 3.0](https://creativecommons.org/licenses/by-sa/3.0/deed.ja)
|
| 83 |
+
|
| 84 |
+
[Common Crawlの利用規約](http://commoncrawl.org/terms-of-use/)も守るようご注意ください。
|