add compression_rate details

app.py

@@ -16,6 +16,9 @@ title = '<div align="center">Tokenizer Arena ⚔️</div>'
 interface_list = [playground_tab, compression_tab, character_tab]
 tab_names = [" ⚔️ Playground", "🏆 Compression Leaderboard", "📊 Character Statistics"]
 
+# interface_list = [compression_tab, character_tab]
+# tab_names = ["🏆 Compression Leaderboard", "📊 Character Statistics"]
+
 with gr.Blocks(css="css/style.css", js="js/onload.js") as demo:
     gr.HTML(
         f"<h1 style='text-align: center; margin-bottom: 1rem'>{title}</h1>"
@@ -25,12 +28,12 @@ with gr.Blocks(css="css/style.css", js="js/onload.js") as demo:
             with gr.Tab(label=tab_name):
                 interface.render()
 
-    model_name = gr.Textbox(
-        placeholder="🔍 Add tokenizer from Hugging Face (e.g. Xenova/gpt-4o) and press ENTER...",
-        show_label=False,
-    )
-
-    model_name.submit()
+    # model_name = gr.Textbox(
+    #     placeholder="🔍 Add tokenizer from Hugging Face (e.g. Xenova/gpt-4o) and press ENTER...",
+    #     show_label=False,
+    # )
+    #
+    # model_name.submit()
 
 # demo.load(js=open("js/onload.js", "r", encoding="utf-8").read())
 

compression_app.py

@@ -37,9 +37,9 @@ The encoding and decoding process can be formulated as
 - **Lossless** <br>
 Lossless tokenization preserves the exact original text, i.e. `decoded_text = input_text`.
 
-  - Most lossy tokenizers get many out-of-vocabulary tokens. 👉 Check the [oov of bert-base-uncased](https://huggingface.co/spaces/eson/tokenizer-arena/raw/main/stats/google-bert.bert-base-casedcc100.zh-Hans.diff.json).
+  - Most lossy tokenizers get many out-of-vocabulary tokens. 👉 Check the [oov of bert-base-uncased](https://huggingface.co/spaces/eson/tokenizer-arena/raw/main/stats/google-bert.bert-base-cased%20@%20cc100.zh-Hans.diff.json).
   - Some other tokenizers have no oov, but still be lossy due to text normalization. For example qwen performs [unicode normalization](https://github.com/huggingface/transformers/blob/v4.42.3/src/transformers/models/qwen2/tokenization_qwen2.py#L338),
-    which may bring some [slight difference](https://huggingface.co/spaces/eson/tokenizer-arena/raw/main/stats/compression_rate/Qwen.Qwen1.5-1.8B%20@%20cc100.ja.diff.jsonn) to the reconstructed text. 
+    which may bring some [slight difference](https://huggingface.co/spaces/eson/tokenizer-arena/raw/main/stats/compression_rate/Qwen.Qwen1.5-1.8B%20@%20cc100.ja.diff.json) to the reconstructed text. 
 
 - **Compression Rate** <br>
 There are mainly two types of metric to represent the `input_text`:
@@ -49,8 +49,6 @@ There are mainly two types of metric to represent the `input_text`:
 To evaluate compression rate, simple metrics can be "how many bytes per token" or "how many chars per token". <br>
 In this leaderboard, we adopt more frequently used metric: "how many billion tokens per gigabytes corpus" and "how many chars 
 per token", i.e. `b_tokens/g_bytes` and `char/token`.
-
-
 💬 [Discussions is Welcome](https://huggingface.co/spaces/eson/tokenizer-arena/discussions)
 """
 

playground_app.py

@@ -5,10 +5,10 @@
 import gradio as gr
 from vocab import tokenizer_factory
 from playground_examples import example_types, example_fn
-from playground_util import tokenize, tokenize_pair, basic_count, get_overlap_token_size, on_load
-
-
-
+from playground_util import (tokenize,
+                             tokenize_pair, basic_count,
+                             get_overlap_token_size, on_load,
+                             default_user_input, default_tokenizer_name_1, default_tokenizer_name_2)
 
 get_window_url_params = """
     function(url_params) {
@@ -39,7 +39,7 @@ with gr.Blocks() as demo:
             elem_classes="example-style"
         )
     user_input = gr.Textbox(
-        # value=default_user_input,
+        value=default_user_input,
         label="Input Text",
         lines=5,
         show_label=False,
@@ -77,6 +77,7 @@ with gr.Blocks() as demo:
                 tokenizer_name_1 = gr.Dropdown(
                     all_tokenizer_name,
                     label="Tokenizer 1",
+                    value=default_tokenizer_name_1,
                 )
                 with gr.Group():
                     with gr.Row():
@@ -120,6 +121,7 @@ with gr.Blocks() as demo:
                 tokenizer_name_2 = gr.Dropdown(
                     all_tokenizer_name,
                     label="Tokenizer 2",
+                    value=default_tokenizer_name_2
                 )
                 with gr.Group():
                     with gr.Row():

stats/character_stats.json

@@ -1784,5 +1784,24 @@
     "len(ja-kana)": "1,1,3",
     "num(ko)": 0,
     "len(ko)": "-"
+  },
+  "rinna/bilingual-gpt-neox-4b": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/rinna/bilingual-gpt-neox-4b\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">bilingual-gpt-neox-4b</a>",
+    "organization": "ABEJA",
+    "vocab_size": 65536,
+    "num(digit)": 266,
+    "len(digit)": "1,6,6",
+    "num(space)": 3,
+    "len(space)": "1,1,1",
+    "num(ar)": 108,
+    "len(ar)": "1,1,4",
+    "num(zh)": 30158,
+    "len(zh)": "1,2,16",
+    "num(ja)": 40298,
+    "len(ja)": "1,3,16",
+    "num(ja-kana)": 21366,
+    "len(ja-kana)": "1,4,16",
+    "num(ko)": 384,
+    "len(ko)": "1,1,1"
   }
 }

stats/compression_rate/ClassCat.gpt2-base-french @ cc100.ar.diff.json

@@ -0,0 +1,104 @@
+[
+  {
+    "text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة .. ( 1)",
+    "decoded_text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة.. ( 1)",
+    "diff": [
+      "delete    text[42:43] --> decoded_text[42:42]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "decoded_text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "diff": [
+      "insert    text[97:97] --> decoded_text[97:98]       '' --> 'َ'",
+      "delete    text[98:99] --> decoded_text[99:99]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "الهدف من دراسة التاريخ هو لنتعرف احوال الشعوب , نتخذ عبرا ودروسا تساعدنا على بناء مستقبل لنا.",
+    "decoded_text": "الهدف من دراسة التاريخ هو لنتعرف احوال الشعوب, نتخذ عبرا ودروسا تساعدنا على بناء مستقبل لنا.",
+    "diff": [
+      "delete    text[45:46] --> decoded_text[45:45]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "الحضارة هي مجموعة من الانجازات التي حققتها الامة من خلال تاريخها في جميع المجالات .",
+    "decoded_text": "الحضارة هي مجموعة من الانجازات التي حققتها الامة من خلال تاريخها في جميع المجالات.",
+    "diff": [
+      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يعود الكاتب محمد الشريف زرقين صاحب كتاب \" ربيب الدولة، الخوف من المجهول \" مرة أخرى لقضية الأطفال مجهولي الهوية في كتاب جديد اختار هذه المرة أن يعالج فيه وضعيتهم من الجانب القانوني و الديني، بهدف حث علماء الدين و المشرعين القانونيين لإعادة النظر في فتاويهم و القوانين المجحفة التي تتحكم في مصائر هذه الفئة الضعيفة في المجتمع ، كما اخبرنا في هذا الحوار الخاص ، مصرحا انه لو كان الخيار بيده لاختار البقاء مع أمه البيولوجية التي اضطرت للتخلي عنه عند ولادته. الكتاب الذي عرف أيضا مساهمة كل من مليكة بن عراب آتو عضوة في البرلمان الأوربي ، المحامية بن براهم فطيمة و رئيس جامعة الأمير عبد القادر بقسنطينة السيد عبد الله بوخلخال في بعض أجزائه بمداخلات حول الموضوع، يطرح تساؤلات مبرهنة موجهة لكل من المشرعين و المفتيين كما قال لنا السيد زرقين مشيرا أنه يتوقع أن تحفز هذه الأخيرة على الاجتهاد لتحسين وضعية الأطفال المسعفين و ضمان حقوقهم . حاورته: أمينة جنان",
+    "decoded_text": "يعود الكاتب محمد الشريف زرقين صاحب كتاب \" ربيب الدولة، الخوف من المجهول \" مرة أخرى لقضية الأطفال مجهولي الهوية في كتاب جديد اختار هذه المرة أن يعالج فيه وضعيتهم من الجانب القانوني و الديني، بهدف حث علماء الدين و المشرعين القانونيين لإعادة النظر في فتاويهم و القوانين المجحفة التي تتحكم في مصائر هذه الفئة الضعيفة في المجتمع ، كما اخبرنا في هذا الحوار الخاص ، مصرحا انه لو كان الخيار بيده لاختار البقاء مع أمه البيولوجية التي اضطرت للتخلي عنه عند ولادته. الكتاب الذي عرف أيضا مساهمة كل من مليكة بن عراب آتو عضوة ��ي البرلمان الأوربي ، المحامية بن براهم فطيمة و رئيس جامعة الأمير عبد القادر بقسنطينة السيد عبد الله بوخلخال في بعض أجزائه بمداخلات حول الموضوع، يطرح تساؤلات مبرهنة موجهة لكل من المشرعين و المفتيين كما قال لنا السيد زرقين مشيرا أنه يتوقع أن تحفز هذه الأخيرة على الاجتهاد لتحسين وضعية الأطفال المسعفين و ضمان حقوقهم. حاورته: أمينة جنان",
+    "diff": [
+      "delete    text[825:826] --> decoded_text[825:825]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "\"مولودين باسم مجهول \" يطرح الكثير من التساؤلات الشجاعة التي تعيد النظر بعمق في هذه الفتاوي ، داعيا علماء الدين للاجتهاد حسب متطلبات عصر ال \"آ دي ان \" و أنا مستعد للجلوس على طاولة واحدة معهم لإجراء مناضرة أقدم فيها أدلة من القرآن لإبراز تناقضات فادحة و فتاويهم المغرضة التي تهدد مصائر الملايين من الأطفال في العالم ، فليس من حق المفتى أن يحرف آية أو حديث أو يتلاعب بتفسيرها لتتحول إلى قوانين مجحفة في حقهم لدرجة أن الطفل يشعر انه ما كان يجب أن يولد و أن يأتي لهذه الحياة . رغم أن الرسول عليه الصلاة و السلام يقول في أحد أحاديثه الصحيحة أن الله يرسل في اليوم الأربعين من تكون الجنين في بطن أمه ملكا ينفخ فيه الروح ، و هذا دليل على أن الحياة بإرادة من الله لجميع الناس أيا كانوا ، فبأي حق يتعدى البشر على حق غيرهم في الوجود .",
+    "decoded_text": "\"مولودين باسم مجهول \" يطرح الكثير من التساؤلات الشجاعة التي تعيد النظر بعمق في هذه الفتاوي ، داعيا علماء الدين للاجتهاد حسب متطلبات عصر ال \"آ دي ان \" و أنا مستعد للجلوس على طاولة واحدة معهم لإجراء مناضرة أقدم فيها أدلة من القرآن لإبراز تناقضات فادحة و فتاويهم المغرضة التي تهدد مصائر الملايين من الأطفال في العالم ، فليس من حق المفتى أن يحرف آية أو حديث أو يتلاعب بتفسيرها لتتحول إلى قوانين مجحفة في حقهم لدرجة أن الطفل يشعر انه ما كان يجب أن يولد و أن يأتي لهذه الحياة. رغم أن الرسول عليه الصلاة و السلام يقول في أحد أحاديثه الصحيحة أن الله يرسل في اليوم الأربعين من تكون الجنين في بطن أمه ملكا ينفخ فيه الروح ، و هذا دليل على أن الحياة بإرادة من الله لجميع الناس أيا كانوا ، فبأي حق يتعدى البشر على حق غيرهم في الوجود.",
+    "diff": [
+      "delete    text[469:470] --> decoded_text[469:469]      ' ' --> ''",
+      "delete    text[720:721] --> decoded_text[719:719]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يجب أن تتحرك الأمة الإسلامية في هذا السياق لأن المجتمع الذي لا يأخذ أطفاله المحرومين من يدهم ليعبر بهم بر الأمان لا يستحق العيش و ليست له أية كرامة .",
+    "decoded_text": "يجب أن تتحرك الأمة الإسلامية في هذا السياق لأن المجتمع الذي لا يأخذ أطفاله المحرومين من يدهم ليعبر بهم بر الأمان لا يستحق العيش و ليست له أية كرامة.",
+    "diff": [
+      "delete    text[147:148] --> decoded_text[147:147]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "البنوك الإسلامية في المملكة العربية السعودية _ عربية CNBC",
+    "decoded_text": "البنوك الإسلامية في المملكة العربية السعودية _ عربية cnbc",
+    "diff": [
+      "replace   text[53:57] --> decoded_text[53:57]   'CNBC' --> 'cnbc'"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.07017543859649122,
+    "oov_charset": "[\"C\", \"N\", \"B\"]"
+  },
+  {
+    "text": "يستضيف راشد الفوزان في حلقة هذا الأسبوع من برنامج \"بموضوعية\" الرئيس التنفيذي للمجموعة السعودية للورق، حسان مريزن عسيري، للحديث عن نشأة المجموعة والمجالات التي تغطيها في السوق السعودي. ...",
+    "decoded_text": "يستضيف راشد الفوزان في حلقة هذا الأسبوع من برنامج \"بموضوعية\" الرئيس التنفيذي للمجموعة السعودية للورق، حسان مريزن عسيري، للحديث عن نشأة المجموعة والمجالات التي تغطيها في السوق السعودي....",
+    "diff": [
+      "delete    text[183:184] --> decoded_text[183:183]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يلتقي راشد الفوزان في برنامجه \"بموضوعية\" برئيس مجلس إدارة مجموعة \"القريان\" التجارية، محمد بن قريان القحطاني، والذي تناول عدة موضوعات أهمها أن المجموعة تهتم بعمليات إعادة تدوير المعادن خاصة الحديد والنحاس، وأن نشاط مجموعة \"القريان\" بدأ منذ 25 عاماً في السوق السعودي، واستعرض أيضاً ...",
+    "decoded_text": "يلتقي راشد الفوزان في برنامجه \"بموضوعية\" برئيس مجلس إدارة مجموعة \"القريان\" التجارية، محمد بن قريان القحطاني، والذي تناول عدة موضوعات أهمها أن المجموعة تهتم بعمليات إعادة تدوير المعادن خاصة الحديد والنحاس، وأن نشاط مجموعة \"القريان\" بدأ منذ 25 عاماً في السوق السعودي، واستعرض أيضاً...",
+    "diff": [
+      "delete    text[279:280] --> decoded_text[279:279]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-french @ cc100.de.diff.json

@@ -0,0 +1,194 @@
+[
+  {
+    "text": "Bereits eine Woche vorher am Samstag, 2. Dezember ist die „Püngel-Weihnacht“ in Siegburg-Kaldauen um 18 Uhr (Einlass 17.30 Uhr) im Restaurant Kaldauer Hof zu hören. Hier ist im Eintrittspreis von 18,50 € ein Abendessen enthalten. Auch hier gibt es einen Mitsingteil für die Gäste.",
+    "decoded_text": "bereits eine woche vorher am samstag, 2. dezember ist die „püngel-weihnacht“ in siegburg-kaldauen um 18 uhr (einlass 17.30 uhr) im restaurant kaldauer hof zu hören. hier ist im eintrittspreis von 18,50 € ein abendessen enthalten. auch hier gibt es einen mitsingteil für die gäste.",
+    "diff": [
+      "replace   text[0:14] --> decoded_text[0:14] 'Bereits eine W' --> 'bereits eine w'",
+      "replace   text[29:30] --> decoded_text[29:30]      'S' --> 's'",
+      "replace   text[41:42] --> decoded_text[41:42]      'D' --> 'd'",
+      "replace   text[59:60] --> decoded_text[59:60]      'P' --> 'p'",
+      "replace   text[66:67] --> decoded_text[66:67]      'W' --> 'w'",
+      "replace   text[80:81] --> decoded_text[80:81]      'S' --> 's'",
+      "replace   text[89:90] --> decoded_text[89:90]      'K' --> 'k'",
+      "replace   text[104:105] --> decoded_text[104:105]      'U' --> 'u'",
+      "replace   text[109:110] --> decoded_text[109:110]      'E' --> 'e'",
+      "replace   text[123:124] --> decoded_text[123:124]      'U' --> 'u'",
+      "replace   text[131:152] --> decoded_text[131:152] 'Restaurant Kaldauer H' --> 'restaurant kaldauer h'",
+      "replace   text[165:178] --> decoded_text[165:178] 'Hier ist im E' --> 'hier ist im e'",
+      "replace   text[208:231] --> decoded_text[208:231] 'Abendessen enthalten. A' --> 'abendessen enthalten. a'",
+      "replace   text[254:255] --> decoded_text[254:255]      'M' --> 'm'",
+      "replace   text[274:275] --> decoded_text[274:275]      'G' --> 'g'"
+    ],
+    "n_oov_chars": 20,
+    "oov_ratio": 0.07142857142857142,
+    "oov_charset": "[\"B\", \"W\", \"S\", \"D\", \"P\", \"K\", \"U\", \"E\", \"R\", \"H\", \"A\", \"M\", \"G\"]"
+  },
+  {
+    "text": "Der Chor bietet noch einen weiteren Termin im Rahmen der „Püngel-Weihnacht“ an.",
+    "decoded_text": "der chor bietet noch einen weiteren termin im rahmen der „püngel-weihnacht“ an.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'D' --> 'd'",
+      "replace   text[4:5] --> decoded_text[4:5]      'C' --> 'c'",
+      "replace   text[36:37] --> decoded_text[36:37]      'T' --> 't'",
+      "replace   text[46:47] --> decoded_text[46:47]      'R' --> 'r'",
+      "replace   text[58:59] --> decoded_text[58:59]      'P' --> 'p'",
+      "replace   text[65:66] --> decoded_text[65:66]      'W' --> 'w'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.0759493670886076,
+    "oov_charset": "[\"D\", \"C\", \"T\", \"R\", \"P\", \"W\"]"
+  },
+  {
+    "text": "02683 967019. Die Karten können auch per Email bestellt werden: [email protected]",
+    "decoded_text": "02683 967019. die karten können auch per email bestellt werden: [email protected]",
+    "diff": [
+      "replace   text[14:15] --> decoded_text[14:15]      'D' --> 'd'",
+      "replace   text[18:19] --> decoded_text[18:19]      'K' --> 'k'",
+      "replace   text[41:42] --> decoded_text[41:42]      'E' --> 'e'",
+      "replace   text[64:65] --> decoded_text[64:65]      'E' --> 'e'",
+      "replace   text[67:68] --> decoded_text[67:68]      'K' --> 'k'",
+      "replace   text[76:77] --> decoded_text[76:77]      'W' --> 'w'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.05825242718446602,
+    "oov_charset": "[\"D\", \"K\", \"E\", \"W\"]"
+  },
+  {
+    "text": "Der Chor wünscht Ihnen schon jetzt viel Vergnügen.",
+    "decoded_text": "der chor wünscht ihnen schon jetzt viel vergnügen.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'D' --> 'd'",
+      "replace   text[4:5] --> decoded_text[4:5]      'C' --> 'c'",
+      "replace   text[17:18] --> decoded_text[17:18]      'I' --> 'i'",
+      "replace   text[40:41] --> decoded_text[40:41]      'V' --> 'v'"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.08,
+    "oov_charset": "[\"D\", \"C\", \"I\", \"V\"]"
+  },
+  {
+    "text": "Die Verarbeitung kann auch auf elektronischem Wege erfolgen. Dies ist insbesondere dann der Fall, wenn ein Bewerber entsprechende Bewerbungsunterlagen auf dem elektronischen Wege, beispielsweise per E-Mail oder über ein auf der Internetseite befindliches Webformular, an den für die Verarbeitung Verantwortlichen übermittelt. Sollten Sie über einen Account in einem berufsorientierten sozialen Netzwerk wie etwa Xing oder LinkedIn verfügen, können wir die Daten auch von Ihrer öffentlich einsehbaren Profilseite erheben. Zwecke der Verarbeitung und Rechtsgrundlage Wir verarbeiten Ihre personenbezogenen Daten ausschließlich zum Zwecke der Durchführung des Bewerbungsverfahrens.",
+    "decoded_text": "die verarbeitung kann auch auf elektronischem wege erfolgen. dies ist insbesondere dann der fall, wenn ein bewerber entsprechende bewerbungsunterlagen auf dem elektronischen wege, beispielsweise per e-mail oder über ein auf der internetseite befindliches webformular, an den für die verarbeitung verantwortlichen übermittelt. sollten sie über einen account in einem berufsorientierten sozialen netzwerk wie etwa xing oder linkedin verfügen, können wir die daten auch von ihrer öffentlich einsehbaren profilseite erheben. zwecke der verarbeitung und rechtsgrundlage wir verarbeiten ihre personenbezogenen daten ausschließlich zum zwecke der durchführung des bewerbungsverfahrens.",
+    "diff": [
+      "replace   text[0:5] --> decoded_text[0:5]  'Die V' --> 'die v'",
+      "replace   text[46:47] --> decoded_text[46:47]      'W' --> 'w'",
+      "replace   text[61:93] --> decoded_text[61:93] 'Dies ist insbesondere dann der F' --> 'dies ist insbesondere dann der f'",
+      "replace   text[107:108] --> decoded_text[107:108]      'B' --> 'b'",
+      "replace   text[130:131] --> decoded_text[130:131]      'B' --> 'b'",
+      "replace   text[174:175] --> decoded_text[174:175]      'W' --> 'w'",
+      "replace   text[199:200] --> decoded_text[199:200]      'E' --> 'e'",
+      "replace   text[201:202] --> decoded_text[201:202]      'M' --> 'm'",
+      "replace   text[228:256] --> decoded_text[228:256] 'Internetseite befindliches W' --> 'internetseite befindliches w'",
+      "replace   text[283:297] --> decoded_text[283:297] 'Verarbeitung V' --> 'verarbeitung v'",
+      "replace   text[326:335] --> decoded_text[326:335] 'Sollten S' --> 'sollten s'",
+      "replace   text[349:350] --> decoded_text[349:350]      'A' --> 'a'",
+      "replace   text[394:395] --> decoded_text[394:395]      'N' --> 'n'",
+      "replace   text[412:429] --> decoded_text[412:429] 'Xing oder LinkedI' --> 'xing oder linkedi'",
+      "replace   text[456:472] --> decoded_text[456:472] 'Daten auch von I' --> 'daten auch von i'",
+      "replace   text[500:501] --> decoded_text[500:501]      'P' --> 'p'",
+      "replace   text[521:582] --> decoded_text[521:582] 'Zwecke der Verarbeitung und Rechtsgrundlage Wir verarbeiten I' --> 'zwecke der verarbeitung und rechtsgrundlage wir verarbeiten i'",
+      "replace   text[604:605] --> decoded_text[604:605]      'D' --> 'd'",
+      "replace   text[629:641] --> decoded_text[629:641] 'Zwecke der D' --> 'zwecke der d'",
+      "replace   text[657:658] --> decoded_text[657:658]      'B' --> 'b'"
+    ],
+    "n_oov_chars": 33,
+    "oov_ratio": 0.048672566371681415,
+    "oov_charset": "[\"D\", \"V\", \"W\", \"F\", \"B\", \"E\", \"M\", \"I\", \"S\", \"A\", \"N\", \"X\", \"L\", \"P\", \"Z\", \"R\"]"
+  },
+  {
+    "text": "Sofern wir mit dem Bewerber einen Anstellungsvertrag abschließen, werden die übermittelten Daten zum Zwecke der Abwicklung des Beschäftigungsverhältnisses unter Beachtung der gesetzlichen Vorschriften gespeichert. Ansonsten werden die personenbezogenen Daten sechs Monate nach Beendigung des Bewerbungsverfahrens gelöscht, sofern einer Löschung keine sonstigen berechtigten Interessen des für die Verarbeitung Verantwortlichen entgegenstehen.",
+    "decoded_text": "sofern wir mit dem bewerber einen anstellungsvertrag abschließen, werden die übermittelten daten zum zwecke der abwicklung des beschäftigungsverhältnisses unter beachtung der gesetzlichen vorschriften gespeichert. ansonsten werden die personenbezogenen daten sechs monate nach beendigung des bewerbungsverfahrens gelöscht, sofern einer löschung keine sonstigen berechtigten interessen des für die verarbeitung verantwortlichen entgegenstehen.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'S' --> 's'",
+      "replace   text[19:35] --> decoded_text[19:35] 'Bewerber einen A' --> 'bewerber einen a'",
+      "replace   text[91:92] --> decoded_text[91:92]      'D' --> 'd'",
+      "replace   text[101:102] --> decoded_text[101:102]      'Z' --> 'z'",
+      "replace   text[112:113] --> decoded_text[112:113]      'A' --> 'a'",
+      "replace   text[127:128] --> decoded_text[127:128]      'B' --> 'b'",
+      "replace   text[161:162] --> decoded_text[161:162]      'B' --> 'b'",
+      "replace   text[188:189] --> decoded_text[188:189]      'V' --> 'v'",
+      "replace   text[214:215] --> decoded_text[214:215]      'A' --> 'a'",
+      "replace   text[253:293] --> decoded_text[253:293] 'Daten sechs Monate nach Beendigung des B' --> 'daten sechs monate nach beendigung des b'",
+      "replace   text[336:337] --> decoded_text[336:337]      'L' --> 'l'",
+      "replace   text[374:375] --> decoded_text[374:375]      'I' --> 'i'",
+      "replace   text[397:411] --> decoded_text[397:411] 'Verarbeitung V' --> 'verarbeitung v'"
+    ],
+    "n_oov_chars": 18,
+    "oov_ratio": 0.04072398190045249,
+    "oov_charset": "[\"S\", \"B\", \"A\", \"D\", \"Z\", \"V\", \"M\", \"L\", \"I\"]"
+  },
+  {
+    "text": "Innerhalb unseres Hauses erhalten diejenigen internen Stellen bzw. Organisationseinheiten Ihre Daten, die diese zur Erfüllung unserer vertraglichen und gesetzlichen Pflichten (wie Führungskräfte und Fachverantwortliche, die einen neuen Mitarbeiter suchen oder an der Entscheidung über die Stellenbesetzung mitwirken, Buchhaltung, Betriebsarzt, Arbeitssicherheit, ggf. Mitarbeitervertretung usw.) oder im Rahmen der Bearbeitung und Umsetzung unseres berechtigten Interesses benötigen.",
+    "decoded_text": "innerhalb unseres hauses erhalten diejenigen internen stellen bzw. organisationseinheiten ihre daten, die diese zur erfüllung unserer vertraglichen und gesetzlichen pflichten (wie führungskräfte und fachverantwortliche, die einen neuen mitarbeiter suchen oder an der entscheidung über die stellenbesetzung mitwirken, buchhaltung, betriebsarzt, arbeitssicherheit, ggf. mitarbeitervertretung usw.) oder im rahmen der bearbeitung und umsetzung unseres berechtigten interesses benötigen.",
+    "diff": [
+      "replace   text[0:19] --> decoded_text[0:19] 'Innerhalb unseres H' --> 'innerhalb unseres h'",
+      "replace   text[54:55] --> decoded_text[54:55]      'S' --> 's'",
+      "delete    text[67:77] --> decoded_text[67:67] 'Organisati' --> ''",
+      "replace   text[78:117] --> decoded_text[68:117] 'nseinheiten Ihre Daten, die diese zur E' --> 'rganisationseinheiten ihre daten, die diese zur e'",
+      "replace   text[165:166] --> decoded_text[165:166]      'P' --> 'p'",
+      "replace   text[180:181] --> decoded_text[180:181]      'F' --> 'f'",
+      "replace   text[199:200] --> decoded_text[199:200]      'F' --> 'f'",
+      "replace   text[236:237] --> decoded_text[236:237]      'M' --> 'm'",
+      "replace   text[267:268] --> decoded_text[267:268]      'E' --> 'e'",
+      "replace   text[289:290] --> decoded_text[289:290]      'S' --> 's'",
+      "replace   text[317:345] --> decoded_text[317:345] 'Buchhaltung, Betriebsarzt, A' --> 'buchhaltung, betriebsarzt, a'",
+      "replace   text[368:369] --> decoded_text[368:369]      'M' --> 'm'",
+      "replace   text[404:463] --> decoded_text[404:463] 'Rahmen der Bearbeitung und Umsetzung unseres berechtigten I' --> 'rahmen der bearbeitung und umsetzung unseres berechtigten i'"
+    ],
+    "n_oov_chars": 21,
+    "oov_ratio": 0.043478260869565216,
+    "oov_charset": "[\"I\", \"H\", \"S\", \"O\", \"D\", \"E\", \"P\", \"F\", \"M\", \"B\", \"A\", \"R\", \"U\"]"
+  },
+  {
+    "text": "Eine Weitergabe Ihrer Daten an externe Stellen erfolgt ausschließlich zu Zwecken,",
+    "decoded_text": "eine weitergabe ihrer daten an externe stellen erfolgt ausschließlich zu zwecken,",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'E' --> 'e'",
+      "replace   text[5:6] --> decoded_text[5:6]      'W' --> 'w'",
+      "replace   text[16:17] --> decoded_text[16:17]      'I' --> 'i'",
+      "replace   text[22:23] --> decoded_text[22:23]      'D' --> 'd'",
+      "replace   text[39:40] --> decoded_text[39:40]      'S' --> 's'",
+      "replace   text[73:74] --> decoded_text[73:74]      'Z' --> 'z'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.07407407407407407,
+    "oov_charset": "[\"E\", \"W\", \"I\", \"D\", \"S\", \"Z\"]"
+  },
+  {
+    "text": "bei denen wir zur Erfüllung gesetzlicher Vorgaben zur Auskunft, Meldung oder Weitergabe von Daten verpflichtet oder berechtigt sind oder die Datenweitergabe im öffentlichen Interesse liegt;",
+    "decoded_text": "bei denen wir zur erfüllung gesetzlicher vorgaben zur auskunft, meldung oder weitergabe von daten verpflichtet oder berechtigt sind oder die datenweitergabe im öffentlichen interesse liegt;",
+    "diff": [
+      "replace   text[18:19] --> decoded_text[18:19]      'E' --> 'e'",
+      "replace   text[41:42] --> decoded_text[41:42]      'V' --> 'v'",
+      "replace   text[54:55] --> decoded_text[54:55]      'A' --> 'a'",
+      "replace   text[64:65] --> decoded_text[64:65]      'M' --> 'm'",
+      "replace   text[77:78] --> decoded_text[77:78]      'W' --> 'w'",
+      "replace   text[92:93] --> decoded_text[92:93]      'D' --> 'd'",
+      "replace   text[141:142] --> decoded_text[141:142]      'D' --> 'd'",
+      "replace   text[173:174] --> decoded_text[173:174]      'I' --> 'i'"
+    ],
+    "n_oov_chars": 8,
+    "oov_ratio": 0.042328042328042326,
+    "oov_charset": "[\"E\", \"V\", \"A\", \"M\", \"W\", \"D\", \"I\"]"
+  },
+  {
+    "text": "aufgrund unseres berechtigten Interesses oder des berechtigten Interesses des Dritten (z.B. an Behörden, Auskunfteien, Rechtsanwälte, Gerichte, Gutachter, und Gremien und Kontrollinstanzen);",
+    "decoded_text": "aufgrund unseres berechtigten interesses oder des berechtigten interesses des dritten (z.b. an behörden, auskunfteien, rechtsanwälte, gerichte, gutachter, und gremien und kontrollinstanzen);",
+    "diff": [
+      "replace   text[30:31] --> decoded_text[30:31]      'I' --> 'i'",
+      "replace   text[63:64] --> decoded_text[63:64]      'I' --> 'i'",
+      "replace   text[78:79] --> decoded_text[78:79]      'D' --> 'd'",
+      "replace   text[89:90] --> decoded_text[89:90]      'B' --> 'b'",
+      "replace   text[95:96] --> decoded_text[95:96]      'B' --> 'b'",
+      "replace   text[105:106] --> decoded_text[105:106]      'A' --> 'a'",
+      "replace   text[119:120] --> decoded_text[119:120]      'R' --> 'r'",
+      "replace   text[134:135] --> decoded_text[134:135]      'G' --> 'g'",
+      "replace   text[144:145] --> decoded_text[144:145]      'G' --> 'g'",
+      "replace   text[159:160] --> decoded_text[159:160]      'G' --> 'g'",
+      "replace   text[171:172] --> decoded_text[171:172]      'K' --> 'k'"
+    ],
+    "n_oov_chars": 11,
+    "oov_ratio": 0.05789473684210526,
+    "oov_charset": "[\"I\", \"D\", \"B\", \"A\", \"R\", \"G\", \"K\"]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-french @ cc100.en.diff.json

@@ -0,0 +1,123 @@
+[
+  {
+    "text": "Belmont Estate is on the market for $63 million and boasts roughly 22,000 square feet of luxurious finishes and elaborate architecture on 1.28 acres. Listed on Thursday, the home is being sold by high-end real estate firm Sotheby’s International Realty Canada.",
+    "decoded_text": "belmont estate is on the market for $63 million and boasts roughly 22,000 square feet of luxurious finishes and elaborate architecture on 1.28 acres. listed on thursday, the home is being sold by high-end real estate firm sotheby’s international realty canada.",
+    "diff": [
+      "replace   text[0:9] --> decoded_text[0:9] 'Belmont E' --> 'belmont e'",
+      "replace   text[150:161] --> decoded_text[150:161] 'Listed on T' --> 'listed on t'",
+      "replace   text[222:223] --> decoded_text[222:223]      'S' --> 's'",
+      "replace   text[232:254] --> decoded_text[232:254] 'International Realty C' --> 'international realty c'"
+    ],
+    "n_oov_chars": 8,
+    "oov_ratio": 0.03076923076923077,
+    "oov_charset": "[\"B\", \"E\", \"L\", \"T\", \"S\", \"I\", \"R\", \"C\"]"
+  },
+  {
+    "text": "“Within the city we’ve had homes that have sold for $56 million, $33 million, $31 million but this will be the record of the offering price,” listing agent Christa Frosch of Sotheby’s tells BuzzBuzzNews.",
+    "decoded_text": "“within the city we’ve had homes that have sold for $56 million, $33 million, $31 million but this will be the record of the offering price,” listing agent christa frosch of sotheby’s tells buzzbuzznews.",
+    "diff": [
+      "replace   text[1:2] --> decoded_text[1:2]      'W' --> 'w'",
+      "replace   text[156:175] --> decoded_text[156:175] 'Christa Frosch of S' --> 'christa frosch of s'",
+      "replace   text[190:191] --> decoded_text[190:191]      'B' --> 'b'",
+      "replace   text[194:195] --> decoded_text[194:195]      'B' --> 'b'",
+      "replace   text[198:199] --> decoded_text[198:199]      'N' --> 'n'"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.034482758620689655,
+    "oov_charset": "[\"W\", \"C\", \"F\", \"S\", \"B\", \"N\"]"
+  },
+  {
+    "text": "The three-storey home has five bedrooms, twelve bathrooms and an elevator in the west wing. Built to entertain, two main gallery halls can seat up to 100 guests. The Italian-inspired kitchen includes a fireplace and walls and ceilings throughout the home feature murals and artwork. Lavish amenities include an indoor pool and sauna, a six-car garage and a private entrance in-law’s suite.",
+    "decoded_text": "the three-storey home has five bedrooms, twelve bathrooms and an elevator in the west wing. built to entertain, two main gallery halls can seat up to 100 guests. the italian-inspired kitchen includes a fireplace and walls and ceilings throughout the home feature murals and artwork. lavish amenities include an indoor pool and sauna, a six-car garage and a private entrance in-law’s suite.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'T' --> 't'",
+      "replace   text[92:93] --> decoded_text[92:93]      'B' --> 'b'",
+      "replace   text[162:167] --> decoded_text[162:167]  'The I' --> 'the i'",
+      "replace   text[283:284] --> decoded_text[283:284]      'L' --> 'l'"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.012853470437017995,
+    "oov_charset": "[\"T\", \"B\", \"I\", \"L\"]"
+  },
+  {
+    "text": "Surrounding the property is a Versailles-inspired garden with a variety of trees, plants and an orchard. In the spring, over 12,000 flowers bloom in the tiered, three-level garden.",
+    "decoded_text": "surrounding the property is a versailles-inspired garden with a variety of trees, plants and an orchard. in the spring, over 12,000 flowers bloom in the tiered, three-level garden.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'S' --> 's'",
+      "replace   text[30:31] --> decoded_text[30:31]      'V' --> 'v'",
+      "replace   text[105:106] --> decoded_text[105:106]      'I' --> 'i'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.016666666666666666,
+    "oov_charset": "[\"S\", \"V\", \"I\"]"
+  },
+  {
+    "text": "According to Frosch, the listing has received global attention and, despite being on the market for only 24 hours, buyers are already showing interest.",
+    "decoded_text": "according to frosch, the listing has received global attention and, despite being on the market for only 24 hours, buyers are already showing interest.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'A' --> 'a'",
+      "replace   text[13:14] --> decoded_text[13:14]      'F' --> 'f'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.013245033112582781,
+    "oov_charset": "[\"A\", \"F\"]"
+  },
+  {
+    "text": "“We just went to the market yesterday, it’s private through Sotheby’s and we’ve already started to get calls,” says Frosch.",
+    "decoded_text": "“we just went to the market yesterday, it’s private through sotheby’s and we’ve already started to get calls,” says frosch.",
+    "diff": [
+      "replace   text[1:2] --> decoded_text[1:2]      'W' --> 'w'",
+      "replace   text[60:61] --> decoded_text[60:61]      'S' --> 's'",
+      "replace   text[116:117] --> decoded_text[116:117]      'F' --> 'f'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.024390243902439025,
+    "oov_charset": "[\"W\", \"S\", \"F\"]"
+  },
+  {
+    "text": "Stay well hydrated—that means you should include about 48- 64 ounces of liquid (non-calorie) each day. You will be drinking small amounts (“sips”) every hour through the day since you will not be able to drink a large amount all at once.",
+    "decoded_text": "stay well hydrated—that means you should include about 48- 64 ounces of liquid (non-calorie) each day. you will be drinking small amounts (“sips”) every hour through the day since you will not be able to drink a large amount all at once.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'S' --> 's'",
+      "replace   text[103:104] --> decoded_text[103:104]      'Y' --> 'y'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.008438818565400843,
+    "oov_charset": "[\"S\", \"Y\"]"
+  },
+  {
+    "text": "On Day Four after your surgery, begin adding liquid protein during this Phase (20 to 30 grams per day). That means you should buy a protein powder suggested by your dietitian, doctor or nurse. We recommend:",
+    "decoded_text": "on day four after your surgery, begin adding liquid protein during this phase (20 to 30 grams per day). that means you should buy a protein powder suggested by your dietitian, doctor or nurse. we recommend:",
+    "diff": [
+      "replace   text[0:13] --> decoded_text[0:7] 'On Day Four a' --> 'on day '",
+      "insert    text[14:14] --> decoded_text[8:14]       '' --> 'our af'",
+      "replace   text[72:73] --> decoded_text[72:73]      'P' --> 'p'",
+      "replace   text[104:105] --> decoded_text[104:105]      'T' --> 't'",
+      "replace   text[193:194] --> decoded_text[193:194]      'W' --> 'w'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.02912621359223301,
+    "oov_charset": "[\"O\", \"D\", \"F\", \"P\", \"T\", \"W\"]"
+  },
+  {
+    "text": "Unjury (20grams of whey protein isolate per packet) once a day (available at our office or www.UNJURY.com or 800-517-5111",
+    "decoded_text": "unjury (20grams of whey protein isolate per packet) once a day (available at our office or www.unjury.com or 800-517-5111",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'U' --> 'u'",
+      "replace   text[95:101] --> decoded_text[95:101] 'UNJURY' --> 'unjury'"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.05785123966942149,
+    "oov_charset": "[\"U\", \"N\", \"J\", \"R\", \"Y\"]"
+  },
+  {
+    "text": "Watch for signs of dehydration!",
+    "decoded_text": "watch for signs of dehydration!",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'W' --> 'w'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.03225806451612903,
+    "oov_charset": "[\"W\"]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-french @ cc100.es.diff.json

@@ -0,0 +1,114 @@
+[
+  {
+    "text": "\"Se trata de un trabajo de cerca de seis meses. paciente, articulado, contra la organización criminal \"Los Sanguinarios del Norte Chico\" dedicados a la extorsión, robo, sicariato, tráfico ilícito de drogas.\", explicó Medina.",
+    "decoded_text": "\"se trata de un trabajo de cerca de seis meses. paciente, articulado, contra la organización criminal \"los sanguinarios del norte chico\" dedicados a la extorsión, robo, sicariato, tráfico ilícito de drogas.\", explicó medina.",
+    "diff": [
+      "replace   text[1:2] --> decoded_text[1:2]      'S' --> 's'",
+      "replace   text[103:108] --> decoded_text[103:108]  'Los S' --> 'los s'",
+      "replace   text[124:131] --> decoded_text[124:131] 'Norte C' --> 'norte c'",
+      "replace   text[217:218] --> decoded_text[217:218]      'M' --> 'm'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.026785714285714284,
+    "oov_charset": "[\"S\", \"L\", \"N\", \"C\", \"M\"]"
+  },
+  {
+    "text": "Hasta el momento se han detenido a 48 integrantes de la organización criminal.",
+    "decoded_text": "hasta el momento se han detenido a 48 integrantes de la organización criminal.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'H' --> 'h'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01282051282051282,
+    "oov_charset": "[\"H\"]"
+  },
+  {
+    "text": "A \"Los Sanguinarios del Norte Chico\" se les ha atribuido al menos 17 homicidios cometidos por sicarios debido a ajustes de cuentas para el control del cobro de cupos o contra objetivos que se negaban a acatar sus condiciones.",
+    "decoded_text": "a \"los sanguinarios del norte chico\" se les ha atribuido al menos 17 homicidios cometidos por sicarios debido a ajustes de cuentas para el control del cobro de cupos o contra objetivos que se negaban a acatar sus condiciones.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'A' --> 'a'",
+      "replace   text[3:8] --> decoded_text[3:8]  'Los S' --> 'los s'",
+      "replace   text[24:31] --> decoded_text[24:31] 'Norte C' --> 'norte c'"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.022222222222222223,
+    "oov_charset": "[\"A\", \"L\", \"S\", \"N\", \"C\"]"
+  },
+  {
+    "text": "En este megaoperativo han participado 800 agentes de la Policia Nacional del Peru y 85 fiscales, quienes se han desplazado en 130 vehículos. Asimismo, e los 47 detenidos, 10 son mujeres.",
+    "decoded_text": "en este megaoperativo han participado 800 agentes de la policia nacional del peru y 85 fiscales, quienes se han desplazado en 130 vehículos. asimismo, e los 47 detenidos, 10 son mujeres.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'E' --> 'e'",
+      "replace   text[56:57] --> decoded_text[56:57]      'P' --> 'p'",
+      "replace   text[64:65] --> decoded_text[64:65]      'N' --> 'n'",
+      "replace   text[77:78] --> decoded_text[77:78]      'P' --> 'p'",
+      "replace   text[141:142] --> decoded_text[141:142]      'A' --> 'a'"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.026881720430107527,
+    "oov_charset": "[\"E\", \"P\", \"N\", \"A\"]"
+  },
+  {
+    "text": "1. El período de vacaciones anuales retribuidas, no sustituible",
+    "decoded_text": "1. el período de vacaciones anuales retribuidas, no sustituible",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      'E' --> 'e'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015873015873015872,
+    "oov_charset": "[\"E\"]"
+  },
+  {
+    "text": "– Art. 2, Ley 4/1983, de 29 de junio, de fijación de la jornada",
+    "decoded_text": "– art. 2, ley 4/1983, de 29 de junio, de fijación de la jornada",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'A' --> 'a'",
+      "replace   text[10:11] --> decoded_text[10:11]      'L' --> 'l'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.031746031746031744,
+    "oov_charset": "[\"A\", \"L\"]"
+  },
+  {
+    "text": "2. El período o períodos de su disfrute se fijará de común",
+    "decoded_text": "2. el período o períodos de su disfrute se fijará de común",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      'E' --> 'e'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017241379310344827,
+    "oov_charset": "[\"E\"]"
+  },
+  {
+    "text": "con lo establecido en su caso en los Convenios Colectivos",
+    "decoded_text": "con lo establecido en su caso en los convenios colectivos",
+    "diff": [
+      "replace   text[37:38] --> decoded_text[37:38]      'C' --> 'c'",
+      "replace   text[47:48] --> decoded_text[47:48]      'C' --> 'c'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.03508771929824561,
+    "oov_charset": "[\"C\"]"
+  },
+  {
+    "text": "En caso de desacuerdo entre las partes, la jurisdicción competente",
+    "decoded_text": "en caso de desacuerdo entre las partes, la jurisdicción competente",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'E' --> 'e'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015151515151515152,
+    "oov_charset": "[\"E\"]"
+  },
+  {
+    "text": "– Art. 4 Ley 11/1994, de 19 de mayo, por la que se modifican",
+    "decoded_text": "– art. 4 ley 11/1994, de 19 de mayo, por la que se modifican",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'A' --> 'a'",
+      "replace   text[9:10] --> decoded_text[9:10]      'L' --> 'l'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.03333333333333333,
+    "oov_charset": "[\"A\", \"L\"]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-french @ cc100.fa.diff.json

@@ -0,0 +1,106 @@
+[
+  {
+    "text": "آشپزخانه کوچک من: February 2012",
+    "decoded_text": "آشپزخانه کوچک من: february 2012",
+    "diff": [
+      "replace   text[18:19] --> decoded_text[18:19]      'F' --> 'f'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.03225806451612903,
+    "oov_charset": "[\"F\"]"
+  },
+  {
+    "text": "با رایانامه ارسال کنیداین را در وبلاگ بنویسید!‏در Twitter به اشتراک بگذارید‏در Facebook به اشتراک بگذارید‏اشتراک‌گذاری در Pinterest",
+    "decoded_text": "با رایانامه ارسال کنیداین را در وبلاگ بنویسید!‏در twitter به اشتراک بگذارید‏در facebook به اشتراک بگذارید‏اشتراک‌گذاری در pinterest",
+    "diff": [
+      "replace   text[50:51] --> decoded_text[50:51]      'T' --> 't'",
+      "replace   text[79:80] --> decoded_text[79:80]      'F' --> 'f'",
+      "replace   text[122:123] --> decoded_text[122:123]      'P' --> 'p'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.022900763358778626,
+    "oov_charset": "[\"T\", \"F\", \"P\"]"
+  },
+  {
+    "text": "( کره از شیر درست میشه. وقتی کره رو از شیر جدا میکنن باقی مانده شیر میشه باتر میلک . اگر دسترسی به باتر میلک ندارید میتونید خودتون درستش کنید",
+    "decoded_text": "( کره از شیر درست میشه. وقتی کره رو از شیر جدا میکنن باقی مانده شیر میشه باتر میلک. اگر دسترسی به باتر میلک ندارید میتونید خودتون درستش کنید",
+    "diff": [
+      "delete    text[82:83] --> decoded_text[82:82]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "بادمجانها رو بشورید و سرشون رو برش بدید و داخل بادمجانها رو خالی کنید با هر چیزی که میتونید مثل قاشق بستنی و ..",
+    "decoded_text": "بادمجانها رو بشورید و سرشون رو برش بدید و داخل بادمجانها رو خالی کنید با هر چیزی که میتونید مثل قاشق بستنی و..",
+    "diff": [
+      "delete    text[108:109] --> decoded_text[108:108]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "بعد مقداری نمک اضافه کنید و اب بریزید \" این سوپ با اب مرغ درست میشه اما چون من گیاه خوار هستم به جاش از پودر سبزیجات استفاده کردم .. اینجـــــــــــــــا میتونید دستورش رو ببینید. (روی کلمه اینجا کیک کنید)",
+    "decoded_text": "بعد مقداری نمک اضافه کنید و اب بریزید \" این سوپ با اب مرغ درست میشه اما چون من گیاه خوار هستم به جاش از پودر سبزیجات استفاده کردم.. اینجـــــــــــــــا میتونید دستورش رو ببینید. (روی کلمه اینجا کیک کنید)",
+    "diff": [
+      "delete    text[129:130] --> decoded_text[129:129]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "به اشپزخانه کوچک من خوش امدید از اونجایی که عاشق اشپزی هستم و از اشپزی لذت میبرم و خیلی اشپز خوبیم(خود شیفتگی مزمن) تصمیم گرفتم که دانسته هایم را با شما به اشتراک بگذارم امیدوارم که شما هم استفاده کامل رو از اشپزخانه من ببرید همه این غذاهایی که می بینید دست پخت اینجانب می باشد لطفا, خواهشا , التماس میکنم اگر از کارهام کپی کردین اسم این اشپز معروف رو هم بیارید اگر این کار رو نکنید انشا الله به حق 124 هزار پیغمبر به زودی بترکین ________________________ استفاده از عکسهای اشپزخانه کوچک من در فضاهای مجازی و نشریات چاپی فقط با اجازه رسمی نگارنده و با ذکر منبع و نشانی وبلاگ مجاز است. × استفاده از عکسها در کتاب یا روزنامه ,مجله امثال آن صرفا با اجازه رسمی نگارنده مجاز است . در غیر اینصورت پیگیری قضایی صورت خواهد گرفت.",
+    "decoded_text": "به اشپزخانه کوچک من خوش امدید از اونجایی که عاشق اشپزی هستم و از اشپزی لذت میبرم و خیلی اشپز خوبیم(خود شیفتگی مزمن) تصمیم گرفتم که دانسته هایم را با شما به اشتراک بگذارم امیدوارم که شما هم استفاده کامل رو از اشپزخانه من ببرید همه این غذاهایی که می بینید دست پخت اینجانب می باشد لطفا, خواهشا, التماس میکنم اگر از کارهام کپی کردین اسم این اشپز معروف رو هم بیارید اگر این کار رو نکنید انشا الله به حق 124 هزار پیغمبر به زودی بترکین ________________________ استفاده از عکسهای اشپزخانه کوچک من در فضاهای مجازی و نشریات چاپی فقط با اجازه رسمی نگارنده و با ذکر منبع و نشانی وبلاگ مجاز است. × استفاده از عکسها در کتاب یا روزنامه,مجله امثال آن صرفا با اجازه رسمی نگارنده مجاز است. در غیر اینصورت پیگیری قضایی صورت خواهد گرفت.",
+    "diff": [
+      "delete    text[290:291] --> decoded_text[290:290]      ' ' --> ''",
+      "delete    text[621:622] --> decoded_text[620:620]      ' ' --> ''",
+      "delete    text[672:673] --> decoded_text[670:670]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: نشاسته: 200 گرم==== 1و2/3 پیمانه ماست: 180 گرم ==== 3/4 پیمانه ارد : 1 قاشق چای خوری زعفران اب شده : 1 قاشق غذا ...",
+    "decoded_text": "مواد لازم: نشاسته: 200 گرم==== 1و2/3 پیمانه ماست: 180 گرم ==== 3/4 پیمانه ارد : 1 قاشق چای خوری زعفران اب شده : 1 قاشق غذا...",
+    "diff": [
+      "delete    text[122:123] --> decoded_text[122:122]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: تخم مرغ :4 عدد ارد: 3/4 پیمانه شکر:3/4 پیمانه وانیل: یک قاشق چایخوری بیکینگ پودر:1/2 قاشق چای خوری خامه به مقدار لازم ...",
+    "decoded_text": "مواد لازم: تخم مرغ :4 عدد ارد: 3/4 پیمانه شکر:3/4 پیمانه وانیل: یک قاشق چایخوری بیکینگ پودر:1/2 قاشق چای خوری خامه به مقدار لازم...",
+    "diff": [
+      "delete    text[128:129] --> decoded_text[128:128]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: سیب زمینی: 4 عدد درشت پیاز : یک عدد کوچک فلفل دلمه ای : 1/4 یک عدد فلفل قارچ: 1 عدد سیر:2 حبه رب:1 قاشق غذا خوری ...",
+    "decoded_text": "مواد لازم: سیب زمینی: 4 عدد درشت پیاز : یک عدد کوچک فلفل دلمه ای : 1/4 یک عدد فلفل قارچ: 1 عدد سیر:2 حبه رب:1 قاشق غذا خوری...",
+    "diff": [
+      "delete    text[123:124] --> decoded_text[123:123]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: کدو سبز: 1 عدد درشت پیازچه: 2 عدد ریز خرد شده پودر سوخاری : 1 پیمانه پنیر پارمسان : 1/2 پیمانه ریز رنده شده نمک ...",
+    "decoded_text": "مواد لازم: کدو سبز: 1 عدد درشت پیازچه: 2 عدد ریز خرد شده پودر سوخاری : 1 پیمانه پنیر پارمسان : 1/2 پیمانه ریز رنده شده نمک...",
+    "diff": [
+      "delete    text[122:123] --> decoded_text[122:122]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-french @ cc100.fr.diff.json

@@ -0,0 +1,106 @@
+[
+  {
+    "text": "Bon, comme je ne suis pas le seul à avoir envisagé de créer ce sujet, je me suis dis qu'il était peut être temps de le commencer.",
+    "decoded_text": "bon, comme je ne suis pas le seul à avoir envisagé de créer ce sujet, je me suis dis qu'il était peut être temps de le commencer.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'B' --> 'b'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007751937984496124,
+    "oov_charset": "[\"B\"]"
+  },
+  {
+    "text": "Vous dites ce que vous voulez, faut justes des infos autour desquelles on réfléchira.",
+    "decoded_text": "vous dites ce que vous voulez, faut justes des infos autour desquelles on réfléchira.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'V' --> 'v'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.011764705882352941,
+    "oov_charset": "[\"V\"]"
+  },
+  {
+    "text": "Encore une fois, vous n'etes pas obligé de vous dévoilez entièrement",
+    "decoded_text": "encore une fois, vous n'etes pas obligé de vous dévoilez entièrement",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'E' --> 'e'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.014705882352941176,
+    "oov_charset": "[\"E\"]"
+  },
+  {
+    "text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée ?\" le matin, il y a de fortes chances que j'oublie",
+    "decoded_text": "- je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée?\" le matin, il y a de fortes chances que j'oublie",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'J' --> 'j'",
+      "delete    text[193:194] --> decoded_text[193:193]      ' ' --> ''"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.004098360655737705,
+    "oov_charset": "[\"J\"]"
+  },
+  {
+    "text": "- Je peux penser une chose et son contraire. Par exemple, quand ma mère dit que les politiciens ne foutent rien pour les attentats, je me dit que si, ils essaient des trucs, mais pourtant je pense aussi qu'ils n'en ont rien à branler.",
+    "decoded_text": "- je peux penser une chose et son contraire. par exemple, quand ma mère dit que les politiciens ne foutent rien pour les attentats, je me dit que si, ils essaient des trucs, mais pourtant je pense aussi qu'ils n'en ont rien à branler.",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'J' --> 'j'",
+      "replace   text[45:46] --> decoded_text[45:46]      'P' --> 'p'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.008547008547008548,
+    "oov_charset": "[\"J\", \"P\"]"
+  },
+  {
+    "text": "- Je penses et réfléchit tout seul sur des sujets n'ayant rien à voir avec une situation. Exemple, quand j'attends mes soeurs et ma mère devant un magasin, je réfléchit à la création du monde.",
+    "decoded_text": "- je penses et réfléchit tout seul sur des sujets n'ayant rien à voir avec une situation. exemple, quand j'attends mes soeurs et ma mère devant un magasin, je réfléchit à la création du monde.",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'J' --> 'j'",
+      "replace   text[90:91] --> decoded_text[90:91]      'E' --> 'e'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.010416666666666666,
+    "oov_charset": "[\"J\", \"E\"]"
+  },
+  {
+    "text": "- Je suis arrogant avec ma famille, mais faible avec mes \"amis\" du lycée, et ait tendance à preférer ceux que je connais par Internet ou ailleurs qu'au lycée",
+    "decoded_text": "- je suis arrogant avec ma famille, mais faible avec mes \"amis\" du lycée, et ait tendance à preférer ceux que je connais par internet ou ailleurs qu'au lycée",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'J' --> 'j'",
+      "replace   text[125:126] --> decoded_text[125:126]      'I' --> 'i'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.012738853503184714,
+    "oov_charset": "[\"J\", \"I\"]"
+  },
+  {
+    "text": "- Je dois être mentalement instable, par moments",
+    "decoded_text": "- je dois être mentalement instable, par moments",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'J' --> 'j'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.020833333333333332,
+    "oov_charset": "[\"J\"]"
+  },
+  {
+    "text": "- Je n'envoie que très peu de sms et n'appelle personne",
+    "decoded_text": "- je n'envoie que très peu de sms et n'appelle personne",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'J' --> 'j'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01818181818181818,
+    "oov_charset": "[\"J\"]"
+  },
+  {
+    "text": "- J'ai tendance à voir les autres humains \"normaux\" comme des abrutis n'ayant aucune ou peu de capacités de réflexions, et je sais que je ne dois pas",
+    "decoded_text": "- j'ai tendance à voir les autres humains \"normaux\" comme des abrutis n'ayant aucune ou peu de capacités de réflexions, et je sais que je ne dois pas",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'J' --> 'j'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.006711409395973154,
+    "oov_charset": "[\"J\"]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-french @ cc100.ja.diff.json

@@ -0,0 +1,103 @@
+[
+  {
+    "text": "午後から雨が心配だったので遠出はせず、『ふれあいロード』を走って来ました！",
+    "decoded_text": "午後から雨が心配だったので遠出はせず、『ふれあいロード』を走って来ました!",
+    "diff": [
+      "replace   text[36:37] --> decoded_text[36:37]      '！' --> '!'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.02702702702702703,
+    "oov_charset": "[\"！\"]"
+  },
+  {
+    "text": "実は、１年程前にエルモサの右目の黒目の端によ〜く見ないと分からない程の小さな斑を見つけてたんです。",
+    "decoded_text": "実は、1年程前にエルモサの右目の黒目の端によ〜く見ないと分からない程の小さな斑を見つけてたんです。",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      '１' --> '1'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.02040816326530612,
+    "oov_charset": "[\"１\"]"
+  },
+  {
+    "text": "なので、エルディとのお散歩でも訪れたことがありません。 カタクリの花が５分咲きとの情報から今回コースの１つに取り入れてみました。",
+    "decoded_text": "なので、エルディとのお散歩でも訪れたことがありません。 カタクリの花が5分咲きとの情報から今回コースの1つに取り入れてみました。",
+    "diff": [
+      "replace   text[35:36] --> decoded_text[35:36]      '５' --> '5'",
+      "replace   text[51:52] --> decoded_text[51:52]      '１' --> '1'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.03125,
+    "oov_charset": "[\"５\", \"１\"]"
+  },
+  {
+    "text": "今日の天気予報は雨じゃなかったはず。結野アナ言っていたもん。……でもゲリラ豪雨にはご注意とも言っていた。気がする。はい、そうですね、傘持ってこなかった俺が悪いですね。",
+    "decoded_text": "今日の天気予報は雨じゃなかったはず。結野アナ言っていたもん。......でもゲリラ豪雨にはご注意とも言っていた。気がする。はい、そうですね、傘持ってこなかった俺が悪いですね。",
+    "diff": [
+      "replace   text[30:32] --> decoded_text[30:36]     '……' --> '......'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.024096385542168676,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "何故こんなものを……と首を傾げて、ふと見覚えがあることに気付いた。どんなものだったのかは曖昧だが、それをどうしたかだけはよく覚えている。",
+    "decoded_text": "何故こんなものを......と首を傾げて、ふと見覚えがあることに気付いた。どんなものだったのかは曖昧だが、それをどうしたかだけはよく覚えている。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:14]     '……' --> '......'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.029411764705882353,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "戦時中、敵が「桂を討ち取った！」と声高々に喚くのを何度も聞いたことがある。桂に限らず、四天王のメンツは大体白羽の矢が立っていたが。",
+    "decoded_text": "戦時中、敵が「桂を討ち取った!」と声高々に喚くのを何度も聞いたことがある。桂に限らず、四天王のメンツは大体白羽の矢が立っていたが。",
+    "diff": [
+      "replace   text[14:15] --> decoded_text[14:15]      '！' --> '!'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015384615384615385,
+    "oov_charset": "[\"！\"]"
+  },
+  {
+    "text": "自分１人ではどうしようもならないのが、借金返済・多重債務の問題です。",
+    "decoded_text": "自分1人ではどうしようもならないのが、借金返済・多重債務の問題です。",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      '１' --> '1'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.029411764705882353,
+    "oov_charset": "[\"１\"]"
+  },
+  {
+    "text": "潟上市の人も、まずインターネットの無料相談で、弁護士・司法書士に相談してみませんか？",
+    "decoded_text": "潟上市の人も、まずインターネットの無料相談で、弁護士・司法書士に相談してみませんか?",
+    "diff": [
+      "replace   text[41:42] --> decoded_text[41:42]      '？' --> '?'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.023809523809523808,
+    "oov_charset": "[\"？\"]"
+  },
+  {
+    "text": "１人で悩むより、まず弁護士・司法書士に相談することが、借金問題解決への第一歩です。",
+    "decoded_text": "1人で悩むより、まず弁護士・司法書士に相談することが、借金問題解決への第一歩です。",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      '１' --> '1'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.024390243902439025,
+    "oov_charset": "[\"１\"]"
+  },
+  {
+    "text": "潟上市で任意整理や債務整理について、弁護士・司法書士へ無料相談してみては？365日・24時間受付可能な相談事務所を紹介しています。",
+    "decoded_text": "潟上市で任意整理や債務整理について、弁護士・司法書士へ無料相談してみては?365日・24時間受付可能な相談事務所を紹介しています。",
+    "diff": [
+      "replace   text[36:37] --> decoded_text[36:37]      '？' --> '?'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015384615384615385,
+    "oov_charset": "[\"？\"]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-french @ cc100.ko.diff.json

@@ -0,0 +1,111 @@
+[
+  {
+    "text": "+ HOME > 라이브스코어",
+    "decoded_text": "+ home > 라이브스코어",
+    "diff": [
+      "replace   text[2:6] --> decoded_text[2:6]   'HOME' --> 'home'"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.26666666666666666,
+    "oov_charset": "[\"H\", \"O\", \"M\", \"E\"]"
+  },
+  {
+    "text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246 .270 .508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
+    "decoded_text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246.270.508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
+    "diff": [
+      "delete    text[59:60] --> decoded_text[59:59]      ' ' --> ''",
+      "delete    text[64:65] --> decoded_text[63:63]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "여기서승리한 2팀이 준결승에 오른다. 결국 A, B조 1위는 12강-4강-결승으로 3경기를 치르지만, C, D, 황금의제국카지노 E, F조 1위는 주소 12강-6강-4강-결승으로 4경기를 해야 한다.",
+    "decoded_text": "여기서승리한 2팀이 준결승에 오른다. 결국 a, b조 1위는 12강-4강-결승으로 3경기를 치르지만, c, d, 황금의제국카지노 e, f조 1위는 주소 12강-6강-4강-결승으로 4경기를 해야 한다.",
+    "diff": [
+      "replace   text[24:25] --> decoded_text[24:25]      'A' --> 'a'",
+      "replace   text[27:28] --> decoded_text[27:28]      'B' --> 'b'",
+      "replace   text[57:58] --> decoded_text[57:58]      'C' --> 'c'",
+      "replace   text[60:61] --> decoded_text[60:61]      'D' --> 'd'",
+      "replace   text[72:73] --> decoded_text[72:73]      'E' --> 'e'",
+      "replace   text[75:76] --> decoded_text[75:76]      'F' --> 'f'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.05405405405405406,
+    "oov_charset": "[\"A\", \"B\", \"C\", \"D\", \"E\", \"F\"]"
+  },
+  {
+    "text": "알더베이럴트는맨유의 수비를 보강해줄 능력이 충분하다. 지난 황금의제국카지노 2014년부터 사우샘프턴, 토트넘을 거치며 잉글랜드 주소 프리미어리그(EPL)에서 폭넓은 경험을 쌓았다.",
+    "decoded_text": "알더베이럴트는맨유의 수비를 보강해줄 능력이 충분하다. 지난 황금의제국카지노 2014년부터 사우샘프턴, 토트넘을 거치며 잉글랜드 주소 프리미어리그(epl)에서 폭넓은 경험을 쌓았다.",
+    "diff": [
+      "replace   text[81:84] --> decoded_text[81:84]    'EPL' --> 'epl'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.03,
+    "oov_charset": "[\"E\", \"P\", \"L\"]"
+  },
+  {
+    "text": "민준이형은잘 모르겠다. 준호도 같은 시기에 드라마를 주소 해서 못 봤을 황금의제국카지노 것 같고, 닉쿤형도 화성(tvN ‘갈릴레오’)에 다녀오고 해외 스케줄이 많아서 보지는 못 했을 것이다.”",
+    "decoded_text": "민준이형은잘 모르겠다. 준호도 같은 시기에 드라마를 주소 해서 못 봤을 황금의제국카지노 것 같고, 닉쿤형도 화성(tvn ‘갈릴레오’)에 다녀오고 해외 스케줄이 많아서 보지는 못 했을 것이다.”",
+    "diff": [
+      "replace   text[65:66] --> decoded_text[65:66]      'N' --> 'n'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.009345794392523364,
+    "oov_charset": "[\"N\"]"
+  },
+  {
+    "text": "황아름은2009년 야마하 레이디스 오픈에서 생애 첫 JLPGA 투어 황금의제국카지노 우승을 차지했다. 이후 좀처럼 승전보를 전하지 못한 그는 무려 주소 9년 4개월 만에 정상에 등극했다.",
+    "decoded_text": "황아름은2009년 야마하 레이디스 오픈에서 생애 첫 jlpga 투어 황금의제국카지노 우승을 차지했다. 이후 좀처럼 승전보를 전하지 못한 그는 무려 주소 9년 4개월 만에 정상에 등극했다.",
+    "diff": [
+      "replace   text[29:34] --> decoded_text[29:34]  'JLPGA' --> 'jlpga'"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.04807692307692308,
+    "oov_charset": "[\"J\", \"L\", \"P\", \"G\", \"A\"]"
+  },
+  {
+    "text": "-이번AG에서 두 주소 선수는 어떤 황금의제국카지노 그림을 그리고 있나요.",
+    "decoded_text": "-이번ag에서 두 주소 선수는 어떤 황금의제국카지노 그림을 그리고 있나요.",
+    "diff": [
+      "replace   text[3:5] --> decoded_text[3:5]     'AG' --> 'ag'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.04878048780487805,
+    "oov_charset": "[\"A\", \"G\"]"
+  },
+  {
+    "text": "1위를할 경우 대진표와 객관적인 전력으로 황금의제국카지노 볼 때 6강 PO에서 일본, 4강에서 최강 주소 이란을 연달아 만날 가능성이 높다. 한 마디로 '최악'이다.",
+    "decoded_text": "1위를할 경우 대진표와 객관적인 전력으로 황금의제국카지노 볼 때 6강 po에서 일본, 4강에서 최강 주소 이란을 연달아 만날 가능성이 높다. 한 마디로 '최악'이다.",
+    "diff": [
+      "replace   text[39:41] --> decoded_text[39:41]     'PO' --> 'po'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.021739130434782608,
+    "oov_charset": "[\"P\", \"O\"]"
+  },
+  {
+    "text": "15개국이출전하기로 했던 아시안게임 황금의제국카지노 남자농구에서 필리핀은 이란, 시리아, 아랍에미리트(UAE)와 함께 B조에 편성돼 있었다.",
+    "decoded_text": "15개국이출전하기로 했던 아시안게임 황금의제국카지노 남자농구에서 필리핀은 이란, 시리아, 아랍에미리트(uae)와 함께 b조에 편성돼 있었다.",
+    "diff": [
+      "replace   text[57:60] --> decoded_text[57:60]    'UAE' --> 'uae'",
+      "replace   text[66:67] --> decoded_text[66:67]      'B' --> 'b'"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.05128205128205128,
+    "oov_charset": "[\"U\", \"A\", \"E\", \"B\"]"
+  },
+  {
+    "text": "한국은인도네시아, 태국, 몽골과 A조에 편성됐다. 일본, 카타르, 대만, 홍콩이 C조에 포진하고 중국, 카자흐스탄, 팔레스타인이 D조에 자리잡았으나 팔레스타인도 기권함에 황금의제국카지노 따라 모두 13개국만 출전하게 됐다.",
+    "decoded_text": "한국은인도네시아, 태국, 몽골과 a조에 편성됐다. 일본, 카타르, 대만, 홍콩이 c조에 포진하고 중국, 카자흐스탄, 팔레스타인이 d조에 자리잡았으나 팔레스타인도 기권함에 황금의제국카지노 따라 모두 13개국만 출전하게 됐다.",
+    "diff": [
+      "replace   text[18:19] --> decoded_text[18:19]      'A' --> 'a'",
+      "replace   text[45:46] --> decoded_text[45:46]      'C' --> 'c'",
+      "replace   text[72:73] --> decoded_text[72:73]      'D' --> 'd'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.024193548387096774,
+    "oov_charset": "[\"A\", \"C\", \"D\"]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-french @ cc100.zh-Hans.diff.json

@@ -0,0 +1,163 @@
+[
+  {
+    "text": "卍招财带什么佛牌卍(www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的。近日，编辑专门联系到山西传奇北京现代汽车4S店得知，店内朗动车型有现车供应，现阶段购车可享受最高6000元优惠幅度，具体的车型和价格情况请见下表，同时感兴趣的朋友还可致电4008112233转3456详询：",
+    "decoded_text": "卍招财带什么佛牌卍(www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职,并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生,曾任通用汽车在中国合资公司的。近日,编辑专门联系到山西传奇北京现代汽车4s店得知,店内朗动车型有现车供应,现阶段购车可享受最高6000元优惠幅度,具体的车型和价格情况请见下表,同时感兴趣的朋友还可致电4008112233转3456详询:",
+    "diff": [
+      "replace   text[57:58] --> decoded_text[57:58]      '，' --> ','",
+      "replace   text[95:96] --> decoded_text[95:96]      '，' --> ','",
+      "replace   text[113:114] --> decoded_text[113:114]      '，' --> ','",
+      "replace   text[132:133] --> decoded_text[132:133]      'S' --> 's'",
+      "replace   text[136:137] --> decoded_text[136:137]      '，' --> ','",
+      "replace   text[148:149] --> decoded_text[148:149]      '，' --> ','",
+      "replace   text[168:169] --> decoded_text[168:169]      '，' --> ','",
+      "replace   text[183:184] --> decoded_text[183:184]      '，' --> ','",
+      "replace   text[213:214] --> decoded_text[213:214]      '：' --> ':'"
+    ],
+    "n_oov_chars": 9,
+    "oov_ratio": 0.04205607476635514,
+    "oov_charset": "[\"，\", \"S\", \"：\"]"
+  },
+  {
+    "text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期，一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下，这对夫妇经历了惊心动魄的３小时，终于在飞机起飞前５分钟，登上返程的航班。",
+    "decoded_text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期,一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下,这对夫妇经历了惊心动魄的3小时,终于在飞机起飞前5分钟,登上返程的航班。",
+    "diff": [
+      "replace   text[51:52] --> decoded_text[51:52]      '，' --> ','",
+      "replace   text[87:88] --> decoded_text[87:88]      '，' --> ','",
+      "replace   text[100:101] --> decoded_text[100:101]      '３' --> '3'",
+      "replace   text[103:104] --> decoded_text[103:104]      '，' --> ','",
+      "replace   text[112:113] --> decoded_text[112:113]      '５' --> '5'",
+      "replace   text[115:116] --> decoded_text[115:116]      '，' --> ','"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.04838709677419355,
+    "oov_charset": "[\"，\", \"３\", \"５\"]"
+  },
+  {
+    "text": "招财带什么佛牌张德江在致辞中表示，中法建交开启了中法两个伟大国家友好关系的新纪元，树立了不同社会制度国家和平共处的新典范，对国际战略格局产生了重大而深远的影响。",
+    "decoded_text": "招财带什么佛牌张德江在致辞中表示,中法建交开启了中法两个伟大国家友好关系的新纪元,树立了不同社会制度国家和平共处的新典范,对国际战略格局产生了重大而深远的影响。",
+    "diff": [
+      "replace   text[16:17] --> decoded_text[16:17]      '，' --> ','",
+      "replace   text[40:41] --> decoded_text[40:41]      '，' --> ','",
+      "replace   text[60:61] --> decoded_text[60:61]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.0375,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "招财带什么佛牌科斯格罗夫一直供职于军队，曾被派往马来西亚、越南、英国、印度、美国工作。1999年，他成为联合国驻东帝汶部队司令，监督东帝汶向独立国家的过渡。",
+    "decoded_text": "招财带什么佛牌科斯格罗夫一直供职于军队,曾被派往马来西亚、越南、英国、印度、美国工作。1999年,他成为联合国驻东帝汶部队司令,监督东帝汶向独立国家的过渡。",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:20]      '，' --> ','",
+      "replace   text[48:49] --> decoded_text[48:49]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.038461538461538464,
+    "oov_charset": "[\"��\"]"
+  },
+  {
+    "text": "1月28日电据香港《明报》消息，在庆祝披头士进军美国音乐市场50周年的纪念日子，格莱美向两名仅存成员：保罗麦卡尼及灵高史达(RingoStarr)颁发终身成就奖，显得别具意义。为了隆重其事，大会请来金像影后茱莉亚••罗伯茨(JuliaRoberts)负责介绍二人出场，保罗在拍档的鼓声和应下，先献唱新歌《QueenieEye》，然后轮到后者演绎旧作《Photograph》，带领歌迷重温昔日的美好情怀。",
+    "decoded_text": "1月28日电据香港《明报》消息,在庆祝披头士进军美国音乐市场50周年的纪念日子,格莱美向两名仅存成员:保罗麦卡尼及灵高史达(ringostarr)颁发终身成就奖,显得别具意义。为了隆重其事,大会请来金像影后茱莉亚••罗伯茨(juliaroberts)负责介绍二人出场,保罗在拍档的鼓声和应下,先献唱新歌《queenieeye》,然后轮到后者演绎旧作《photograph》,带领歌迷重温昔日的美好情怀。",
+    "diff": [
+      "replace   text[15:16] --> decoded_text[15:16]      '，' --> ','",
+      "replace   text[39:40] --> decoded_text[39:40]      '，' --> ','",
+      "replace   text[50:51] --> decoded_text[50:51]      '：' --> ':'",
+      "replace   text[62:63] --> decoded_text[62:63]      'R' --> 'r'",
+      "replace   text[67:68] --> decoded_text[67:68]      'S' --> 's'",
+      "replace   text[80:81] --> decoded_text[80:81]      '，' --> ','",
+      "replace   text[94:95] --> decoded_text[94:95]      '，' --> ','",
+      "replace   text[112:113] --> decoded_text[112:113]      'J' --> 'j'",
+      "replace   text[117:118] --> decoded_text[117:118]      'R' --> 'r'",
+      "replace   text[133:134] --> decoded_text[133:134]      '，' --> ','",
+      "replace   text[145:146] --> decoded_text[145:146]      '，' --> ','",
+      "replace   text[152:153] --> decoded_text[152:153]      'Q' --> 'q'",
+      "replace   text[159:160] --> decoded_text[159:160]      'E' --> 'e'",
+      "replace   text[163:164] --> decoded_text[163:164]      '，' --> ','",
+      "replace   text[175:176] --> decoded_text[175:176]      'P' --> 'p'",
+      "replace   text[186:187] --> decoded_text[186:187]      '，' --> ','"
+    ],
+    "n_oov_chars": 16,
+    "oov_ratio": 0.07960199004975124,
+    "oov_charset": "[\"，\", \"：\", \"R\", \"S\", \"J\", \"Q\", \"E\", \"P\"]"
+  },
+  {
+    "text": "佛牌绳哪里有卖到达目的地后，记者全程的总车费是14元，但司机到账21元，因此，司机给记者7元，除去之前支付的1元，记者净赚6元，还免费乘了本应支付14元的车。",
+    "decoded_text": "佛牌绳哪里有卖到达目的地后,记者全程的总车费是14元,但司机到账21元,因此,司机给记者7元,除去之前支付的1元,记者净赚6元,还免费乘了本应支付14元的车。",
+    "diff": [
+      "replace   text[13:14] --> decoded_text[13:14]      '，' --> ','",
+      "replace   text[26:27] --> decoded_text[26:27]      '，' --> ','",
+      "replace   text[35:36] --> decoded_text[35:36]      '，' --> ','",
+      "replace   text[38:39] --> decoded_text[38:39]      '，' --> ','",
+      "replace   text[46:47] --> decoded_text[46:47]      '，' --> ','",
+      "replace   text[56:57] --> decoded_text[56:57]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.08860759493670886,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的副总裁，上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。(方赵春)",
+    "decoded_text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职,并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生,曾任通用汽车在中国合资公司的副总裁,上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。(方赵春)",
+    "diff": [
+      "replace   text[27:28] --> decoded_text[27:28]      '，' --> ','",
+      "replace   text[65:66] --> decoded_text[65:66]      '，' --> ','",
+      "replace   text[83:84] --> decoded_text[83:84]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.02608695652173913,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "大腕导演不可能每部作品都是你喜欢的东西，如果他一时控制不住情绪，就让他骂吧。他也是人，不是神，人就有自己的脾气。他这次执导春晚，对我也开骂：“老毕，我跟你说了这么长时间，让你走2号位，你非要走1号位，你想跟我较死劲是不是？”这也是骂人。但因为你非常了解他，他也不一定有恶意。",
+    "decoded_text": "���腕导演不可能每部作品都是你喜欢的东西,如果他一时控制不住情绪,就让他骂吧。他也是人,不是神,人就有自己的脾气。他这次执导春晚,对我也开骂:“老毕,我跟你说了这么长时间,让你走2号位,你非要走1号位,你想跟我较死劲是不是?”这也是骂人。但因为你非常了解他,他也不一定有恶意。",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:20]      '，' --> ','",
+      "replace   text[31:32] --> decoded_text[31:32]      '，' --> ','",
+      "replace   text[42:43] --> decoded_text[42:43]      '，' --> ','",
+      "replace   text[46:47] --> decoded_text[46:47]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','",
+      "replace   text[69:70] --> decoded_text[69:70]      '：' --> ':'",
+      "replace   text[73:74] --> decoded_text[73:74]      '，' --> ','",
+      "replace   text[84:85] --> decoded_text[84:85]      '，' --> ','",
+      "replace   text[91:92] --> decoded_text[91:92]      '，' --> ','",
+      "replace   text[99:100] --> decoded_text[99:100]      '，' --> ','",
+      "replace   text[110:111] --> decoded_text[110:111]      '？' --> '?'",
+      "replace   text[127:128] --> decoded_text[127:128]      '，' --> ','"
+    ],
+    "n_oov_chars": 12,
+    "oov_ratio": 0.08759124087591241,
+    "oov_charset": "[\"，\", \"：\", \"？\"]"
+  },
+  {
+    "text": "招财带什么佛牌不过挣得多，娜姐也花得多。有媒体报道，教练卡洛斯的年薪高达360万元人民币，李娜每年的花费是600多万元。用一个形象的比喻，娜姐每天一睁眼，将近2万元就出去了。",
+    "decoded_text": "招财带什么佛牌不过挣得多,娜姐也花得多。有媒体报道,教练卡洛斯的年薪高达360万元人民币,李娜每年的花费是600多万元。用一个形象的比喻,娜姐每天一睁眼,将近2万元就出去了。",
+    "diff": [
+      "replace   text[12:13] --> decoded_text[12:13]      '，' --> ','",
+      "replace   text[25:26] --> decoded_text[25:26]      '，' --> ','",
+      "replace   text[44:45] --> decoded_text[44:45]      '，' --> ','",
+      "replace   text[68:69] --> decoded_text[68:69]      '，' --> ','",
+      "replace   text[76:77] --> decoded_text[76:77]      '，' --> ','"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.05747126436781609,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "“金庸的小说《连城诀》里有一个反派人物‘血刀老祖’，一般的坏人做坏事都是心虚的，但是这个人物却做得心安理得，理直气壮，我遇到的这个的哥就是这样。”王先生向记者描述经过时第一句话便这样说。原来，昨日王先生在搭出租车时，遇到的的哥不仅“拾金而昧”，还“昧”得理直气壮。",
+    "decoded_text": "“金庸的小说《连城诀》里有一个反派人物‘血刀老祖’,一般的坏人做坏事都是心虚的,但是这个人物却做得心安理得,理直气壮,我遇到的这个的哥就是这样。”王先生向记者描述经过时第一句话便这样说。原来,昨日王先生在搭出租车时,遇到的的哥不仅“拾金而昧”,还“昧”得理直气壮。",
+    "diff": [
+      "replace   text[25:26] --> decoded_text[25:26]      '，' --> ','",
+      "replace   text[39:40] --> decoded_text[39:40]      '，' --> ','",
+      "replace   text[53:54] --> decoded_text[53:54]      '，' --> ','",
+      "replace   text[58:59] --> decoded_text[58:59]      '，' --> ','",
+      "replace   text[95:96] --> decoded_text[95:96]      '，' --> ','",
+      "replace   text[107:108] --> decoded_text[107:108]      '，' --> ','",
+      "replace   text[121:122] --> decoded_text[121:122]      '，' --> ','"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.05303030303030303,
+    "oov_charset": "[\"，\"]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-spanish @ cc100.ar.diff.json

@@ -0,0 +1,104 @@
+[
+  {
+    "text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة .. ( 1)",
+    "decoded_text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة.. ( 1)",
+    "diff": [
+      "delete    text[42:43] --> decoded_text[42:42]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "decoded_text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "diff": [
+      "insert    text[97:97] --> decoded_text[97:98]       '' --> 'َ'",
+      "delete    text[98:99] --> decoded_text[99:99]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "الهدف من دراسة التاريخ هو لنتعرف احوال الشعوب , نتخذ عبرا ودروسا تساعدنا على بناء مستقبل لنا.",
+    "decoded_text": "الهدف من دراسة التاريخ هو لنتعرف احوال الشعوب, نتخذ عبرا ودروسا تساعدنا على بناء مستقبل لنا.",
+    "diff": [
+      "delete    text[45:46] --> decoded_text[45:45]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "الحضارة هي مجموعة من الانجازات التي حققتها الامة من خلال تاريخها في جميع المجالات .",
+    "decoded_text": "الحضارة هي مجموعة من الانجازات التي حققتها الامة من خلال تاريخها في جميع المجالات.",
+    "diff": [
+      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يعود الكاتب محمد الشريف زرقين صاحب كتاب \" ربيب الدولة، الخوف من المجهول \" مرة أخرى لقضية الأطفال مجهولي الهوية في كتاب جديد اختار هذه المرة أن يعالج فيه وضعيتهم من الجانب القانوني و الديني، بهدف حث علماء الدين و المشرعين القانونيين لإعادة النظر في فتاويهم و القوانين المجحفة التي تتحكم في مصائر هذه الفئة الضعيفة في المجتمع ، كما اخبرنا في هذا الحوار الخاص ، مصرحا انه لو كان الخيار بيده لاختار البقاء مع أمه البيولوجية التي اضطرت للتخلي عنه عند ولادته. الكتاب الذي عرف أيضا مساهمة كل من مليكة بن عراب آتو عضوة في البرلمان الأوربي ، المحامية بن براهم فطيمة و رئيس جامعة الأمير عبد القادر بقسنطينة السيد عبد الله بوخلخال في بعض أجزائه بمداخلات حول الموضوع، يطرح تساؤلات مبرهنة موجهة لكل من المشرعين و المفتيين كما قال لنا السيد زرقين مشيرا أنه يتوقع أن تحفز هذه الأخيرة على الاجتهاد لتحسين وضعية الأطفال المسعفين و ضمان حقوقهم . حاورته: أمينة جنان",
+    "decoded_text": "يعود الكاتب محمد الشريف زرقين صاحب كتاب \" ربيب الدولة، الخوف من المجهول \" مرة أخرى لقضية الأطفال مجهولي الهوية في كتاب جديد اختار هذه المرة أن يعالج فيه وضعيتهم من الجانب القانوني و الديني، بهدف حث علماء الدين و المشرعين القانونيين لإعادة النظر في فتاويهم و القوانين المجحفة التي تتحكم في مصائر هذه الفئة الضعيفة في المجتمع ، كما اخبرنا في هذا الحوار الخاص ، مصرحا انه لو كان الخيار بيده لاختار البقاء مع أمه البيولوجية التي اضطرت للتخلي عنه عند ولادته. الكتاب الذي عرف أيضا مساهمة كل من مليكة بن عراب آتو عضوة ��ي البرلمان الأوربي ، المحامية بن براهم فطيمة و رئيس جامعة الأمير عبد القادر بقسنطينة السيد عبد الله بوخلخال في بعض أجزائه بمداخلات حول الموضوع، يطرح تساؤلات مبرهنة موجهة لكل من المشرعين و المفتيين كما قال لنا السيد زرقين مشيرا أنه يتوقع أن تحفز هذه الأخيرة على الاجتهاد لتحسين وضعية الأطفال المسعفين و ضمان حقوقهم. حاورته: أمينة جنان",
+    "diff": [
+      "delete    text[825:826] --> decoded_text[825:825]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "\"مولودين باسم مجهول \" يطرح الكثير من التساؤلات الشجاعة التي تعيد النظر بعمق في هذه الفتاوي ، داعيا علماء الدين للاجتهاد حسب متطلبات عصر ال \"آ دي ان \" و أنا مستعد للجلوس على طاولة واحدة معهم لإجراء مناضرة أقدم فيها أدلة من القرآن لإبراز تناقضات فادحة و فتاويهم المغرضة التي تهدد مصائر الملايين من الأطفال في العالم ، فليس من حق المفتى أن يحرف آية أو حديث أو يتلاعب بتفسيرها لتتحول إلى قوانين مجحفة في حقهم لدرجة أن الطفل يشعر انه ما كان يجب أن يولد و أن يأتي لهذه الحياة . رغم أن الرسول عليه الصلاة و السلام يقول في أحد أحاديثه الصحيحة أن الله يرسل في اليوم الأربعين من تكون الجنين في بطن أمه ملكا ينفخ فيه الروح ، و هذا دليل على أن الحياة بإرادة من الله لجميع الناس أيا كانوا ، فبأي حق يتعدى البشر على حق غيرهم في الوجود .",
+    "decoded_text": "\"مولودين باسم مجهول \" يطرح الكثير من التساؤلات الشجاعة التي تعيد النظر بعمق في هذه الفتاوي ، داعيا علماء الدين للاجتهاد حسب متطلبات عصر ال \"آ دي ان \" و أنا مستعد للجلوس على طاولة واحدة معهم لإجراء مناضرة أقدم فيها أدلة من القرآن لإبراز تناقضات فادحة و فتاويهم المغرضة التي تهدد مصائر الملايين من الأطفال في العالم ، فليس من حق المفتى أن يحرف آية أو حديث أو يتلاعب بتفسيرها لتتحول إلى قوانين مجحفة في حقهم لدرجة أن الطفل يشعر انه ما كان يجب أن يولد و أن يأتي لهذه الحياة. رغم أن الرسول عليه الصلاة و السلام يقول في أحد أحاديثه الصحيحة أن الله يرسل في اليوم الأربعين من تكون الجنين في بطن أمه ملكا ينفخ فيه الروح ، و هذا دليل على أن الحياة بإرادة من الله لجميع الناس أيا كانوا ، فبأي حق يتعدى البشر على حق غيرهم في الوجود.",
+    "diff": [
+      "delete    text[469:470] --> decoded_text[469:469]      ' ' --> ''",
+      "delete    text[720:721] --> decoded_text[719:719]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يجب أن تتحرك الأمة الإسلامية في هذا السياق لأن المجتمع الذي لا يأخذ أطفاله المحرومين من يدهم ليعبر بهم بر الأمان لا يستحق العيش و ليست له أية كرامة .",
+    "decoded_text": "يجب أن تتحرك الأمة الإسلامية في هذا السياق لأن المجتمع الذي لا يأخذ أطفاله المحرومين من يدهم ليعبر بهم بر الأمان لا يستحق العيش و ليست له أية كرامة.",
+    "diff": [
+      "delete    text[147:148] --> decoded_text[147:147]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "البنوك الإسلامية في المملكة العربية السعودية _ عربية CNBC",
+    "decoded_text": "البنوك الإسلامية في المملكة العربية السعودية _ عربية cnbc",
+    "diff": [
+      "replace   text[53:57] --> decoded_text[53:57]   'CNBC' --> 'cnbc'"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.07017543859649122,
+    "oov_charset": "[\"C\", \"N\", \"B\"]"
+  },
+  {
+    "text": "يستضيف راشد الفوزان في حلقة هذا الأسبوع من برنامج \"بموضوعية\" الرئيس التنفيذي للمجموعة السعودية للورق، حسان مريزن عسيري، للحديث عن نشأة المجموعة والمجالات التي تغطيها في السوق السعودي. ...",
+    "decoded_text": "يستضيف راشد الفوزان في حلقة هذا الأسبوع من برنامج \"بموضوعية\" الرئيس التنفيذي للمجموعة السعودية للورق، حسان مريزن عسيري، للحديث عن نشأة المجموعة والمجالات التي تغطيها في السوق السعودي....",
+    "diff": [
+      "delete    text[183:184] --> decoded_text[183:183]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يلتقي راشد الفوزان في برنامجه \"بموضوعية\" برئيس مجلس إدارة مجموعة \"القريان\" التجارية، محمد بن قريان القحطاني، والذي تناول عدة موضوعات أهمها أن المجموعة تهتم بعمليات إعادة تدوير المعادن خاصة الحديد والنحاس، وأن نشاط مجموعة \"القريان\" بدأ منذ 25 عاماً في السوق السعودي، واستعرض أيضاً ...",
+    "decoded_text": "يلتقي راشد الفوزان في برنامجه \"بموضوعية\" برئيس مجلس إدارة مجموعة \"القريان\" التجارية، محمد بن قريان القحطاني، والذي تناول عدة موضوعات أهمها أن المجموعة تهتم بعمليات إعادة تدوير المعادن خاصة الحديد والنحاس، وأن نشاط مجموعة \"القريان\" بدأ منذ 25 عاماً في السوق السعودي، واستعرض أيضاً...",
+    "diff": [
+      "delete    text[279:280] --> decoded_text[279:279]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-spanish @ cc100.de.diff.json

@@ -0,0 +1,194 @@
+[
+  {
+    "text": "Bereits eine Woche vorher am Samstag, 2. Dezember ist die „Püngel-Weihnacht“ in Siegburg-Kaldauen um 18 Uhr (Einlass 17.30 Uhr) im Restaurant Kaldauer Hof zu hören. Hier ist im Eintrittspreis von 18,50 € ein Abendessen enthalten. Auch hier gibt es einen Mitsingteil für die Gäste.",
+    "decoded_text": "bereits eine woche vorher am samstag, 2. dezember ist die „püngel-weihnacht“ in siegburg-kaldauen um 18 uhr (einlass 17.30 uhr) im restaurant kaldauer hof zu hören. hier ist im eintrittspreis von 18,50 € ein abendessen enthalten. auch hier gibt es einen mitsingteil für die gäste.",
+    "diff": [
+      "replace   text[0:14] --> decoded_text[0:14] 'Bereits eine W' --> 'bereits eine w'",
+      "replace   text[29:30] --> decoded_text[29:30]      'S' --> 's'",
+      "replace   text[41:42] --> decoded_text[41:42]      'D' --> 'd'",
+      "replace   text[59:60] --> decoded_text[59:60]      'P' --> 'p'",
+      "replace   text[66:67] --> decoded_text[66:67]      'W' --> 'w'",
+      "replace   text[80:81] --> decoded_text[80:81]      'S' --> 's'",
+      "replace   text[89:90] --> decoded_text[89:90]      'K' --> 'k'",
+      "replace   text[104:105] --> decoded_text[104:105]      'U' --> 'u'",
+      "replace   text[109:110] --> decoded_text[109:110]      'E' --> 'e'",
+      "replace   text[123:124] --> decoded_text[123:124]      'U' --> 'u'",
+      "replace   text[131:152] --> decoded_text[131:152] 'Restaurant Kaldauer H' --> 'restaurant kaldauer h'",
+      "replace   text[165:178] --> decoded_text[165:178] 'Hier ist im E' --> 'hier ist im e'",
+      "replace   text[208:231] --> decoded_text[208:231] 'Abendessen enthalten. A' --> 'abendessen enthalten. a'",
+      "replace   text[254:255] --> decoded_text[254:255]      'M' --> 'm'",
+      "replace   text[274:275] --> decoded_text[274:275]      'G' --> 'g'"
+    ],
+    "n_oov_chars": 20,
+    "oov_ratio": 0.07142857142857142,
+    "oov_charset": "[\"B\", \"W\", \"S\", \"D\", \"P\", \"K\", \"U\", \"E\", \"R\", \"H\", \"A\", \"M\", \"G\"]"
+  },
+  {
+    "text": "Der Chor bietet noch einen weiteren Termin im Rahmen der „Püngel-Weihnacht“ an.",
+    "decoded_text": "der chor bietet noch einen weiteren termin im rahmen der „püngel-weihnacht“ an.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'D' --> 'd'",
+      "replace   text[4:5] --> decoded_text[4:5]      'C' --> 'c'",
+      "replace   text[36:37] --> decoded_text[36:37]      'T' --> 't'",
+      "replace   text[46:47] --> decoded_text[46:47]      'R' --> 'r'",
+      "replace   text[58:59] --> decoded_text[58:59]      'P' --> 'p'",
+      "replace   text[65:66] --> decoded_text[65:66]      'W' --> 'w'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.0759493670886076,
+    "oov_charset": "[\"D\", \"C\", \"T\", \"R\", \"P\", \"W\"]"
+  },
+  {
+    "text": "02683 967019. Die Karten können auch per Email bestellt werden: [email protected]",
+    "decoded_text": "02683 967019. die karten können auch per email bestellt werden: [email protected]",
+    "diff": [
+      "replace   text[14:15] --> decoded_text[14:15]      'D' --> 'd'",
+      "replace   text[18:19] --> decoded_text[18:19]      'K' --> 'k'",
+      "replace   text[41:42] --> decoded_text[41:42]      'E' --> 'e'",
+      "replace   text[64:65] --> decoded_text[64:65]      'E' --> 'e'",
+      "replace   text[67:68] --> decoded_text[67:68]      'K' --> 'k'",
+      "replace   text[76:77] --> decoded_text[76:77]      'W' --> 'w'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.05825242718446602,
+    "oov_charset": "[\"D\", \"K\", \"E\", \"W\"]"
+  },
+  {
+    "text": "Der Chor wünscht Ihnen schon jetzt viel Vergnügen.",
+    "decoded_text": "der chor wünscht ihnen schon jetzt viel vergnügen.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'D' --> 'd'",
+      "replace   text[4:5] --> decoded_text[4:5]      'C' --> 'c'",
+      "replace   text[17:18] --> decoded_text[17:18]      'I' --> 'i'",
+      "replace   text[40:41] --> decoded_text[40:41]      'V' --> 'v'"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.08,
+    "oov_charset": "[\"D\", \"C\", \"I\", \"V\"]"
+  },
+  {
+    "text": "Die Verarbeitung kann auch auf elektronischem Wege erfolgen. Dies ist insbesondere dann der Fall, wenn ein Bewerber entsprechende Bewerbungsunterlagen auf dem elektronischen Wege, beispielsweise per E-Mail oder über ein auf der Internetseite befindliches Webformular, an den für die Verarbeitung Verantwortlichen übermittelt. Sollten Sie über einen Account in einem berufsorientierten sozialen Netzwerk wie etwa Xing oder LinkedIn verfügen, können wir die Daten auch von Ihrer öffentlich einsehbaren Profilseite erheben. Zwecke der Verarbeitung und Rechtsgrundlage Wir verarbeiten Ihre personenbezogenen Daten ausschließlich zum Zwecke der Durchführung des Bewerbungsverfahrens.",
+    "decoded_text": "die verarbeitung kann auch auf elektronischem wege erfolgen. dies ist insbesondere dann der fall, wenn ein bewerber entsprechende bewerbungsunterlagen auf dem elektronischen wege, beispielsweise per e-mail oder über ein auf der internetseite befindliches webformular, an den für die verarbeitung verantwortlichen übermittelt. sollten sie über einen account in einem berufsorientierten sozialen netzwerk wie etwa xing oder linkedin verfügen, können wir die daten auch von ihrer öffentlich einsehbaren profilseite erheben. zwecke der verarbeitung und rechtsgrundlage wir verarbeiten ihre personenbezogenen daten ausschließlich zum zwecke der durchführung des bewerbungsverfahrens.",
+    "diff": [
+      "replace   text[0:5] --> decoded_text[0:5]  'Die V' --> 'die v'",
+      "replace   text[46:47] --> decoded_text[46:47]      'W' --> 'w'",
+      "replace   text[61:93] --> decoded_text[61:93] 'Dies ist insbesondere dann der F' --> 'dies ist insbesondere dann der f'",
+      "replace   text[107:108] --> decoded_text[107:108]      'B' --> 'b'",
+      "replace   text[130:131] --> decoded_text[130:131]      'B' --> 'b'",
+      "replace   text[174:175] --> decoded_text[174:175]      'W' --> 'w'",
+      "replace   text[199:200] --> decoded_text[199:200]      'E' --> 'e'",
+      "replace   text[201:202] --> decoded_text[201:202]      'M' --> 'm'",
+      "replace   text[228:256] --> decoded_text[228:256] 'Internetseite befindliches W' --> 'internetseite befindliches w'",
+      "replace   text[283:297] --> decoded_text[283:297] 'Verarbeitung V' --> 'verarbeitung v'",
+      "replace   text[326:335] --> decoded_text[326:335] 'Sollten S' --> 'sollten s'",
+      "replace   text[349:350] --> decoded_text[349:350]      'A' --> 'a'",
+      "replace   text[394:395] --> decoded_text[394:395]      'N' --> 'n'",
+      "replace   text[412:429] --> decoded_text[412:429] 'Xing oder LinkedI' --> 'xing oder linkedi'",
+      "replace   text[456:472] --> decoded_text[456:472] 'Daten auch von I' --> 'daten auch von i'",
+      "replace   text[500:501] --> decoded_text[500:501]      'P' --> 'p'",
+      "replace   text[521:582] --> decoded_text[521:582] 'Zwecke der Verarbeitung und Rechtsgrundlage Wir verarbeiten I' --> 'zwecke der verarbeitung und rechtsgrundlage wir verarbeiten i'",
+      "replace   text[604:605] --> decoded_text[604:605]      'D' --> 'd'",
+      "replace   text[629:641] --> decoded_text[629:641] 'Zwecke der D' --> 'zwecke der d'",
+      "replace   text[657:658] --> decoded_text[657:658]      'B' --> 'b'"
+    ],
+    "n_oov_chars": 33,
+    "oov_ratio": 0.048672566371681415,
+    "oov_charset": "[\"D\", \"V\", \"W\", \"F\", \"B\", \"E\", \"M\", \"I\", \"S\", \"A\", \"N\", \"X\", \"L\", \"P\", \"Z\", \"R\"]"
+  },
+  {
+    "text": "Sofern wir mit dem Bewerber einen Anstellungsvertrag abschließen, werden die übermittelten Daten zum Zwecke der Abwicklung des Beschäftigungsverhältnisses unter Beachtung der gesetzlichen Vorschriften gespeichert. Ansonsten werden die personenbezogenen Daten sechs Monate nach Beendigung des Bewerbungsverfahrens gelöscht, sofern einer Löschung keine sonstigen berechtigten Interessen des für die Verarbeitung Verantwortlichen entgegenstehen.",
+    "decoded_text": "sofern wir mit dem bewerber einen anstellungsvertrag abschließen, werden die übermittelten daten zum zwecke der abwicklung des beschäftigungsverhältnisses unter beachtung der gesetzlichen vorschriften gespeichert. ansonsten werden die personenbezogenen daten sechs monate nach beendigung des bewerbungsverfahrens gelöscht, sofern einer löschung keine sonstigen berechtigten interessen des für die verarbeitung verantwortlichen entgegenstehen.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'S' --> 's'",
+      "replace   text[19:35] --> decoded_text[19:35] 'Bewerber einen A' --> 'bewerber einen a'",
+      "replace   text[91:92] --> decoded_text[91:92]      'D' --> 'd'",
+      "replace   text[101:102] --> decoded_text[101:102]      'Z' --> 'z'",
+      "replace   text[112:113] --> decoded_text[112:113]      'A' --> 'a'",
+      "replace   text[127:128] --> decoded_text[127:128]      'B' --> 'b'",
+      "replace   text[161:162] --> decoded_text[161:162]      'B' --> 'b'",
+      "replace   text[188:189] --> decoded_text[188:189]      'V' --> 'v'",
+      "replace   text[214:215] --> decoded_text[214:215]      'A' --> 'a'",
+      "replace   text[253:293] --> decoded_text[253:293] 'Daten sechs Monate nach Beendigung des B' --> 'daten sechs monate nach beendigung des b'",
+      "replace   text[336:337] --> decoded_text[336:337]      'L' --> 'l'",
+      "replace   text[374:375] --> decoded_text[374:375]      'I' --> 'i'",
+      "replace   text[397:411] --> decoded_text[397:411] 'Verarbeitung V' --> 'verarbeitung v'"
+    ],
+    "n_oov_chars": 18,
+    "oov_ratio": 0.04072398190045249,
+    "oov_charset": "[\"S\", \"B\", \"A\", \"D\", \"Z\", \"V\", \"M\", \"L\", \"I\"]"
+  },
+  {
+    "text": "Innerhalb unseres Hauses erhalten diejenigen internen Stellen bzw. Organisationseinheiten Ihre Daten, die diese zur Erfüllung unserer vertraglichen und gesetzlichen Pflichten (wie Führungskräfte und Fachverantwortliche, die einen neuen Mitarbeiter suchen oder an der Entscheidung über die Stellenbesetzung mitwirken, Buchhaltung, Betriebsarzt, Arbeitssicherheit, ggf. Mitarbeitervertretung usw.) oder im Rahmen der Bearbeitung und Umsetzung unseres berechtigten Interesses benötigen.",
+    "decoded_text": "innerhalb unseres hauses erhalten diejenigen internen stellen bzw. organisationseinheiten ihre daten, die diese zur erfüllung unserer vertraglichen und gesetzlichen pflichten (wie führungskräfte und fachverantwortliche, die einen neuen mitarbeiter suchen oder an der entscheidung über die stellenbesetzung mitwirken, buchhaltung, betriebsarzt, arbeitssicherheit, ggf. mitarbeitervertretung usw.) oder im rahmen der bearbeitung und umsetzung unseres berechtigten interesses benötigen.",
+    "diff": [
+      "replace   text[0:19] --> decoded_text[0:19] 'Innerhalb unseres H' --> 'innerhalb unseres h'",
+      "replace   text[54:55] --> decoded_text[54:55]      'S' --> 's'",
+      "delete    text[67:77] --> decoded_text[67:67] 'Organisati' --> ''",
+      "replace   text[78:117] --> decoded_text[68:117] 'nseinheiten Ihre Daten, die diese zur E' --> 'rganisationseinheiten ihre daten, die diese zur e'",
+      "replace   text[165:166] --> decoded_text[165:166]      'P' --> 'p'",
+      "replace   text[180:181] --> decoded_text[180:181]      'F' --> 'f'",
+      "replace   text[199:200] --> decoded_text[199:200]      'F' --> 'f'",
+      "replace   text[236:237] --> decoded_text[236:237]      'M' --> 'm'",
+      "replace   text[267:268] --> decoded_text[267:268]      'E' --> 'e'",
+      "replace   text[289:290] --> decoded_text[289:290]      'S' --> 's'",
+      "replace   text[317:345] --> decoded_text[317:345] 'Buchhaltung, Betriebsarzt, A' --> 'buchhaltung, betriebsarzt, a'",
+      "replace   text[368:369] --> decoded_text[368:369]      'M' --> 'm'",
+      "replace   text[404:463] --> decoded_text[404:463] 'Rahmen der Bearbeitung und Umsetzung unseres berechtigten I' --> 'rahmen der bearbeitung und umsetzung unseres berechtigten i'"
+    ],
+    "n_oov_chars": 21,
+    "oov_ratio": 0.043478260869565216,
+    "oov_charset": "[\"I\", \"H\", \"S\", \"O\", \"D\", \"E\", \"P\", \"F\", \"M\", \"B\", \"A\", \"R\", \"U\"]"
+  },
+  {
+    "text": "Eine Weitergabe Ihrer Daten an externe Stellen erfolgt ausschließlich zu Zwecken,",
+    "decoded_text": "eine weitergabe ihrer daten an externe stellen erfolgt ausschließlich zu zwecken,",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'E' --> 'e'",
+      "replace   text[5:6] --> decoded_text[5:6]      'W' --> 'w'",
+      "replace   text[16:17] --> decoded_text[16:17]      'I' --> 'i'",
+      "replace   text[22:23] --> decoded_text[22:23]      'D' --> 'd'",
+      "replace   text[39:40] --> decoded_text[39:40]      'S' --> 's'",
+      "replace   text[73:74] --> decoded_text[73:74]      'Z' --> 'z'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.07407407407407407,
+    "oov_charset": "[\"E\", \"W\", \"I\", \"D\", \"S\", \"Z\"]"
+  },
+  {
+    "text": "bei denen wir zur Erfüllung gesetzlicher Vorgaben zur Auskunft, Meldung oder Weitergabe von Daten verpflichtet oder berechtigt sind oder die Datenweitergabe im öffentlichen Interesse liegt;",
+    "decoded_text": "bei denen wir zur erfüllung gesetzlicher vorgaben zur auskunft, meldung oder weitergabe von daten verpflichtet oder berechtigt sind oder die datenweitergabe im öffentlichen interesse liegt;",
+    "diff": [
+      "replace   text[18:19] --> decoded_text[18:19]      'E' --> 'e'",
+      "replace   text[41:42] --> decoded_text[41:42]      'V' --> 'v'",
+      "replace   text[54:55] --> decoded_text[54:55]      'A' --> 'a'",
+      "replace   text[64:65] --> decoded_text[64:65]      'M' --> 'm'",
+      "replace   text[77:78] --> decoded_text[77:78]      'W' --> 'w'",
+      "replace   text[92:93] --> decoded_text[92:93]      'D' --> 'd'",
+      "replace   text[141:142] --> decoded_text[141:142]      'D' --> 'd'",
+      "replace   text[173:174] --> decoded_text[173:174]      'I' --> 'i'"
+    ],
+    "n_oov_chars": 8,
+    "oov_ratio": 0.042328042328042326,
+    "oov_charset": "[\"E\", \"V\", \"A\", \"M\", \"W\", \"D\", \"I\"]"
+  },
+  {
+    "text": "aufgrund unseres berechtigten Interesses oder des berechtigten Interesses des Dritten (z.B. an Behörden, Auskunfteien, Rechtsanwälte, Gerichte, Gutachter, und Gremien und Kontrollinstanzen);",
+    "decoded_text": "aufgrund unseres berechtigten interesses oder des berechtigten interesses des dritten (z.b. an behörden, auskunfteien, rechtsanwälte, gerichte, gutachter, und gremien und kontrollinstanzen);",
+    "diff": [
+      "replace   text[30:31] --> decoded_text[30:31]      'I' --> 'i'",
+      "replace   text[63:64] --> decoded_text[63:64]      'I' --> 'i'",
+      "replace   text[78:79] --> decoded_text[78:79]      'D' --> 'd'",
+      "replace   text[89:90] --> decoded_text[89:90]      'B' --> 'b'",
+      "replace   text[95:96] --> decoded_text[95:96]      'B' --> 'b'",
+      "replace   text[105:106] --> decoded_text[105:106]      'A' --> 'a'",
+      "replace   text[119:120] --> decoded_text[119:120]      'R' --> 'r'",
+      "replace   text[134:135] --> decoded_text[134:135]      'G' --> 'g'",
+      "replace   text[144:145] --> decoded_text[144:145]      'G' --> 'g'",
+      "replace   text[159:160] --> decoded_text[159:160]      'G' --> 'g'",
+      "replace   text[171:172] --> decoded_text[171:172]      'K' --> 'k'"
+    ],
+    "n_oov_chars": 11,
+    "oov_ratio": 0.05789473684210526,
+    "oov_charset": "[\"I\", \"D\", \"B\", \"A\", \"R\", \"G\", \"K\"]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-spanish @ cc100.en.diff.json

@@ -0,0 +1,123 @@
+[
+  {
+    "text": "Belmont Estate is on the market for $63 million and boasts roughly 22,000 square feet of luxurious finishes and elaborate architecture on 1.28 acres. Listed on Thursday, the home is being sold by high-end real estate firm Sotheby’s International Realty Canada.",
+    "decoded_text": "belmont estate is on the market for $63 million and boasts roughly 22,000 square feet of luxurious finishes and elaborate architecture on 1.28 acres. listed on thursday, the home is being sold by high-end real estate firm sotheby’s international realty canada.",
+    "diff": [
+      "replace   text[0:9] --> decoded_text[0:9] 'Belmont E' --> 'belmont e'",
+      "replace   text[150:161] --> decoded_text[150:161] 'Listed on T' --> 'listed on t'",
+      "replace   text[222:223] --> decoded_text[222:223]      'S' --> 's'",
+      "replace   text[232:254] --> decoded_text[232:254] 'International Realty C' --> 'international realty c'"
+    ],
+    "n_oov_chars": 8,
+    "oov_ratio": 0.03076923076923077,
+    "oov_charset": "[\"B\", \"E\", \"L\", \"T\", \"S\", \"I\", \"R\", \"C\"]"
+  },
+  {
+    "text": "“Within the city we’ve had homes that have sold for $56 million, $33 million, $31 million but this will be the record of the offering price,” listing agent Christa Frosch of Sotheby’s tells BuzzBuzzNews.",
+    "decoded_text": "“within the city we’ve had homes that have sold for $56 million, $33 million, $31 million but this will be the record of the offering price,” listing agent christa frosch of sotheby’s tells buzzbuzznews.",
+    "diff": [
+      "replace   text[1:2] --> decoded_text[1:2]      'W' --> 'w'",
+      "replace   text[156:175] --> decoded_text[156:175] 'Christa Frosch of S' --> 'christa frosch of s'",
+      "replace   text[190:191] --> decoded_text[190:191]      'B' --> 'b'",
+      "replace   text[194:195] --> decoded_text[194:195]      'B' --> 'b'",
+      "replace   text[198:199] --> decoded_text[198:199]      'N' --> 'n'"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.034482758620689655,
+    "oov_charset": "[\"W\", \"C\", \"F\", \"S\", \"B\", \"N\"]"
+  },
+  {
+    "text": "The three-storey home has five bedrooms, twelve bathrooms and an elevator in the west wing. Built to entertain, two main gallery halls can seat up to 100 guests. The Italian-inspired kitchen includes a fireplace and walls and ceilings throughout the home feature murals and artwork. Lavish amenities include an indoor pool and sauna, a six-car garage and a private entrance in-law’s suite.",
+    "decoded_text": "the three-storey home has five bedrooms, twelve bathrooms and an elevator in the west wing. built to entertain, two main gallery halls can seat up to 100 guests. the italian-inspired kitchen includes a fireplace and walls and ceilings throughout the home feature murals and artwork. lavish amenities include an indoor pool and sauna, a six-car garage and a private entrance in-law’s suite.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'T' --> 't'",
+      "replace   text[92:93] --> decoded_text[92:93]      'B' --> 'b'",
+      "replace   text[162:167] --> decoded_text[162:167]  'The I' --> 'the i'",
+      "replace   text[283:284] --> decoded_text[283:284]      'L' --> 'l'"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.012853470437017995,
+    "oov_charset": "[\"T\", \"B\", \"I\", \"L\"]"
+  },
+  {
+    "text": "Surrounding the property is a Versailles-inspired garden with a variety of trees, plants and an orchard. In the spring, over 12,000 flowers bloom in the tiered, three-level garden.",
+    "decoded_text": "surrounding the property is a versailles-inspired garden with a variety of trees, plants and an orchard. in the spring, over 12,000 flowers bloom in the tiered, three-level garden.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'S' --> 's'",
+      "replace   text[30:31] --> decoded_text[30:31]      'V' --> 'v'",
+      "replace   text[105:106] --> decoded_text[105:106]      'I' --> 'i'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.016666666666666666,
+    "oov_charset": "[\"S\", \"V\", \"I\"]"
+  },
+  {
+    "text": "According to Frosch, the listing has received global attention and, despite being on the market for only 24 hours, buyers are already showing interest.",
+    "decoded_text": "according to frosch, the listing has received global attention and, despite being on the market for only 24 hours, buyers are already showing interest.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'A' --> 'a'",
+      "replace   text[13:14] --> decoded_text[13:14]      'F' --> 'f'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.013245033112582781,
+    "oov_charset": "[\"A\", \"F\"]"
+  },
+  {
+    "text": "“We just went to the market yesterday, it’s private through Sotheby’s and we’ve already started to get calls,” says Frosch.",
+    "decoded_text": "“we just went to the market yesterday, it’s private through sotheby’s and we’ve already started to get calls,” says frosch.",
+    "diff": [
+      "replace   text[1:2] --> decoded_text[1:2]      'W' --> 'w'",
+      "replace   text[60:61] --> decoded_text[60:61]      'S' --> 's'",
+      "replace   text[116:117] --> decoded_text[116:117]      'F' --> 'f'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.024390243902439025,
+    "oov_charset": "[\"W\", \"S\", \"F\"]"
+  },
+  {
+    "text": "Stay well hydrated—that means you should include about 48- 64 ounces of liquid (non-calorie) each day. You will be drinking small amounts (“sips”) every hour through the day since you will not be able to drink a large amount all at once.",
+    "decoded_text": "stay well hydrated—that means you should include about 48- 64 ounces of liquid (non-calorie) each day. you will be drinking small amounts (“sips”) every hour through the day since you will not be able to drink a large amount all at once.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'S' --> 's'",
+      "replace   text[103:104] --> decoded_text[103:104]      'Y' --> 'y'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.008438818565400843,
+    "oov_charset": "[\"S\", \"Y\"]"
+  },
+  {
+    "text": "On Day Four after your surgery, begin adding liquid protein during this Phase (20 to 30 grams per day). That means you should buy a protein powder suggested by your dietitian, doctor or nurse. We recommend:",
+    "decoded_text": "on day four after your surgery, begin adding liquid protein during this phase (20 to 30 grams per day). that means you should buy a protein powder suggested by your dietitian, doctor or nurse. we recommend:",
+    "diff": [
+      "replace   text[0:13] --> decoded_text[0:7] 'On Day Four a' --> 'on day '",
+      "insert    text[14:14] --> decoded_text[8:14]       '' --> 'our af'",
+      "replace   text[72:73] --> decoded_text[72:73]      'P' --> 'p'",
+      "replace   text[104:105] --> decoded_text[104:105]      'T' --> 't'",
+      "replace   text[193:194] --> decoded_text[193:194]      'W' --> 'w'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.02912621359223301,
+    "oov_charset": "[\"O\", \"D\", \"F\", \"P\", \"T\", \"W\"]"
+  },
+  {
+    "text": "Unjury (20grams of whey protein isolate per packet) once a day (available at our office or www.UNJURY.com or 800-517-5111",
+    "decoded_text": "unjury (20grams of whey protein isolate per packet) once a day (available at our office or www.unjury.com or 800-517-5111",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'U' --> 'u'",
+      "replace   text[95:101] --> decoded_text[95:101] 'UNJURY' --> 'unjury'"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.05785123966942149,
+    "oov_charset": "[\"U\", \"N\", \"J\", \"R\", \"Y\"]"
+  },
+  {
+    "text": "Watch for signs of dehydration!",
+    "decoded_text": "watch for signs of dehydration!",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'W' --> 'w'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.03225806451612903,
+    "oov_charset": "[\"W\"]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-spanish @ cc100.es.diff.json

@@ -0,0 +1,114 @@
+[
+  {
+    "text": "\"Se trata de un trabajo de cerca de seis meses. paciente, articulado, contra la organización criminal \"Los Sanguinarios del Norte Chico\" dedicados a la extorsión, robo, sicariato, tráfico ilícito de drogas.\", explicó Medina.",
+    "decoded_text": "\"se trata de un trabajo de cerca de seis meses. paciente, articulado, contra la organización criminal \"los sanguinarios del norte chico\" dedicados a la extorsión, robo, sicariato, tráfico ilícito de drogas.\", explicó medina.",
+    "diff": [
+      "replace   text[1:2] --> decoded_text[1:2]      'S' --> 's'",
+      "replace   text[103:108] --> decoded_text[103:108]  'Los S' --> 'los s'",
+      "replace   text[124:131] --> decoded_text[124:131] 'Norte C' --> 'norte c'",
+      "replace   text[217:218] --> decoded_text[217:218]      'M' --> 'm'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.026785714285714284,
+    "oov_charset": "[\"S\", \"L\", \"N\", \"C\", \"M\"]"
+  },
+  {
+    "text": "Hasta el momento se han detenido a 48 integrantes de la organización criminal.",
+    "decoded_text": "hasta el momento se han detenido a 48 integrantes de la organización criminal.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'H' --> 'h'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01282051282051282,
+    "oov_charset": "[\"H\"]"
+  },
+  {
+    "text": "A \"Los Sanguinarios del Norte Chico\" se les ha atribuido al menos 17 homicidios cometidos por sicarios debido a ajustes de cuentas para el control del cobro de cupos o contra objetivos que se negaban a acatar sus condiciones.",
+    "decoded_text": "a \"los sanguinarios del norte chico\" se les ha atribuido al menos 17 homicidios cometidos por sicarios debido a ajustes de cuentas para el control del cobro de cupos o contra objetivos que se negaban a acatar sus condiciones.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'A' --> 'a'",
+      "replace   text[3:8] --> decoded_text[3:8]  'Los S' --> 'los s'",
+      "replace   text[24:31] --> decoded_text[24:31] 'Norte C' --> 'norte c'"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.022222222222222223,
+    "oov_charset": "[\"A\", \"L\", \"S\", \"N\", \"C\"]"
+  },
+  {
+    "text": "En este megaoperativo han participado 800 agentes de la Policia Nacional del Peru y 85 fiscales, quienes se han desplazado en 130 vehículos. Asimismo, e los 47 detenidos, 10 son mujeres.",
+    "decoded_text": "en este megaoperativo han participado 800 agentes de la policia nacional del peru y 85 fiscales, quienes se han desplazado en 130 vehículos. asimismo, e los 47 detenidos, 10 son mujeres.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'E' --> 'e'",
+      "replace   text[56:57] --> decoded_text[56:57]      'P' --> 'p'",
+      "replace   text[64:65] --> decoded_text[64:65]      'N' --> 'n'",
+      "replace   text[77:78] --> decoded_text[77:78]      'P' --> 'p'",
+      "replace   text[141:142] --> decoded_text[141:142]      'A' --> 'a'"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.026881720430107527,
+    "oov_charset": "[\"E\", \"P\", \"N\", \"A\"]"
+  },
+  {
+    "text": "1. El período de vacaciones anuales retribuidas, no sustituible",
+    "decoded_text": "1. el período de vacaciones anuales retribuidas, no sustituible",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      'E' --> 'e'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015873015873015872,
+    "oov_charset": "[\"E\"]"
+  },
+  {
+    "text": "– Art. 2, Ley 4/1983, de 29 de junio, de fijación de la jornada",
+    "decoded_text": "– art. 2, ley 4/1983, de 29 de junio, de fijación de la jornada",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'A' --> 'a'",
+      "replace   text[10:11] --> decoded_text[10:11]      'L' --> 'l'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.031746031746031744,
+    "oov_charset": "[\"A\", \"L\"]"
+  },
+  {
+    "text": "2. El período o períodos de su disfrute se fijará de común",
+    "decoded_text": "2. el período o períodos de su disfrute se fijará de común",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      'E' --> 'e'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017241379310344827,
+    "oov_charset": "[\"E\"]"
+  },
+  {
+    "text": "con lo establecido en su caso en los Convenios Colectivos",
+    "decoded_text": "con lo establecido en su caso en los convenios colectivos",
+    "diff": [
+      "replace   text[37:38] --> decoded_text[37:38]      'C' --> 'c'",
+      "replace   text[47:48] --> decoded_text[47:48]      'C' --> 'c'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.03508771929824561,
+    "oov_charset": "[\"C\"]"
+  },
+  {
+    "text": "En caso de desacuerdo entre las partes, la jurisdicción competente",
+    "decoded_text": "en caso de desacuerdo entre las partes, la jurisdicción competente",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'E' --> 'e'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015151515151515152,
+    "oov_charset": "[\"E\"]"
+  },
+  {
+    "text": "– Art. 4 Ley 11/1994, de 19 de mayo, por la que se modifican",
+    "decoded_text": "– art. 4 ley 11/1994, de 19 de mayo, por la que se modifican",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'A' --> 'a'",
+      "replace   text[9:10] --> decoded_text[9:10]      'L' --> 'l'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.03333333333333333,
+    "oov_charset": "[\"A\", \"L\"]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-spanish @ cc100.fa.diff.json

@@ -0,0 +1,106 @@
+[
+  {
+    "text": "آشپزخانه کوچک من: February 2012",
+    "decoded_text": "آشپزخانه کوچک من: february 2012",
+    "diff": [
+      "replace   text[18:19] --> decoded_text[18:19]      'F' --> 'f'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.03225806451612903,
+    "oov_charset": "[\"F\"]"
+  },
+  {
+    "text": "با رایانامه ارسال کنیداین را در وبلاگ بنویسید!‏در Twitter به اشتراک بگذارید‏در Facebook به اشتراک بگذارید‏اشتراک‌گذاری در Pinterest",
+    "decoded_text": "با رایانامه ارسال کنیداین را در وبلاگ بنویسید!‏در twitter به اشتراک بگذارید‏در facebook به اشتراک بگذارید‏اشتراک‌گذاری در pinterest",
+    "diff": [
+      "replace   text[50:51] --> decoded_text[50:51]      'T' --> 't'",
+      "replace   text[79:80] --> decoded_text[79:80]      'F' --> 'f'",
+      "replace   text[122:123] --> decoded_text[122:123]      'P' --> 'p'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.022900763358778626,
+    "oov_charset": "[\"T\", \"F\", \"P\"]"
+  },
+  {
+    "text": "( کره از شیر درست میشه. وقتی کره رو از شیر جدا میکنن باقی مانده شیر میشه باتر میلک . اگر دسترسی به باتر میلک ندارید میتونید خودتون درستش کنید",
+    "decoded_text": "( کره از شیر درست میشه. وقتی کره رو از شیر جدا میکنن باقی مانده شیر میشه باتر میلک. اگر دسترسی به باتر میلک ندارید میتونید خودتون درستش کنید",
+    "diff": [
+      "delete    text[82:83] --> decoded_text[82:82]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "بادمجانها رو بشورید و سرشون رو برش بدید و داخل بادمجانها رو خالی کنید با هر چیزی که میتونید مثل قاشق بستنی و ..",
+    "decoded_text": "بادمجانها رو بشورید و سرشون رو برش بدید و داخل بادمجانها رو خالی کنید با هر چیزی که میتونید مثل قاشق بستنی و..",
+    "diff": [
+      "delete    text[108:109] --> decoded_text[108:108]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "بعد مقداری نمک اضافه کنید و اب بریزید \" این سوپ با اب مرغ درست میشه اما چون من گیاه خوار هستم به جاش از پودر سبزیجات استفاده کردم .. اینجـــــــــــــــا میتونید دستورش رو ببینید. (روی کلمه اینجا کیک کنید)",
+    "decoded_text": "بعد مقداری نمک اضافه کنید و اب بریزید \" این سوپ با اب مرغ درست میشه اما چون من گیاه خوار هستم به جاش از پودر سبزیجات استفاده کردم.. اینجـــــــــــــــا میتونید دستورش رو ببینید. (روی کلمه اینجا کیک کنید)",
+    "diff": [
+      "delete    text[129:130] --> decoded_text[129:129]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "به اشپزخانه کوچک من خوش امدید از اونجایی که عاشق اشپزی هستم و از اشپزی لذت میبرم و خیلی اشپز خوبیم(خود شیفتگی مزمن) تصمیم گرفتم که دانسته هایم را با شما به اشتراک بگذارم امیدوارم که شما هم استفاده کامل رو از اشپزخانه من ببرید همه این غذاهایی که می بینید دست پخت اینجانب می باشد لطفا, خواهشا , التماس میکنم اگر از کارهام کپی کردین اسم این اشپز معروف رو هم بیارید اگر این کار رو نکنید انشا الله به حق 124 هزار پیغمبر به زودی بترکین ________________________ استفاده از عکسهای اشپزخانه کوچک من در فضاهای مجازی و نشریات چاپی فقط با اجازه رسمی نگارنده و با ذکر منبع و نشانی وبلاگ مجاز است. × استفاده از عکسها در کتاب یا روزنامه ,مجله امثال آن صرفا با اجازه رسمی نگارنده مجاز است . در غیر اینصورت پیگیری قضایی صورت خواهد گرفت.",
+    "decoded_text": "به اشپزخانه کوچک من خوش امدید از اونجایی که عاشق اشپزی هستم و از اشپزی لذت میبرم و خیلی اشپز خوبیم(خود شیفتگی مزمن) تصمیم گرفتم که دانسته هایم را با شما به اشتراک بگذارم امیدوارم که شما هم استفاده کامل رو از اشپزخانه من ببرید همه این غذاهایی که می بینید دست پخت اینجانب می باشد لطفا, خواهشا, التماس میکنم اگر از کارهام کپی کردین اسم این اشپز معروف رو هم بیارید اگر این کار رو نکنید انشا الله به حق 124 هزار پیغمبر به زودی بترکین ________________________ استفاده از عکسهای اشپزخانه کوچک من در فضاهای مجازی و نشریات چاپی فقط با اجازه رسمی نگارنده و با ذکر منبع و نشانی وبلاگ مجاز است. × استفاده از عکسها در کتاب یا روزنامه,مجله امثال آن صرفا با اجازه رسمی نگارنده مجاز است. در غیر اینصورت پیگیری قضایی صورت خواهد گرفت.",
+    "diff": [
+      "delete    text[290:291] --> decoded_text[290:290]      ' ' --> ''",
+      "delete    text[621:622] --> decoded_text[620:620]      ' ' --> ''",
+      "delete    text[672:673] --> decoded_text[670:670]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: نشاسته: 200 گرم==== 1و2/3 پیمانه ماست: 180 گرم ==== 3/4 پیمانه ارد : 1 قاشق چای خوری زعفران اب شده : 1 قاشق غذا ...",
+    "decoded_text": "مواد لازم: نشاسته: 200 گرم==== 1و2/3 پیمانه ماست: 180 گرم ==== 3/4 پیمانه ارد : 1 قاشق چای خوری زعفران اب شده : 1 قاشق غذا...",
+    "diff": [
+      "delete    text[122:123] --> decoded_text[122:122]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: تخم مرغ :4 عدد ارد: 3/4 پیمانه شکر:3/4 پیمانه وانیل: یک قاشق چایخوری بیکینگ پودر:1/2 قاشق چای خوری خامه به مقدار لازم ...",
+    "decoded_text": "مواد لازم: تخم مرغ :4 عدد ارد: 3/4 پیمانه شکر:3/4 پیمانه وانیل: یک قاشق چایخوری بیکینگ پودر:1/2 قاشق چای خوری خامه به مقدار لازم...",
+    "diff": [
+      "delete    text[128:129] --> decoded_text[128:128]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: سیب زمینی: 4 عدد درشت پیاز : یک عدد کوچک فلفل دلمه ای : 1/4 یک عدد فلفل قارچ: 1 عدد سیر:2 حبه رب:1 قاشق غذا خوری ...",
+    "decoded_text": "مواد لازم: سیب زمینی: 4 عدد درشت پیاز : یک عدد کوچک فلفل دلمه ای : 1/4 یک عدد فلفل قارچ: 1 عدد سیر:2 حبه رب:1 قاشق غذا خوری...",
+    "diff": [
+      "delete    text[123:124] --> decoded_text[123:123]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: کدو سبز: 1 عدد درشت پیازچه: 2 عدد ریز خرد شده پودر سوخاری : 1 پیمانه پنیر پارمسان : 1/2 پیمانه ریز رنده شده نمک ...",
+    "decoded_text": "مواد لازم: کدو سبز: 1 عدد درشت پیازچه: 2 عدد ریز خرد شده پودر سوخاری : 1 پیمانه پنیر پارمسان : 1/2 پیمانه ریز رنده شده نمک...",
+    "diff": [
+      "delete    text[122:123] --> decoded_text[122:122]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-spanish @ cc100.fr.diff.json

@@ -0,0 +1,106 @@
+[
+  {
+    "text": "Bon, comme je ne suis pas le seul à avoir envisagé de créer ce sujet, je me suis dis qu'il était peut être temps de le commencer.",
+    "decoded_text": "bon, comme je ne suis pas le seul à avoir envisagé de créer ce sujet, je me suis dis qu'il était peut être temps de le commencer.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'B' --> 'b'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007751937984496124,
+    "oov_charset": "[\"B\"]"
+  },
+  {
+    "text": "Vous dites ce que vous voulez, faut justes des infos autour desquelles on réfléchira.",
+    "decoded_text": "vous dites ce que vous voulez, faut justes des infos autour desquelles on réfléchira.",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'V' --> 'v'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.011764705882352941,
+    "oov_charset": "[\"V\"]"
+  },
+  {
+    "text": "Encore une fois, vous n'etes pas obligé de vous dévoilez entièrement",
+    "decoded_text": "encore une fois, vous n'etes pas obligé de vous dévoilez entièrement",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      'E' --> 'e'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.014705882352941176,
+    "oov_charset": "[\"E\"]"
+  },
+  {
+    "text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée ?\" le matin, il y a de fortes chances que j'oublie",
+    "decoded_text": "- je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée?\" le matin, il y a de fortes chances que j'oublie",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'J' --> 'j'",
+      "delete    text[193:194] --> decoded_text[193:193]      ' ' --> ''"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.004098360655737705,
+    "oov_charset": "[\"J\"]"
+  },
+  {
+    "text": "- Je peux penser une chose et son contraire. Par exemple, quand ma mère dit que les politiciens ne foutent rien pour les attentats, je me dit que si, ils essaient des trucs, mais pourtant je pense aussi qu'ils n'en ont rien à branler.",
+    "decoded_text": "- je peux penser une chose et son contraire. par exemple, quand ma mère dit que les politiciens ne foutent rien pour les attentats, je me dit que si, ils essaient des trucs, mais pourtant je pense aussi qu'ils n'en ont rien à branler.",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'J' --> 'j'",
+      "replace   text[45:46] --> decoded_text[45:46]      'P' --> 'p'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.008547008547008548,
+    "oov_charset": "[\"J\", \"P\"]"
+  },
+  {
+    "text": "- Je penses et réfléchit tout seul sur des sujets n'ayant rien à voir avec une situation. Exemple, quand j'attends mes soeurs et ma mère devant un magasin, je réfléchit à la création du monde.",
+    "decoded_text": "- je penses et réfléchit tout seul sur des sujets n'ayant rien à voir avec une situation. exemple, quand j'attends mes soeurs et ma mère devant un magasin, je réfléchit à la création du monde.",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'J' --> 'j'",
+      "replace   text[90:91] --> decoded_text[90:91]      'E' --> 'e'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.010416666666666666,
+    "oov_charset": "[\"J\", \"E\"]"
+  },
+  {
+    "text": "- Je suis arrogant avec ma famille, mais faible avec mes \"amis\" du lycée, et ait tendance à preférer ceux que je connais par Internet ou ailleurs qu'au lycée",
+    "decoded_text": "- je suis arrogant avec ma famille, mais faible avec mes \"amis\" du lycée, et ait tendance à preférer ceux que je connais par internet ou ailleurs qu'au lycée",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'J' --> 'j'",
+      "replace   text[125:126] --> decoded_text[125:126]      'I' --> 'i'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.012738853503184714,
+    "oov_charset": "[\"J\", \"I\"]"
+  },
+  {
+    "text": "- Je dois être mentalement instable, par moments",
+    "decoded_text": "- je dois être mentalement instable, par moments",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'J' --> 'j'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.020833333333333332,
+    "oov_charset": "[\"J\"]"
+  },
+  {
+    "text": "- Je n'envoie que très peu de sms et n'appelle personne",
+    "decoded_text": "- je n'envoie que très peu de sms et n'appelle personne",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'J' --> 'j'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01818181818181818,
+    "oov_charset": "[\"J\"]"
+  },
+  {
+    "text": "- J'ai tendance à voir les autres humains \"normaux\" comme des abrutis n'ayant aucune ou peu de capacités de réflexions, et je sais que je ne dois pas",
+    "decoded_text": "- j'ai tendance à voir les autres humains \"normaux\" comme des abrutis n'ayant aucune ou peu de capacités de réflexions, et je sais que je ne dois pas",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      'J' --> 'j'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.006711409395973154,
+    "oov_charset": "[\"J\"]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-spanish @ cc100.ja.diff.json

@@ -0,0 +1,103 @@
+[
+  {
+    "text": "午後から雨が心配だったので遠出はせず、『ふれあいロード』を走って来ました！",
+    "decoded_text": "午後から雨が心配だったので遠出はせず、『ふれあいロード』を走って来ました!",
+    "diff": [
+      "replace   text[36:37] --> decoded_text[36:37]      '！' --> '!'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.02702702702702703,
+    "oov_charset": "[\"！\"]"
+  },
+  {
+    "text": "実は、１年程前にエルモサの右目の黒目の端によ〜く見ないと分からない程の小さな斑を見つけてたんです。",
+    "decoded_text": "実は、1年程前にエルモサの右目の黒目の端によ〜く見ないと分からない程の小さな斑を見つけてたんです。",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      '１' --> '1'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.02040816326530612,
+    "oov_charset": "[\"１\"]"
+  },
+  {
+    "text": "なので、エルディとのお散歩でも訪れたことがありません。 カタクリの花が５分咲きとの情報から今回コースの１つに取り入れてみました。",
+    "decoded_text": "なので、エルディとのお散歩でも訪れたことがありません。 カタクリの花が5分咲きとの情報から今回コースの1つに取り入れてみました。",
+    "diff": [
+      "replace   text[35:36] --> decoded_text[35:36]      '５' --> '5'",
+      "replace   text[51:52] --> decoded_text[51:52]      '１' --> '1'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.03125,
+    "oov_charset": "[\"５\", \"１\"]"
+  },
+  {
+    "text": "今日の天気予報は雨じゃなかったはず。結野アナ言っていたもん。……でもゲリラ豪雨にはご注意とも言っていた。気がする。はい、そうですね、傘持ってこなかった俺が悪いですね。",
+    "decoded_text": "今日の天気予報は雨じゃなかったはず。結野アナ言っていたもん。......でもゲリラ豪雨にはご注意とも言っていた。気がする。はい、そうですね、傘持ってこなかった俺が悪いですね。",
+    "diff": [
+      "replace   text[30:32] --> decoded_text[30:36]     '……' --> '......'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.024096385542168676,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "何故こんなものを……と首を傾げて、ふと見覚えがあることに気付いた。どんなものだったのかは曖昧だが、それをどうしたかだけはよく覚えている。",
+    "decoded_text": "何故こんなものを......と首を傾げて、ふと見覚えがあることに気付いた。どんなものだったのかは曖昧だが、それをどうしたかだけはよく覚えている。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:14]     '……' --> '......'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.029411764705882353,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "戦時中、敵が「桂を討ち取った！」と声高々に喚くのを何度も聞いたことがある。桂に限らず、四天王のメンツは大体白羽の矢が立っていたが。",
+    "decoded_text": "戦時中、敵が「桂を討ち取った!」と声高々に喚くのを何度も聞いたことがある。桂に限らず、四天王のメンツは大体白羽の矢が立っていたが。",
+    "diff": [
+      "replace   text[14:15] --> decoded_text[14:15]      '！' --> '!'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015384615384615385,
+    "oov_charset": "[\"！\"]"
+  },
+  {
+    "text": "自分１人ではどうしようもならないのが、借金返済・多重債務の問題です。",
+    "decoded_text": "自分1人ではどうしようもならないのが、借金返済・多重債務の問題です。",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      '１' --> '1'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.029411764705882353,
+    "oov_charset": "[\"１\"]"
+  },
+  {
+    "text": "潟上市の人も、まずインターネットの無料相談で、弁護士・司法書士に相談してみませんか？",
+    "decoded_text": "潟上市の人も、まずインターネットの無料相談で、弁護士・司法書士に相談してみませんか?",
+    "diff": [
+      "replace   text[41:42] --> decoded_text[41:42]      '？' --> '?'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.023809523809523808,
+    "oov_charset": "[\"？\"]"
+  },
+  {
+    "text": "１人で悩むより、まず弁護士・司法書士に相談することが、借金問題解決への第一歩です。",
+    "decoded_text": "1人で悩むより、まず弁護士・司法書士に相談することが、借金問題解決への第一歩です。",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      '１' --> '1'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.024390243902439025,
+    "oov_charset": "[\"１\"]"
+  },
+  {
+    "text": "潟上市で任意整理や債務整理について、弁護士・司法書士へ無料相談してみては？365日・24時間受付可能な相談事務所を紹介しています。",
+    "decoded_text": "潟上市で任意整理や債務整理について、弁護士・司法書士へ無料相談してみては?365日・24時間受付可能な相談事務所を紹介しています。",
+    "diff": [
+      "replace   text[36:37] --> decoded_text[36:37]      '？' --> '?'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015384615384615385,
+    "oov_charset": "[\"？\"]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-spanish @ cc100.ko.diff.json

@@ -0,0 +1,111 @@
+[
+  {
+    "text": "+ HOME > 라이브스코어",
+    "decoded_text": "+ home > 라이브스코어",
+    "diff": [
+      "replace   text[2:6] --> decoded_text[2:6]   'HOME' --> 'home'"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.26666666666666666,
+    "oov_charset": "[\"H\", \"O\", \"M\", \"E\"]"
+  },
+  {
+    "text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246 .270 .508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
+    "decoded_text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246.270.508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
+    "diff": [
+      "delete    text[59:60] --> decoded_text[59:59]      ' ' --> ''",
+      "delete    text[64:65] --> decoded_text[63:63]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "여기서승리한 2팀이 준결승에 오른다. 결국 A, B조 1위는 12강-4강-결승으로 3경기를 치르지만, C, D, 황금의제국카지노 E, F조 1위는 주소 12강-6강-4강-결승으로 4경기를 해야 한다.",
+    "decoded_text": "여기서승리한 2팀이 준결승에 오른다. 결국 a, b조 1위는 12강-4강-결승으로 3경기를 치르지만, c, d, 황금의제국카지노 e, f조 1위는 주소 12강-6강-4강-결승으로 4경기를 해야 한다.",
+    "diff": [
+      "replace   text[24:25] --> decoded_text[24:25]      'A' --> 'a'",
+      "replace   text[27:28] --> decoded_text[27:28]      'B' --> 'b'",
+      "replace   text[57:58] --> decoded_text[57:58]      'C' --> 'c'",
+      "replace   text[60:61] --> decoded_text[60:61]      'D' --> 'd'",
+      "replace   text[72:73] --> decoded_text[72:73]      'E' --> 'e'",
+      "replace   text[75:76] --> decoded_text[75:76]      'F' --> 'f'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.05405405405405406,
+    "oov_charset": "[\"A\", \"B\", \"C\", \"D\", \"E\", \"F\"]"
+  },
+  {
+    "text": "알더베이럴트는맨유의 수비를 보강해줄 능력이 충분하다. 지난 황금의제국카지노 2014년부터 사우샘프턴, 토트넘을 거치며 잉글랜드 주소 프리미어리그(EPL)에서 폭넓은 경험을 쌓았다.",
+    "decoded_text": "알더베이럴트는맨유의 수비를 보강해줄 능력이 충분하다. 지난 황금의제국카지노 2014년부터 사우샘프턴, 토트넘을 거치며 잉글랜드 주소 프리미어리그(epl)에서 폭넓은 경험을 쌓았다.",
+    "diff": [
+      "replace   text[81:84] --> decoded_text[81:84]    'EPL' --> 'epl'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.03,
+    "oov_charset": "[\"E\", \"P\", \"L\"]"
+  },
+  {
+    "text": "민준이형은잘 모르겠다. 준호도 같은 시기에 드라마를 주소 해서 못 봤을 황금의제국카지노 것 같고, 닉쿤형도 화성(tvN ‘갈릴레오’)에 다녀오고 해외 스케줄이 많아서 보지는 못 했을 것이다.”",
+    "decoded_text": "민준이형은잘 모르겠다. 준호도 같은 시기에 드라마를 주소 해서 못 봤을 황금의제국카지노 것 같고, 닉쿤형도 화성(tvn ‘갈릴레오’)에 다녀오고 해외 스케줄이 많아서 보지는 못 했을 것이다.”",
+    "diff": [
+      "replace   text[65:66] --> decoded_text[65:66]      'N' --> 'n'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.009345794392523364,
+    "oov_charset": "[\"N\"]"
+  },
+  {
+    "text": "황아름은2009년 야마하 레이디스 오픈에서 생애 첫 JLPGA 투어 황금의제국카지노 우승을 차지했다. 이후 좀처럼 승전보를 전하지 못한 그는 무려 주소 9년 4개월 만에 정상에 등극했다.",
+    "decoded_text": "황아름은2009년 야마하 레이디스 오픈에서 생애 첫 jlpga 투어 황금의제국카지노 우승을 차지했다. 이후 좀처럼 승전보를 전하지 못한 그는 무려 주소 9년 4개월 만에 정상에 등극했다.",
+    "diff": [
+      "replace   text[29:34] --> decoded_text[29:34]  'JLPGA' --> 'jlpga'"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.04807692307692308,
+    "oov_charset": "[\"J\", \"L\", \"P\", \"G\", \"A\"]"
+  },
+  {
+    "text": "-이번AG에서 두 주소 선수는 어떤 황금의제국카지노 그림을 그리고 있나요.",
+    "decoded_text": "-이번ag에서 두 주소 선수는 어떤 황금의제국카지노 그림을 그리고 있나요.",
+    "diff": [
+      "replace   text[3:5] --> decoded_text[3:5]     'AG' --> 'ag'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.04878048780487805,
+    "oov_charset": "[\"A\", \"G\"]"
+  },
+  {
+    "text": "1위를할 경우 대진표와 객관적인 전력으로 황금의제국카지노 볼 때 6강 PO에서 일본, 4강에서 최강 주소 이란을 연달아 만날 가능성이 높다. 한 마디로 '최악'이다.",
+    "decoded_text": "1위를할 경우 대진표와 객관적인 전력으로 황금의제국카지노 볼 때 6강 po에서 일본, 4강에서 최강 주소 이란을 연달아 만날 가능성이 높다. 한 마디로 '최악'이다.",
+    "diff": [
+      "replace   text[39:41] --> decoded_text[39:41]     'PO' --> 'po'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.021739130434782608,
+    "oov_charset": "[\"P\", \"O\"]"
+  },
+  {
+    "text": "15개국이출전하기로 했던 아시안게임 황금의제국카지노 남자농구에서 필리핀은 이란, 시리아, 아랍에미리트(UAE)와 함께 B조에 편성돼 있었다.",
+    "decoded_text": "15개국이출전하기로 했던 아시안게임 황금의제국카지노 남자농구에서 필리핀은 이란, 시리아, 아랍에미리트(uae)와 함께 b조에 편성돼 있었다.",
+    "diff": [
+      "replace   text[57:60] --> decoded_text[57:60]    'UAE' --> 'uae'",
+      "replace   text[66:67] --> decoded_text[66:67]      'B' --> 'b'"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.05128205128205128,
+    "oov_charset": "[\"U\", \"A\", \"E\", \"B\"]"
+  },
+  {
+    "text": "한국은인도네시아, 태국, 몽골과 A조에 편성됐다. 일본, 카타르, 대만, 홍콩이 C조에 포진하고 중국, 카자흐스탄, 팔레스타인이 D조에 자리잡았으나 팔레스타인도 기권함에 황금의제국카지노 따라 모두 13개국만 출전하게 됐다.",
+    "decoded_text": "한국은인도네시아, 태국, 몽골과 a조에 편성됐다. 일본, 카타르, 대만, 홍콩이 c조에 포진하고 중국, 카자흐스탄, 팔레스타인이 d조에 자리잡았으나 팔레스타인도 기권함에 황금의제국카지노 따라 모두 13개국만 출전하게 됐다.",
+    "diff": [
+      "replace   text[18:19] --> decoded_text[18:19]      'A' --> 'a'",
+      "replace   text[45:46] --> decoded_text[45:46]      'C' --> 'c'",
+      "replace   text[72:73] --> decoded_text[72:73]      'D' --> 'd'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.024193548387096774,
+    "oov_charset": "[\"A\", \"C\", \"D\"]"
+  }
+]

stats/compression_rate/ClassCat.gpt2-base-spanish @ cc100.zh-Hans.diff.json

@@ -0,0 +1,163 @@
+[
+  {
+    "text": "卍招财带什么佛牌卍(www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的。近日，编辑专门联系到山西传奇北京现代汽车4S店得知，店内朗动车型有现车供应，现阶段购车可享受最高6000元优惠幅度，具体的车型和价格情况请见下表，同时感兴趣的朋友还可致电4008112233转3456详询：",
+    "decoded_text": "卍招财带什么佛牌卍(www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职,并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生,曾任通用汽车在中国合资公司的。近日,编辑专门联系到山西传奇北京现代汽车4s店得知,店内朗动车型有现车供应,现阶段购车可享受最高6000元优惠幅度,具体的车型和价格情况请见下表,同时感兴趣的朋友还可致电4008112233转3456详询:",
+    "diff": [
+      "replace   text[57:58] --> decoded_text[57:58]      '，' --> ','",
+      "replace   text[95:96] --> decoded_text[95:96]      '，' --> ','",
+      "replace   text[113:114] --> decoded_text[113:114]      '，' --> ','",
+      "replace   text[132:133] --> decoded_text[132:133]      'S' --> 's'",
+      "replace   text[136:137] --> decoded_text[136:137]      '，' --> ','",
+      "replace   text[148:149] --> decoded_text[148:149]      '，' --> ','",
+      "replace   text[168:169] --> decoded_text[168:169]      '，' --> ','",
+      "replace   text[183:184] --> decoded_text[183:184]      '，' --> ','",
+      "replace   text[213:214] --> decoded_text[213:214]      '：' --> ':'"
+    ],
+    "n_oov_chars": 9,
+    "oov_ratio": 0.04205607476635514,
+    "oov_charset": "[\"，\", \"S\", \"：\"]"
+  },
+  {
+    "text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期，一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下，这对夫妇经历了惊心动魄的３小时，终于在飞机起飞前５分钟，登上返程的航班。",
+    "decoded_text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期,一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下,这对夫妇经历了惊心动魄的3小时,终于在飞机起飞前5分钟,登上返程的航班。",
+    "diff": [
+      "replace   text[51:52] --> decoded_text[51:52]      '，' --> ','",
+      "replace   text[87:88] --> decoded_text[87:88]      '，' --> ','",
+      "replace   text[100:101] --> decoded_text[100:101]      '３' --> '3'",
+      "replace   text[103:104] --> decoded_text[103:104]      '，' --> ','",
+      "replace   text[112:113] --> decoded_text[112:113]      '５' --> '5'",
+      "replace   text[115:116] --> decoded_text[115:116]      '，' --> ','"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.04838709677419355,
+    "oov_charset": "[\"，\", \"３\", \"５\"]"
+  },
+  {
+    "text": "招财带什么佛牌张德江在致辞中表示，中法建交开启了中法两个伟大国家友好关系的新纪元，树立了不同社会制度国家和平共处的新典范，对国际战略格局产生了重大而深远的影响。",
+    "decoded_text": "招财带什么佛牌张德江在致辞中表示,中法建交开启了中法两个伟大国家友好关系的新纪元,树立了不同社会制度国家和平共处的新典范,对国际战略格局产生了重大而深远的影响。",
+    "diff": [
+      "replace   text[16:17] --> decoded_text[16:17]      '，' --> ','",
+      "replace   text[40:41] --> decoded_text[40:41]      '，' --> ','",
+      "replace   text[60:61] --> decoded_text[60:61]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.0375,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "招财带什么佛牌科斯格罗夫一直供职于军队，曾被派往马来西亚、越南、英国、印度、美国工作。1999年，他成为联合国驻东帝汶部队司令，监督东帝汶向独立国家的过渡。",
+    "decoded_text": "招财带什么佛牌科斯格罗夫一直供职于军队,曾被派往马来西亚、越南、英国、印度、美国工作。1999年,他成为联合国驻东帝汶部队司令,监督东帝汶向独立国家的过渡。",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:20]      '，' --> ','",
+      "replace   text[48:49] --> decoded_text[48:49]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.038461538461538464,
+    "oov_charset": "[\"��\"]"
+  },
+  {
+    "text": "1月28日电据香港《明报》消息，在庆祝披头士进军美国音乐市场50周年的纪念日子，格莱美向两名仅存成员：保罗麦卡尼及灵高史达(RingoStarr)颁发终身成就奖，显得别具意义。为了隆重其事，大会请来金像影后茱莉亚••罗伯茨(JuliaRoberts)负责介绍二人出场，保罗在拍档的鼓声和应下，先献唱新歌《QueenieEye》，然后轮到后者演绎旧作《Photograph》，带领歌迷重温昔日的美好情怀。",
+    "decoded_text": "1月28日电据香港《明报》消息,在庆祝披头士进军美国音乐市场50周年的纪念日子,格莱美向两名仅存成员:保罗麦卡尼及灵高史达(ringostarr)颁发终身成就奖,显得别具意义。为了隆重其事,大会请来金像影后茱莉亚••罗伯茨(juliaroberts)负责介绍二人出场,保罗在拍档的鼓声和应下,先献唱新歌《queenieeye》,然后轮到后者演绎旧作《photograph》,带领歌迷重温昔日的美好情怀。",
+    "diff": [
+      "replace   text[15:16] --> decoded_text[15:16]      '，' --> ','",
+      "replace   text[39:40] --> decoded_text[39:40]      '，' --> ','",
+      "replace   text[50:51] --> decoded_text[50:51]      '：' --> ':'",
+      "replace   text[62:63] --> decoded_text[62:63]      'R' --> 'r'",
+      "replace   text[67:68] --> decoded_text[67:68]      'S' --> 's'",
+      "replace   text[80:81] --> decoded_text[80:81]      '，' --> ','",
+      "replace   text[94:95] --> decoded_text[94:95]      '，' --> ','",
+      "replace   text[112:113] --> decoded_text[112:113]      'J' --> 'j'",
+      "replace   text[117:118] --> decoded_text[117:118]      'R' --> 'r'",
+      "replace   text[133:134] --> decoded_text[133:134]      '，' --> ','",
+      "replace   text[145:146] --> decoded_text[145:146]      '，' --> ','",
+      "replace   text[152:153] --> decoded_text[152:153]      'Q' --> 'q'",
+      "replace   text[159:160] --> decoded_text[159:160]      'E' --> 'e'",
+      "replace   text[163:164] --> decoded_text[163:164]      '，' --> ','",
+      "replace   text[175:176] --> decoded_text[175:176]      'P' --> 'p'",
+      "replace   text[186:187] --> decoded_text[186:187]      '，' --> ','"
+    ],
+    "n_oov_chars": 16,
+    "oov_ratio": 0.07960199004975124,
+    "oov_charset": "[\"，\", \"：\", \"R\", \"S\", \"J\", \"Q\", \"E\", \"P\"]"
+  },
+  {
+    "text": "佛牌绳哪里有卖到达目的地后，记者全程的总车费是14元，但司机到账21元，因此，司机给记者7元，除去之前支付的1元，记者净赚6元，还免费乘了本应支付14元的车。",
+    "decoded_text": "佛牌绳哪里有卖到达目的地后,记者全程的总车费是14元,但司机到账21元,因此,司机给记者7元,除去之前支付的1元,记者净赚6元,还免费乘了本应支付14元的车。",
+    "diff": [
+      "replace   text[13:14] --> decoded_text[13:14]      '，' --> ','",
+      "replace   text[26:27] --> decoded_text[26:27]      '，' --> ','",
+      "replace   text[35:36] --> decoded_text[35:36]      '，' --> ','",
+      "replace   text[38:39] --> decoded_text[38:39]      '，' --> ','",
+      "replace   text[46:47] --> decoded_text[46:47]      '，' --> ','",
+      "replace   text[56:57] --> decoded_text[56:57]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.08860759493670886,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的副总裁，上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。(方赵春)",
+    "decoded_text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职,并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生,曾任通用汽车在中国合资公司的副总裁,上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。(方赵春)",
+    "diff": [
+      "replace   text[27:28] --> decoded_text[27:28]      '，' --> ','",
+      "replace   text[65:66] --> decoded_text[65:66]      '，' --> ','",
+      "replace   text[83:84] --> decoded_text[83:84]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.02608695652173913,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "大腕导演不可能每部作品都是你喜欢的东西，如果他一时控制不住情绪，就让他骂吧。他也是人，不是神，人就有自己的脾气。他这次执导春晚，对我也开骂：“老毕，我跟你说了这么长时间，让你走2号位，你非要走1号位，你想跟我较死劲是不是？”这也是骂人。但因为你非常了解他，他也不一定有恶意。",
+    "decoded_text": "���腕导演不可能每部作品都是你喜欢的东西,如果他一时控制不住情绪,就让他骂吧。他也是人,不是神,人就有自己的脾气。他这次执导春晚,对我也开骂:“老毕,我跟你说了这么长时间,让你走2号位,你非要走1号位,你想跟我较死劲是不是?”这也是骂人。但因为你非常了解他,他也不一定有恶意。",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:20]      '，' --> ','",
+      "replace   text[31:32] --> decoded_text[31:32]      '，' --> ','",
+      "replace   text[42:43] --> decoded_text[42:43]      '，' --> ','",
+      "replace   text[46:47] --> decoded_text[46:47]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','",
+      "replace   text[69:70] --> decoded_text[69:70]      '：' --> ':'",
+      "replace   text[73:74] --> decoded_text[73:74]      '，' --> ','",
+      "replace   text[84:85] --> decoded_text[84:85]      '，' --> ','",
+      "replace   text[91:92] --> decoded_text[91:92]      '，' --> ','",
+      "replace   text[99:100] --> decoded_text[99:100]      '，' --> ','",
+      "replace   text[110:111] --> decoded_text[110:111]      '？' --> '?'",
+      "replace   text[127:128] --> decoded_text[127:128]      '，' --> ','"
+    ],
+    "n_oov_chars": 12,
+    "oov_ratio": 0.08759124087591241,
+    "oov_charset": "[\"，\", \"：\", \"？\"]"
+  },
+  {
+    "text": "招财带什么佛牌不过挣得多，娜姐也花得多。有媒体报道，教练卡洛斯的年薪高达360万元人民币，李娜每年的花费是600多万元。用一个形象的比喻，娜姐每天一睁眼，将近2万元就出去了。",
+    "decoded_text": "招财带什么佛牌不过挣得多,娜姐也花得多。有媒体报道,教练卡洛斯的年薪高达360万元人民币,李娜每年的花费是600多万元。用一个形象的比喻,娜姐每天一睁眼,将近2万元就出去了。",
+    "diff": [
+      "replace   text[12:13] --> decoded_text[12:13]      '，' --> ','",
+      "replace   text[25:26] --> decoded_text[25:26]      '，' --> ','",
+      "replace   text[44:45] --> decoded_text[44:45]      '，' --> ','",
+      "replace   text[68:69] --> decoded_text[68:69]      '，' --> ','",
+      "replace   text[76:77] --> decoded_text[76:77]      '，' --> ','"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.05747126436781609,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "“金庸的小说《连城诀》里有一个反派人物‘血刀老祖’，一般的坏人做坏事都是心虚的，但是这个人物却做得心安理得，理直气壮，我遇到的这个的哥就是这样。”王先生向记者描述经过时第一句话便这样说。原来，昨日王先生在搭出租车时，遇到的的哥不仅“拾金而昧”，还“昧”得理直气壮。",
+    "decoded_text": "“金庸的小说《连城诀》里有一个反派人物‘血刀老祖’,一般的坏人做坏事都是心虚的,但是这个人物却做得心安理得,理直气壮,我遇到的这个的哥就是这样。”王先生向记者描述经过时第一句话便这样说。原来,昨日王先生在搭出租车时,遇到的的哥不仅“拾金而昧”,还“昧”得理直气壮。",
+    "diff": [
+      "replace   text[25:26] --> decoded_text[25:26]      '，' --> ','",
+      "replace   text[39:40] --> decoded_text[39:40]      '，' --> ','",
+      "replace   text[53:54] --> decoded_text[53:54]      '，' --> ','",
+      "replace   text[58:59] --> decoded_text[58:59]      '，' --> ','",
+      "replace   text[95:96] --> decoded_text[95:96]      '，' --> ','",
+      "replace   text[107:108] --> decoded_text[107:108]      '，' --> ','",
+      "replace   text[121:122] --> decoded_text[121:122]      '，' --> ','"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.05303030303030303,
+    "oov_charset": "[\"，\"]"
+  }
+]

stats/compression_rate/ClueAI.ChatYuan-large-v2 @ cc100.ar.diff.json

@@ -0,0 +1,177 @@
+[
+  {
+    "text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة .. ( 1)",
+    "decoded_text": "- الل<unk>ا<unk> / <unk>ل<unk> <unk> ال<unk>لا<unk> - <unk> <unk>ا<unk>.. ( 1)",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:10]      'و' --> '<unk>'",
+      "replace   text[7:8] --> decoded_text[11:16]      'ء' --> '<unk>'",
+      "replace   text[11:12] --> decoded_text[19:24]      'ع' --> '<unk>'",
+      "replace   text[13:14] --> decoded_text[25:30]      'ي' --> '<unk>'",
+      "replace   text[15:19] --> decoded_text[31:36]   'محمد' --> '<unk>'",
+      "replace   text[22:24] --> decoded_text[39:44]     'كح' --> '<unk>'",
+      "replace   text[26:28] --> decoded_text[46:51]     'ني' --> '<unk>'",
+      "replace   text[31:36] --> decoded_text[54:59]  'نصيحة' --> '<unk>'",
+      "replace   text[37:38] --> decoded_text[60:65]      'ص' --> '<unk>'",
+      "replace   text[39:43] --> decoded_text[66:71]   'دقة ' --> '<unk>'"
+    ],
+    "n_oov_chars": 21,
+    "oov_ratio": 0.42,
+    "oov_charset": "[\"و\", \"ء\", \"ع\", \"ي\", \"م\", \"ح\", \"د\", \"ك\", \"ن\", \"ص\", \"ة\", \"ق\"]"
+  },
+  {
+    "text": "اليمن جنوبها وشمالها.. شرقها وغربها وقفت على مشارف العام الثامن والعشرين من استعادة وضعها الطبيعي, ومن حياتها الاعتيادية الطبيعية في 22مايو العام 1990م.. بكل تأكيد قد تنهدت من أعماق أعماقها ألماً وأسىً لما وصل إليه حال أبنائها من اقتتال ومن احتراب, ومن اضطراب في نسيجها الاجتماعي, ومن انصياع من بعض أبنائها لإملاءات الغير ولحساباتهم.. ووسط هذه المأساة لم تعدم هذه الأرض الطيبة من بقايا أمل, ومن بقايا حكمة مازالت تميز أبناء هذا الشعب الطيب لأن اليمانيين في العام 1990م فاجأوا العالم بوحدتهم حين كان العالم منغمساً في الانقسام, وحينما كانت الأنظمة تتبعثر كان اليمن يقدم النموذج في تلك الظروف الاستثنائية.. وكان اندفاع اليمنيين شمالاً وجنوباً نحو الوحدة طوعياً وبمستوى عالٍ من الحكمة ونكران الذات وتغليب المصلحة العليا عن أية مصالح أخرى سواءً كانت ذاتية أو حسابات جهوية أو أية مصالح أخرى, عدا مصلحة اليمن الواحد الموحد.. مصلحة الإيثار ونحن نعتقد أن مرحلة التسعينات من القرن العشرين التي (تردف) كل مشكلات العقود التي سبقته كانت محورية في تاريخ المنطقة وفي تاريخ اليمن..",
+    "decoded_text": "ال<unk> <unk>ا <unk>ال<unk>ا.. <unk>ا <unk>ا <unk> <unk>ل<unk> <unk>ا<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk>ال<unk> <unk> ا<unk>ا<unk> <unk>ا ال<unk>, <unk> <unk>ا<unk>ا الا<unk>ا<unk> ال<unk> <unk> 22<unk>ا<unk> ال<unk>ا<unk> 1990<unk>.. <unk>ل <unk> <unk> <unk> <unk> <unk>ا<unk> <unk>ا<unk>ا <unk>ل<unk>ا<unk> <unk> ل<unk>ا <unk>ل <unk>ل<unk> <unk>ال <unk>ا<unk>ا <unk> ا<unk>ال <unk> ا<unk>ا<unk>, <unk> ا<unk>ا<unk> <unk> <unk>ا الا<unk>ا<unk>, <unk> ا<unk>ا<unk> <unk> <unk> <unk>ا<unk>ا ل<unk>لا<unk>ا<unk> ال<unk> <unk>ل<unk>ا<unk>ا<unk>.. <unk> <unk> ال<unk>ا<unk> ل<unk> <unk> <unk> ال<unk> ال<unk> <unk> <unk>ا<unk>ا <unk>ل, <unk> <unk>ا<unk>ا <unk> <unk>ا<unk>ال<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> ال<unk> ل<unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk> 1990<unk> <unk>ا<unk>ا ال<unk>ال<unk> <unk> <unk> <unk>ا<unk> ال<unk>ال<unk> <unk>ا<unk> <unk> الا<unk>ا<unk>, <unk>ا <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk> <unk> ال<unk> <unk> <unk>ل<unk> ال<unk> الا<unk>ا<unk>.. <unk>ا<unk> ا<unk>ا<unk> ال<unk> <unk>الا<unk> <unk>ا<unk> <unk> ال<unk> <unk>ا<unk> <unk> <unk>ال<unk> <unk> ال<unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> ال<unk>ل<unk> ال<unk>ل<unk>ا <unk> <unk> <unk>ال<unk> <unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk> <unk> <unk>ا<unk>ا<unk> <unk> <unk> <unk> <unk>ال<unk> <unk>, <unk>ا <unk>ل<unk> ال<unk> ال<unk>ا<unk> ال<unk>.. <unk>ل<unk> ال<unk>ا<unk> <unk> <unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk> ال<unk> ال<unk> ال<unk> (<unk>) <unk>ل <unk>لا<unk> ال<unk> ال<unk> <unk> <unk>ا<unk> <unk> <unk> <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk>..",
+    "diff": [
+      "replace   text[2:19] --> decoded_text[2:27] 'يمن جنوبها وشماله' --> '<unk> <unk>ا <unk>ال<unk>'",
+      "replace   text[23:97] --> decoded_text[31:149] 'شرقها وغربها وقفت على مشارف العام الثامن والعشرين من استعادة و��عها الطبيعي' --> '<unk>ا <unk>ا <unk> <unk>ل<unk> <unk>ا<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk>ال<unk> <unk> ا<unk>ا<unk> <unk>ا ال<unk>'",
+      "replace   text[99:132] --> decoded_text[151:198] 'ومن حياتها الاعتيادية الطبيعية في' --> '<unk> <unk>ا<unk>ا الا<unk>ا<unk> ال<unk> <unk>'",
+      "replace   text[135:145] --> decoded_text[201:226] 'مايو العام' --> '<unk>ا<unk> ال<unk>ا<unk>'",
+      "replace   text[150:151] --> decoded_text[231:236]      'م' --> '<unk>'",
+      "replace   text[154:247] --> decoded_text[239:400] 'بكل تأكيد قد تنهدت من أعماق أعماقها ألماً وأسىً لما وصل إليه حال أبنائها من اقتتال ومن احتراب' --> '<unk>ل <unk> <unk> <unk> <unk> <unk>ا<unk> <unk>ا<unk>ا <unk>ل<unk>ا<unk> <unk> ل<unk>ا <unk>ل <unk>ل<unk> <unk>ال <unk>ا<unk>ا <unk> ا<unk>ال <unk> ا<unk>ا<unk>'",
+      "replace   text[249:279] --> decoded_text[402:448] 'ومن اضطراب في نسيجها الاجتماعي' --> '<unk> ا<unk>ا<unk> <unk> <unk>ا الا<unk>ا<unk>'",
+      "replace   text[281:332] --> decoded_text[450:545] 'ومن انصياع من بعض أبنائها لإملاءات الغير ولحساباتهم' --> '<unk> ا<unk>ا<unk> <unk> <unk> <unk>ا<unk>ا ل<unk>لا<unk>ا<unk> ال<unk> <unk>ل<unk>ا<unk>ا<unk>'",
+      "replace   text[335:388] --> decoded_text[548:633] 'ووسط هذه المأساة لم تعدم هذه الأرض الطيبة من بقايا أم' --> '<unk> <unk> ال<unk>ا<unk> ل<unk> <unk> <unk> ال<unk> ال<unk> <unk> <unk>ا<unk>ا <unk>'",
+      "replace   text[391:462] --> decoded_text[636:761] 'ومن بقايا حكمة مازالت تميز أبناء هذا الشعب الطيب لأن اليمانيين في العام' --> '<unk> <unk>ا<unk>ا <unk> <unk>ا<unk>ال<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> ال<unk> ل<unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk>'",
+      "replace   text[467:525] --> decoded_text[766:871] 'م فاجأوا العالم بوحدتهم حين كان العالم منغمساً في الانقسام' --> '<unk> <unk>ا<unk>ا ال<unk>ال<unk> <unk> <unk> <unk>ا<unk> ال<unk>ال<unk> <unk>ا<unk> <unk> الا<unk>ا<unk>'",
+      "replace   text[527:602] --> decoded_text[873:980] 'وحينما كانت الأنظمة تتبعثر كان اليمن يقدم النموذج في تلك الظروف الاستثنائية' --> '<unk>ا <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk> <unk> ال<unk> <unk> <unk>ل<unk> ال<unk> الا<unk>ا<unk>'",
+      "replace   text[605:785] --> decoded_text[983:1295] 'وكان اندفاع اليمنيين شمالاً وجنوباً نحو الوحدة طوعياً وبمستوى عالٍ من الحكمة ونكران الذات وتغليب المصلحة العليا عن أية مصالح أخرى سواءً كانت ذاتية أو حسابات جهوية أو أية مصالح أخرى' --> '<unk>ا<unk> ا<unk>ا<unk> ال<unk> <unk>الا<unk> <unk>ا<unk> <unk> ال<unk> <unk>ا<unk> <unk> <unk>ال<unk> <unk> ال<unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> ال<unk>ل<unk> ال<unk>ل<unk>ا <unk> <unk> <unk>ال<unk> <unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk> <unk> <unk>ا<unk>ا<unk> <unk> <unk> <unk> <unk>ال<unk> <unk>'",
+      "replace   text[787:816] --> decoded_text[1297:1345] 'عدا مصلحة اليمن الواحد الموحد' --> '<unk>ا <unk>ل<unk> ال<unk> ال<unk>ا<unk> ال<unk>'",
+      "replace   text[819:884] --> decoded_text[1348:1447] 'مصلحة الإيثار ونحن نعتقد أن مرحلة التسعينات من القرن العشرين التي' --> '<unk>ل<unk> ال<unk>ا<unk> <unk> <unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk> ال<unk> ال<unk> ال<unk>'",
+      "replace   text[886:890] --> decoded_text[1449:1454]   'تردف' --> '<unk>'",
+      "replace   text[892:964] --> decoded_text[1456:1567] 'كل مشكلات العقود التي سبقته كانت محورية في تاريخ المنطقة وفي تاريخ اليمن' --> '<unk>ل <unk>لا<unk> ال<unk> ال<unk> <unk> <unk>ا<unk> <unk> <unk> <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk>'"
+    ],
+    "n_oov_chars": 567,
+    "oov_ratio": 0.5869565217391305,
+    "oov_charset": "[\"ي\", \"م\", \"ن\", \"ج\", \"و\", \"ب\", \"ه\", \"ش\", \"ر\", \"ق\", \"غ\", \"ف\", \"ت\", \"ع\", \"ى\", \"ث\", \"س\", \"د\", \"ة\", \"ض\", \"ط\", \"ح\", \"ك\", \"أ\", \"ً\", \"ص\", \"إ\", \"ئ\", \"ء\", \"ذ\", \"ز\", \"ظ\", \"ٍ\", \"خ\"]"
+  },
+  {
+    "text": "واليوم وبعد أن جرت مياه كثيرة وتدفقت من تحت الجسر, وما شهدته البلد من مواقف عديدة, فإن الحكمة اليمانية توجب على أبناء اليمن أياً كانت تياراتهم السياسية, أو انتماءاتهم المناطقية أو القبلية أو الجهوية, أن يستذكروا جيداً ما وصفهم به رسول العالمين محمد بن عبدالله عليه أفضل الصلوات والتسليم وعلى آله الأخيار الأطهار بأنهم أهل حكمة وأهل إيمان..",
+    "decoded_text": "<unk>ال<unk> <unk> <unk> <unk> <unk>ا<unk> <unk> <unk> <unk> <unk> ال<unk>, <unk>ا <unk> ال<unk>ل<unk> <unk> <unk>ا<unk> <unk>, <unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل<unk> <unk>ا<unk> ال<unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk>ا<unk> ال<unk>ا<unk>, <unk> ا<unk>ا<unk>ا<unk> ال<unk>ا<unk> <unk> ال<unk>ل<unk> <unk> ال<unk>, <unk> <unk>ا <unk>ا<unk> <unk>ا <unk> <unk> <unk>ل ال<unk>ال<unk> <unk> <unk> <unk>الل<unk> <unk>ل<unk> <unk>ل ال<unk>ل<unk>ا<unk> <unk>ال<unk>ل<unk> <unk>ل<unk> <unk>ل<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ل <unk>ا<unk>..",
+    "diff": [
+      "replace   text[0:49] --> decoded_text[0:74] 'واليوم وبعد أن جرت مياه كثيرة وتدفقت من تحت الجسر' --> '<unk>ال<unk> <unk> <unk> <unk> <unk>ا<unk> <unk> <unk> <unk> <unk> ال<unk>'",
+      "replace   text[51:81] --> decoded_text[76:126] 'وما شهدته البلد من مواقف عديدة' --> '<unk>ا <unk> ال<unk>ل<unk> <unk> <unk>ا<unk> <unk>'",
+      "replace   text[83:151] --> decoded_text[128:249] 'فإن الحكمة اليمانية توجب على أبناء اليمن أياً كانت تياراتهم السياسية' --> '<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل<unk> <unk>ا<unk> ال<unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk>ا<unk> ال<unk>ا<unk>'",
+      "replace   text[153:198] --> decoded_text[251:323] 'أو انتماءاتهم المناطقية أو القبلية أو الجهوية' --> '<unk> ا<unk>ا<unk>ا<unk> ال<unk>ا<unk> <unk> ال<unk>ل<unk> <unk> ال<unk>'",
+      "replace   text[200:337] --> decoded_text[325:564] 'أن يستذكروا جيداً ما وصفهم به رسول العالمين محمد بن عبدالله عليه أفضل الصلوات والتسليم وعلى آله الأخيار الأطهار بأنهم أهل حكمة وأهل إيمان' --> '<unk> <unk>ا <unk>ا<unk> <unk>ا <unk> <unk> <unk>ل ال<unk>ال<unk> <unk> <unk> <unk>الل<unk> <unk>ل<unk> <unk>ل ال<unk>ل<unk>ا<unk> <unk>ال<unk>ل<unk> <unk>ل<unk> <unk>ل<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ل <unk>ا<unk>'"
+    ],
+    "n_oov_chars": 208,
+    "oov_ratio": 0.6135693215339233,
+    "oov_charset": "[\"و\", \"ي\", \"م\", \"ب\", \"ع\", \"د\", \"أ\", \"ن\", \"ج\", \"ر\", \"ت\", \"ه\", \"ك\", \"ث\", \"ة\", \"ف\", \"ق\", \"ح\", \"س\", \"ش\", \"إ\", \"ى\", \"ء\", \"ً\", \"ط\", \"ذ\", \"ص\", \"ض\", \"آ\", \"خ\"]"
+  },
+  {
+    "text": "وكلام الرسول وأحاديثه ما هي إلا وحي من الله.. بمعنى أن العمل بما قاله الرسول الأعظم هو مسؤولية أخلاقية ودينية ومسؤولية سياسية..",
+    "decoded_text": "<unk>لا<unk> ال<unk>ل <unk>ا<unk> <unk>ا <unk> <unk>لا <unk> <unk> الل<unk>.. <unk> <unk> ال<unk>ل <unk>ا <unk>ال<unk> ال<unk>ل ال<unk> <unk> <unk>ل<unk> <unk>لا<unk> <unk> <unk>ل<unk> <unk>ا<unk>..",
+    "diff": [
+      "replace   text[0:2] --> decoded_text[0:5]     'وك' --> '<unk>'",
+      "replace   text[4:5] --> decoded_text[7:12]      'م' --> '<unk>'",
+      "replace   text[8:11] --> decoded_text[15:20]    'رسو' --> '<unk>'",
+      "replace   text[13:16] --> decoded_text[22:27]    'وأح' --> '<unk>'",
+      "replace   text[17:21] --> decoded_text[28:33]   'ديثه' --> '<unk>'",
+      "replace   text[22:23] --> decoded_text[34:39]      'م' --> '<unk>'",
+      "replace   text[25:27] --> decoded_text[41:46]     'هي' --> '<unk>'",
+      "replace   text[28:29] --> decoded_text[47:52]      'إ' --> '<unk>'",
+      "replace   text[32:35] --> decoded_text[55:60]    'وحي' --> '<unk>'",
+      "replace   text[36:38] --> decoded_text[61:66]     'من' --> '<unk>'",
+      "replace   text[42:43] --> decoded_text[70:75]      'ه' --> '<unk>'",
+      "replace   text[46:51] --> decoded_text[78:83]  'بمعنى' --> '<unk>'",
+      "replace   text[52:54] --> decoded_text[84:89]     'أن' --> '<unk>'",
+      "replace   text[57:59] --> decoded_text[92:97]     'عم' --> '<unk>'",
+      "replace   text[61:63] --> decoded_text[99:104]     'بم' --> '<unk>'",
+      "replace   text[65:66] --> decoded_text[106:111]      'ق' --> '<unk>'",
+      "replace   text[68:69] --> decoded_text[113:118]      'ه' --> '<unk>'",
+      "replace   text[72:75] --> decoded_text[121:126]    'رسو' --> '<unk>'",
+      "replace   text[79:83] --> decoded_text[130:135]   'أعظم' --> '<unk>'",
+      "replace   text[84:86] --> decoded_text[136:141]     'هو' --> '<unk>'",
+      "replace   text[87:91] --> decoded_text[142:147]   'مسؤو' --> '<unk>'",
+      "replace   text[92:94] --> decoded_text[148:153]     'ية' --> '<unk>'",
+      "replace   text[95:97] --> decoded_text[154:159]     'أخ' --> '<unk>'",
+      "replace   text[99:102] --> decoded_text[161:166]    'قية' --> '<unk>'",
+      "replace   text[103:109] --> decoded_text[167:172] 'ودينية' --> '<unk>'",
+      "replace   text[110:115] --> decoded_text[173:178]  'ومسؤو' --> '<unk>'",
+      "replace   text[116:118] --> decoded_text[179:184]     'ية' --> '<unk>'",
+      "replace   text[119:121] --> decoded_text[185:190]     'سي' --> '<unk>'",
+      "replace   text[122:125] --> decoded_text[191:196]    'سية' --> '<unk>'"
+    ],
+    "n_oov_chars": 74,
+    "oov_ratio": 0.5826771653543307,
+    "oov_charset": "[\"و\", \"ك\", \"م\", \"ر\", \"س\", \"أ\", \"ح\", \"د\", \"ي\", \"ث\", \"ه\", \"إ\", \"ن\", \"ب\", \"ع\", \"ى\", \"ق\", \"ظ\", \"ؤ\", \"ة\", \"خ\"]"
+  },
+  {
+    "text": "فهل أوضاع اليمنيين القائمة هي نتاج حكمة, وهل من الحكمة أن تظل البندقية والقذيفة هي وسيلة الخطاب والحوار فيما بيننا نحن أبناء هذا البلد العظيم..",
+    "decoded_text": "<unk>ل <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ا<unk> <unk>, <unk>ل <unk> ال<unk> <unk> <unk>ل ال<unk> <unk>ال<unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ا <unk>ا <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> ال<unk>..",
+    "diff": [
+      "replace   text[0:39] --> decoded_text[0:64] 'فهل أوضاع اليمنيين القائمة هي نتاج حكمة' --> '<unk>ل <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ا<unk> <unk>'",
+      "replace   text[41:141] --> decoded_text[66:232] 'وهل من الحكمة أن تظل البندقية والقذيفة هي وسيلة الخطاب والحوار فيما بيننا نحن أبناء هذا البلد العظيم' --> '<unk>ل <unk> ال<unk> <unk> <unk>ل ال<unk> <unk>ال<unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ا <unk>ا <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> ال<unk>'"
+    ],
+    "n_oov_chars": 84,
+    "oov_ratio": 0.5874125874125874,
+    "oov_charset": "[\"ف\", \"ه\", \"أ\", \"و\", \"ض\", \"ع\", \"ي\", \"م\", \"ن\", \"ق\", \"ئ\", \"ة\", \"ت\", \"ج\", \"ح\", \"ك\", \"ظ\", \"ب\", \"د\", \"ذ\", \"س\", \"خ\", \"ط\", \"ر\", \"ء\"]"
+  },
+  {
+    "text": "وهل الانسياق نحو مزيدٍ من العناد ومزيدٍ من الاحتقان, ومزيدٍ من الاحتراب بين أبناء بلد واحد وشعب واحد يرضى الله ورسوله الكريم عليه صلاة الله وسلامه وعلى آله..",
+    "decoded_text": "<unk>ل الا<unk>ا<unk> <unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk> الا<unk>ا<unk>, <unk> <unk> الا<unk>ا<unk> <unk> <unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk> الل<unk> <unk>ل<unk> ال<unk> <unk>ل<unk> <unk>لا<unk> الل<unk> <unk>لا<unk> <unk>ل<unk> <unk>ل<unk>..",
+    "diff": [
+      "replace   text[0:51] --> decoded_text[0:80] 'وهل الانسياق نحو مزيدٍ من العناد ومزيدٍ من الاحتقان' --> '<unk>ل الا<unk>ا<unk> <unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk> الا<unk>ا<unk>'",
+      "replace   text[53:155] --> decoded_text[82:274] 'ومزيدٍ من الاحتراب بين أبناء بلد واحد وشعب واحد يرضى الله ورسوله الكريم عليه صلاة الله وسلامه وعلى آله' --> '<unk> <unk> الا<unk>ا<unk> <unk> <unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk> الل<unk> <unk>ل<unk> ال<unk> <unk>ل<unk> <unk>لا<unk> الل<unk> <unk>لا<unk> <unk>ل<unk> <unk>ل<unk>'"
+    ],
+    "n_oov_chars": 91,
+    "oov_ratio": 0.5796178343949044,
+    "oov_charset": "[\"و\", \"ه\", \"ن\", \"س\", \"ي\", \"ق\", \"ح\", \"م\", \"ز\", \"د\", \"ٍ\", \"ع\", \"ت\", \"ر\", \"ب\", \"أ\", \"ء\", \"ش\", \"ض\", \"ى\", \"ك\", \"ص\", \"ة\", \"آ\"]"
+  },
+  {
+    "text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "decoded_text": "<unk>ا لا ا<unk> <unk> <unk>ا<unk>لا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> <unk>ل <unk> <unk> <unk>ا <unk> <unk>.. <unk> <unk>ل ال<unk>- <unk> <unk>ل<unk> <unk>لا<unk> <unk>ال<unk>, <unk>ل<unk> <unk>لال, <unk> <unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk>ا, <unk>ل <unk>ال<unk> <unk>ا<unk> <unk>ل<unk>ا<unk> <unk> <unk> <unk>ل<unk> <unk> ل<unk>ا<unk>..",
+    "diff": [
+      "replace   text[0:67] --> decoded_text[0:118] 'أنا لا اعتقد أن عاقلاً من بناء هذا البلد يق��ل أو يستسيغ ما يجري فيه' --> '<unk>ا لا ا<unk> <unk> <unk>ا<unk>لا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> <unk>ل <unk> <unk> <unk>ا <unk> <unk>'",
+      "replace   text[70:84] --> decoded_text[121:141] 'أن يتحول اليمن' --> '<unk> <unk>ل ال<unk>'",
+      "replace   text[86:107] --> decoded_text[143:186] 'وهو بلد ولاَّد بالخير' --> '<unk> <unk>ل<unk> <unk>لا<unk> <unk>ال<unk>'",
+      "replace   text[109:115] --> decoded_text[188:205] 'إلى أط' --> '<unk>ل<unk> <unk>'",
+      "replace   text[120:174] --> decoded_text[210:297] 'وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضه' --> '<unk> <unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk>'",
+      "replace   text[177:224] --> decoded_text[300:392] 'بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه' --> '<unk>ل <unk>ال<unk> <unk>ا<unk> <unk>ل<unk>ا<unk> <unk> <unk> <unk>ل<unk> <unk> ل<unk>ا<unk>'"
+    ],
+    "n_oov_chars": 132,
+    "oov_ratio": 0.584070796460177,
+    "oov_charset": "[\"أ\", \"ن\", \"ع\", \"ت\", \"ق\", \"د\", \"ً\", \"م\", \"ب\", \"ء\", \"ه\", \"ذ\", \"ي\", \"و\", \"س\", \"غ\", \"ج\", \"ر\", \"ف\", \"ح\", \"ّ\", \"َ\", \"خ\", \"إ\", \"ى\", \"ط\", \"ض\", \"ؤ\", \"ئ\", \"ش\", \"ك\", \"ة\"]"
+  },
+  {
+    "text": "اليمن أنهك من العدوان ومن الحصار حتى أولئك الذين يظنون أنهم بعيدون عن التأثيرات المباشرة للعدوان, لم يسلموا ولن يسلموا.. والأعباء والمتاعب طالت الجميع, وإن ظل الصمت والانجرار خلف مواقف تخدم أعداء هذا الشعب فإن المستقبل سيكون قاتماً وأضراره ستظل تلاحق الأجيال اليمنية جيلاً بعد جيل, وسيكون أعداء هذا الشعب هم المستفيدون الفعليون فهل غابت منا الحكمة حتى ننزلق لنكون أدوات بأيدي الرياض أو الدوحة, أو أبوظبي..؟!",
+    "decoded_text": "ال<unk> <unk> <unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk> <unk> <unk>ل<unk> ال<unk> <unk> <unk> <unk> <unk> ال<unk>ا<unk> ال<unk>ا<unk> لل<unk>ا<unk>, ل<unk> <unk>ل<unk>ا <unk>ل<unk> <unk>ل<unk>ا.. <unk>ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ال<unk> ال<unk>, <unk> <unk>ل ال<unk> <unk>الا<unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk>ل <unk> <unk>ا<unk>ا<unk> <unk>ا<unk> <unk>ل <unk>لا<unk> ال<unk>ال ال<unk> <unk>لا<unk> <unk> <unk>ل, <unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk> ال<unk>ل<unk> <unk>ل <unk>ا<unk> <unk>ا ال<unk> <unk> <unk>ل<unk> ل<unk> <unk>ا<unk> <unk> ال<unk>ا<unk> <unk> ال<unk>, <unk> <unk>..<unk>!",
+    "diff": [
+      "replace   text[2:96] --> decoded_text[2:145] 'يمن أنهك من العدوان ومن الحصار حتى أولئك الذين يظنون أنهم بعيدون عن التأثيرات المباشرة للعدوان' --> '<unk> <unk> <unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk> <unk> <unk>ل<unk> ال<unk> <unk> <unk> <unk> <unk> ال<unk>ا<unk> ال<unk>ا<unk> لل<unk>ا<unk>'",
+      "replace   text[99:117] --> decoded_text[148:190] 'م يسلموا ولن يسلمو' --> '<unk> <unk>ل<unk>ا <unk>ل<unk> <unk>ل<unk>'",
+      "replace   text[121:150] --> decoded_text[194:252] 'والأعباء والمتاعب طالت الجميع' --> '<unk>ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ال<unk> ال<unk>'",
+      "replace   text[152:279] --> decoded_text[254:465] 'وإن ظل الصمت والانجرار خلف مواقف تخدم أعداء هذا الشعب فإن المستقبل سيكون قاتماً وأضراره ستظل تلاحق الأجيال اليمنية جيلاً بعد جي' --> '<unk> <unk>ل ال<unk> <unk>الا<unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk>ل <unk> <unk>ا<unk>ا<unk> <unk>ا<unk> <unk>ل <unk>لا<unk> ال<unk>ال ال<unk> <unk>لا<unk> <unk> <unk>'",
+      "replace   text[282:392] --> decoded_text[468:633] 'وسيكون أعداء هذا الشعب هم المستفيدون الفعليون فهل غابت منا الحكمة حتى ننزلق لنكون أدوات بأيدي الرياض أو الدوحة' --> '<unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk> ال<unk>ل<unk> <unk>ل <unk>ا<unk> <unk>ا ال<unk> <unk> <unk>ل<unk> ل<unk> <unk>ا<unk> <unk> ال<unk>ا<unk> <unk> ال<unk>'",
+      "replace   text[394:403] --> decoded_text[635:646] 'أو أبوظبي' --> '<unk> <unk>'",
+      "replace   text[405:406] --> decoded_text[648:653]      '؟' --> '<unk>'"
+    ],
+    "n_oov_chars": 243,
+    "oov_ratio": 0.597051597051597,
+    "oov_charset": "[\"ي\", \"م\", \"ن\", \"أ\", \"ه\", \"ك\", \"ع\", \"د\", \"و\", \"ح\", \"ص\", \"ر\", \"ت\", \"ى\", \"ئ\", \"ذ\", \"ظ\", \"ب\", \"ث\", \"ش\", \"ة\", \"س\", \"ء\", \"ط\", \"ج\", \"إ\", \"خ\", \"ف\", \"ق\", \"ً\", \"ض\", \"غ\", \"ز\", \"؟\"]"
+  },
+  {
+    "text": "وهل انعكست المفاهيم ونحن نقبل بما يملى علينا من عواصم الفتنة ومن رموز قبلت أن تكون خادمة لأجندة غير عربية وغير إسلامية.. أجندة تباع فيها الضمائر وتباع فيها المواقف من أجل عين أصحاب البقرة الصفراء ومن أجل رضا أجهزة المخابرات في واشنطن وفي تل أبيب!!",
+    "decoded_text": "<unk>ل ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk>ل<unk> <unk>ل<unk>ا <unk> <unk>ا<unk> ال<unk> <unk> <unk> <unk>ل<unk> <unk> <unk> <unk>ا<unk> ل<unk> <unk> <unk> <unk> <unk>لا<unk>.. <unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk> ال<unk>ا<unk>ا<unk> <unk> <unk>ا<unk> <unk> <unk>ل <unk>!!",
+    "diff": [
+      "replace   text[0:118] --> decoded_text[0:184] 'وهل انعكست المفاهيم ونحن نقبل بما يملى علينا من عواصم الفتنة ومن رموز قبلت أن تكون خادمة لأجندة غير عربية وغير إسلامية' --> '<unk>ل ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk>ل<unk> <unk>ل<unk>ا <unk> <unk>ا<unk> ال<unk> <unk> <unk> <unk>ل<unk> <unk> <unk> <unk>ا<unk> ل<unk> <unk> <unk> <unk> <unk>لا<unk>'",
+      "replace   text[121:245] --> decoded_text[187:394] 'أجندة تباع فيها الضمائر وتباع فيها المواقف من أجل عين أصحاب البقرة الصفراء ومن أجل رضا أجهزة المخابرات في واشنطن وفي تل أبيب' --> '<unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk> ال<unk>ا<unk>ا<unk> <unk> <unk>ا<unk> <unk> <unk>ل <unk>'"
+    ],
+    "n_oov_chars": 156,
+    "oov_ratio": 0.631578947368421,
+    "oov_charset": "[\"و\", \"ه\", \"ن\", \"ع\", \"ك\", \"س\", \"ت\", \"م\", \"ف\", \"ي\", \"ح\", \"ق\", \"ب\", \"ى\", \"ص\", \"ة\", \"ر\", \"ز\", \"أ\", \"خ\", \"د\", \"ج\", \"غ\", \"إ\", \"ض\", \"ئ\", \"ء\", \"ش\", \"ط\"]"
+  },
+  {
+    "text": "اليمن.. في هذه اللحظة الفارقة.. في هذه المرحلة الخطيرة مدمرة, ومحاصرة, ويباد أهلها وساكنوها.. اليمن أصابتها لعنة الارتزاق وابتلاها الله بقيادات يممت وجهها صوب أبو ظبي, وصوب الرياض, وصوب واشنطن..",
+    "decoded_text": "ال<unk>.. <unk> <unk> الل<unk> ال<unk>ا<unk>.. <unk> <unk> ال<unk>ل<unk> ال<unk> <unk>, <unk>ا<unk>, <unk>ا<unk> <unk>ل<unk>ا <unk>ا<unk>ا.. ال<unk> <unk>ا<unk>ا ل<unk> الا<unk>ا<unk> <unk>ا<unk>لا<unk>ا الل<unk> <unk>ا<unk>ا<unk> <unk> <unk>ا <unk> <unk> <unk>, <unk> ال<unk>ا<unk>, <unk> <unk>ا<unk>..",
+    "diff": [
+      "replace   text[2:60] --> decoded_text[2:86] 'يمن.. في هذه اللحظة الفارقة.. في هذه المرحلة الخطيرة مدمرة' --> '<unk>.. <unk> <unk> الل<unk> ال<unk>ا<unk>.. <unk> <unk> ال<unk>ل<unk> ال<unk> <unk>'",
+      "replace   text[62:69] --> decoded_text[88:99] 'ومحاصرة' --> '<unk>ا<unk>'",
+      "replace   text[71:166] --> decoded_text[101:261] 'ويباد أهلها وساكنوها.. اليمن أصابتها لعنة الارتزاق وابتلاها الله بقيادات يممت وجهها صوب أبو ظبي' --> '<unk>ا<unk> <unk>ل<unk>ا <unk>ا<unk>ا.. ال<unk> <unk>ا<unk>ا ل<unk> الا<unk>ا<unk> <unk>ا<unk>لا<unk>ا الل<unk> <unk>ا<unk>ا<unk> <unk> <unk>ا <unk> <unk> <unk>'",
+      "replace   text[168:179] --> decoded_text[263:282] 'وصوب الرياض' --> '<unk> ال<unk>ا<unk>'",
+      "replace   text[181:194] --> decoded_text[284:303] 'وصوب واشنطن..' --> '<unk> <unk>ا<unk>..'"
+    ],
+    "n_oov_chars": 111,
+    "oov_ratio": 0.5721649484536082,
+    "oov_charset": "[\"ي\", \"م\", \"ن\", \"ف\", \"ه\", \"ذ\", \"ح\", \"ظ\", \"ة\", \"ر\", \"ق\", \"خ\", \"ط\", \"د\", \"و\", \"ص\", \"ب\", \"أ\", \"س\", \"ك\", \"ت\", \"ع\", \"ز\", \"ج\", \"ض\", \"ش\"]"
+  }
+]

stats/compression_rate/ClueAI.ChatYuan-large-v2 @ cc100.de.diff.json

@@ -0,0 +1,103 @@
+[
+  {
+    "text": "Bereits eine Woche vorher am Samstag, 2. Dezember ist die „Püngel-Weihnacht“ in Siegburg-Kaldauen um 18 Uhr (Einlass 17.30 Uhr) im Restaurant Kaldauer Hof zu hören. Hier ist im Eintrittspreis von 18,50 € ein Abendessen enthalten. Auch hier gibt es einen Mitsingteil für die Gäste.",
+    "decoded_text": "Bereits eine Woche vorher am Samstag, 2. Dezember ist die <unk>Püngel-Weihnacht“ in Siegburg-Kaldauen um 18 Uhr (Einlass 17.30 Uhr) im Restaurant Kaldauer Hof zu hören. Hier ist im Eintrittspreis von 18,50 <unk> ein Abendessen enthalten. Auch hier gibt es einen Mitsingteil für die Gäste.",
+    "diff": [
+      "replace   text[58:59] --> decoded_text[58:63]      '„' --> '<unk>'",
+      "replace   text[202:203] --> decoded_text[206:211]      '€' --> '<unk>'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.007142857142857143,
+    "oov_charset": "[\"„\", \"€\"]"
+  },
+  {
+    "text": "Der Chor bietet noch einen weiteren Termin im Rahmen der „Püngel-Weihnacht“ an.",
+    "decoded_text": "Der Chor bietet noch einen weiteren Termin im Rahmen der <unk>Püngel-Weihnacht“ an.",
+    "diff": [
+      "replace   text[57:58] --> decoded_text[57:62]      '„' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.012658227848101266,
+    "oov_charset": "[\"„\"]"
+  },
+  {
+    "text": "Die Verarbeitung kann auch auf elektronischem Wege erfolgen. Dies ist insbesondere dann der Fall, wenn ein Bewerber entsprechende Bewerbungsunterlagen auf dem elektronischen Wege, beispielsweise per E-Mail oder über ein auf der Internetseite befindliches Webformular, an den für die Verarbeitung Verantwortlichen übermittelt. Sollten Sie über einen Account in einem berufsorientierten sozialen Netzwerk wie etwa Xing oder LinkedIn verfügen, können wir die Daten auch von Ihrer öffentlich einsehbaren Profilseite erheben. Zwecke der Verarbeitung und Rechtsgrundlage Wir verarbeiten Ihre personenbezogenen Daten ausschließlich zum Zwecke der Durchführung des Bewerbungsverfahrens.",
+    "decoded_text": "Die Verarbeitung kann auch auf elektronischem Wege erfolgen. Dies ist insbesondere dann der Fall, wenn ein Bewerber entsprechende Bewerbungsunterlagen auf dem elektronischen Wege, beispielsweise per E-Mail oder über ein auf der Internetseite befindliches Webformular, an den für die Verarbeitung Verantwortlichen übermittelt. Sollten Sie über einen Account in einem berufsorientierten sozialen Netzwerk wie etwa Xing oder LinkedIn verfügen, können wir die Daten auch von Ihrer öffentlich einsehbaren Profilseite erheben. Zwecke der Verarbeitung und Rechtsgrundlage Wir verarbeiten Ihre personenbezogenen Daten ausschlie<unk>lich zum Zwecke der Durchführung des Bewerbungsverfahrens.",
+    "diff": [
+      "replace   text[619:620] --> decoded_text[619:624]      'ß' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0014749262536873156,
+    "oov_charset": "[\"ß\"]"
+  },
+  {
+    "text": "Sofern wir mit dem Bewerber einen Anstellungsvertrag abschließen, werden die übermittelten Daten zum Zwecke der Abwicklung des Beschäftigungsverhältnisses unter Beachtung der gesetzlichen Vorschriften gespeichert. Ansonsten werden die personenbezogenen Daten sechs Monate nach Beendigung des Bewerbungsverfahrens gelöscht, sofern einer Löschung keine sonstigen berechtigten Interessen des für die Verarbeitung Verantwortlichen entgegenstehen.",
+    "decoded_text": "Sofern wir mit dem Bewerber einen Anstellungsvertrag abschlie<unk>en, werden die übermittelten Daten zum Zwecke der Abwicklung des Beschäftigungsverhältnisses unter Beachtung der gesetzlichen Vorschriften gespeichert. Ansonsten werden die personenbezogenen Daten sechs Monate nach Beendigung des Bewerbungsverfahrens gelöscht, sofern einer Löschung keine sonstigen berechtigten Interessen des für die Verarbeitung Verantwortlichen entgegenstehen.",
+    "diff": [
+      "replace   text[61:62] --> decoded_text[61:66]      'ß' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0022624434389140274,
+    "oov_charset": "[\"ß\"]"
+  },
+  {
+    "text": "Eine Weitergabe Ihrer Daten an externe Stellen erfolgt ausschließlich zu Zwecken,",
+    "decoded_text": "Eine Weitergabe Ihrer Daten an externe Stellen erfolgt ausschlie<unk>lich zu Zwecken,",
+    "diff": [
+      "replace   text[64:65] --> decoded_text[64:69]      'ß' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.012345679012345678,
+    "oov_charset": "[\"ß\"]"
+  },
+  {
+    "text": "Sind die Daten für die Erfüllung vertraglicher oder gesetzlicher Pflichten und Rechte nicht mehr erforderlich, werden diese regelmäßig gelöscht, es sei denn, deren – befristete – Weiterverarbeitung ist zur Erfüllung der in dieser Erklärung genannten Zwecke aus einem überwiegenden berechtigten Interesse unseres Hauses erforderlich. Wir werden Ihre personenbezogenen Daten nur soweit und solange speichern, wie dies für den Zweck, für welchen sie von uns erhoben oder uns von Ihnen zur Verfügung gestellt wurden, erforderlich ist.",
+    "decoded_text": "Sind die Daten für die Erfüllung vertraglicher oder gesetzlicher Pflichten und Rechte nicht mehr erforderlich, werden diese regelmä<unk>ig gelöscht, es sei denn, deren – befristete – Weiterverarbeitung ist zur Erfüllung der in dieser Erklärung genannten Zwecke aus einem überwiegenden berechtigten Interesse unseres Hauses erforderlich. Wir werden Ihre personenbezogenen Daten nur soweit und solange speichern, wie dies für den Zweck, für welchen sie von uns erhoben oder uns von Ihnen zur Verfügung gestellt wurden, erforderlich ist.",
+    "diff": [
+      "replace   text[131:132] --> decoded_text[131:136]      'ß' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0018867924528301887,
+    "oov_charset": "[\"ß\"]"
+  },
+  {
+    "text": "Dachte ich auch, aber gib das mal in google ein: auch in verschiedenen Varianten der Suchanfrage bekommst du kein Ergebnis außer diesem Thread hier. Finde ich auch ein bisschen komisch.",
+    "decoded_text": "Dachte ich auch, aber gib das mal in google ein: auch in verschiedenen Varianten der Suchanfrage bekommst du kein Ergebnis au<unk>er diesem Thread hier. Finde ich auch ein bisschen komisch.",
+    "diff": [
+      "replace   text[125:126] --> decoded_text[125:130]      'ß' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005405405405405406,
+    "oov_charset": "[\"ß\"]"
+  },
+  {
+    "text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen * !",
+    "decoded_text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen *!",
+    "diff": [
+      "delete    text[67:68] --> decoded_text[67:67]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Weiß man denn, mit wem die Schlägerei vorher stattfand? Waren ALLE 3 um die Zeit voneinander getrennt? Wie hoch war der Balkon?",
+    "decoded_text": "Wei<unk> man denn, mit wem die Schlägerei vorher stattfand? Waren ALLE 3 um die Zeit voneinander getrennt? Wie hoch war der Balkon?",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:8]      'ß' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007874015748031496,
+    "oov_charset": "[\"ß\"]"
+  },
+  {
+    "text": "265 junge Damen und Herren von insgesamt 75.000 Auszubildenden, die ihre Berufsausbildung 2016 in rund 130 IHK-Berufen mit der Note „Sehr gut“ abgeschlossen haben, gehören zu den Besten in Nordrhein-Westfalen. 19 von ihnen kommen aus dem Bezirk der IHK Mittlerer Niederrhein.",
+    "decoded_text": "265 junge Damen und Herren von insgesamt 75.000 Auszubildenden, die ihre Berufsausbildung 2016 in rund 130 IHK-Berufen mit der Note <unk>Sehr gut“ abgeschlossen haben, gehören zu den Besten in Nordrhein-Westfalen. 19 von ihnen kommen aus dem Bezirk der IHK Mittlerer Niederrhein.",
+    "diff": [
+      "replace   text[132:133] --> decoded_text[132:137]      '„' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0036363636363636364,
+    "oov_charset": "[\"„\"]"
+  }
+]

stats/compression_rate/ClueAI.ChatYuan-large-v2 @ cc100.en.diff.json

@@ -0,0 +1,102 @@
+[
+  {
+    "text": "No extra costs for access? Asking for a disabled access hack if I want to take my chair (Quickie Ti - weighs little, I can just pick it up and put it in, no need for time-consuming ramps), to the pub here in Wirral jacks up the normal fair by about £1.50.",
+    "decoded_text": "No extra costs for access? Asking for a disabled access hack if I want to take my chair (Quickie Ti - weighs little, I can just pick it up and put it in, no need for time-consuming ramps), to the pub here in Wirral jacks up the normal fair by about <unk>1.50.",
+    "diff": [
+      "replace   text[249:250] --> decoded_text[249:254]      '£' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.00392156862745098,
+    "oov_charset": "[\"£\"]"
+  },
+  {
+    "text": "and yeah im a boy,and no, im not g*y, im a nice guy. i dont love his songs or anything , but he's not that bad tbh.",
+    "decoded_text": "and yeah im a boy,and no, im not g*y, im a nice guy. i dont love his songs or anything, but he's not that bad tbh.",
+    "diff": [
+      "delete    text[86:87] --> decoded_text[86:86]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Justin serenaded wonderful or better than a great I like popular songs, particularly as it is talented. all those who hate Justin are g**s because they feel jealous of him because he is handsome at the same time a rising singer and a small age. I myself appreciate the wonderful artist with this beautiful and talented .",
+    "decoded_text": "Justin serenaded wonderful or better than a great I like popular songs, particularly as it is talented. all those who hate Justin are g**s because they feel jealous of him because he is handsome at the same time a rising singer and a small age. I myself appreciate the wonderful artist with this beautiful and talented.",
+    "diff": [
+      "delete    text[318:319] --> decoded_text[318:318]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Soften the landing zones with a pair of Rubber Mats , made from dyed rubber chips, heat compressed and available in dark green or brick red.",
+    "decoded_text": "Soften the landing zones with a pair of Rubber Mats, made from dyed rubber chips, heat compressed and available in dark green or brick red.",
+    "diff": [
+      "delete    text[51:52] --> decoded_text[51:51]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "​EEI Members have access to a wide range of reports, publications, communications, and other resources. In order to access the resources below, a member log in is required.",
+    "decoded_text": "EEI Members have access to a wide range of reports, publications, communications, and other resources. In order to access the resources below, a member log in is required.",
+    "diff": [
+      "delete    text[0:1] --> decoded_text[0:0] '\\u200b' --> ''"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005813953488372093,
+    "oov_charset": "[\"​\"]"
+  },
+  {
+    "text": "​Launched in 2017, AUPSE is a senior executive knowledge exchange and peer-to-peer networking platform created to accelerate operational excellence in the African electric power sector.",
+    "decoded_text": "Launched in 2017, AUPSE is a senior executive knowledge exchange and peer-to-peer networking platform created to accelerate operational excellence in the African electric power sector.",
+    "diff": [
+      "delete    text[0:1] --> decoded_text[0:0] '\\u200b' --> ''"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005405405405405406,
+    "oov_charset": "[\"​\"]"
+  },
+  {
+    "text": "Would love some tatts, but too much of a wimp to get them! 😥",
+    "decoded_text": "Would love some tatts, but too much of a wimp to get them! <unk>",
+    "diff": [
+      "replace   text[59:60] --> decoded_text[59:64]      '😥' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.016666666666666666,
+    "oov_charset": "[\"😥\"]"
+  },
+  {
+    "text": "We're not so rough and over the top these days, so they miiiiight survive ._.",
+    "decoded_text": "We're not so rough and over the top these days, so they miiiiight survive._.",
+    "diff": [
+      "delete    text[73:74] --> decoded_text[73:73]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Just finished Hulse's \"Black River\" and simply adored the book. So pretty, overall, and much like the Kent Haruf novels, such as \"Plainsong\" that I've enjoyed over the years. \"Black River\" is surely one of the best five I've read this year. Solid Pulitzer choice, in my opinion. Side note: As I've mentioned before, I surely don't understand all of the hoopla surrounding \"The Sellout,\" with so many other worthy contenders. But, what do I know? I'm only a reader. :-) Read on ...",
+    "decoded_text": "Just finished Hulse's \"Black River\" and simply adored the book. So pretty, overall, and much like the Kent Haruf novels, such as \"Plainsong\" that I've enjoyed over the years. \"Black River\" is surely one of the best five I've read this year. Solid Pulitzer choice, in my opinion. Side note: As I've mentioned before, I surely don't understand all of the hoopla surrounding \"The Sellout,\" with so many other worthy contenders. But, what do I know? I'm only a reader. :-) Read on...",
+    "diff": [
+      "replace   text[476:480] --> decoded_text[476:479]   ' ...' --> '...'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "I really don't understand all of the hoopla over THE SELLOUT. Just a so-so book, in my opinion. Minor work. I struggled through it, and can never get back the time spent on that tome. EILEEN and HONEYDEW are sooooooo much better, not to mention THE TURNER HOUSE, TSAR, DID YOU EVER, and others. I'm reading DELICIOUS FOODS right now, and think it's a major-serious contender as well. BLACK RIVER is next on my list, and I can't wait. But, what do I know? :-) Read on ...",
+    "decoded_text": "I really don't understand all of the hoopla over THE SELLOUT. Just a so-so book, in my opinion. Minor work. I struggled through it, and can never get back the time spent on that tome. EILEEN and HONEYDEW are sooooooo much better, not to mention THE TURNER HOUSE, TSAR, DID YOU EVER, and others. I'm reading DELICIOUS FOODS right now, and think it's a major-serious contender as well. BLACK RIVER is next on my list, and I can't wait. But, what do I know? :-) Read on...",
+    "diff": [
+      "replace   text[466:470] --> decoded_text[466:469]   ' ...' --> '...'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/ClueAI.ChatYuan-large-v2 @ cc100.es.diff.json

@@ -0,0 +1,106 @@
+[
+  {
+    "text": "el año natural a que correspondan.",
+    "decoded_text": "el a<unk>o natural a que correspondan.",
+    "diff": [
+      "replace   text[4:5] --> decoded_text[4:9]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.029411764705882353,
+    "oov_charset": "[\"ñ\"]"
+  },
+  {
+    "text": "a la Empresa el 50% del periodo restante en la fecha señalada",
+    "decoded_text": "a la Empresa el 50% del periodo restante en la fecha se<unk>alada",
+    "diff": [
+      "replace   text[55:56] --> decoded_text[55:60]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01639344262295082,
+    "oov_charset": "[\"ñ\"]"
+  },
+  {
+    "text": "Os deseamos muchos más éxitos en un futuro y los mejores augurios para los años que están por venir.",
+    "decoded_text": "Os deseamos muchos más éxitos en un futuro y los mejores augurios para los a<unk>os que están por venir.",
+    "diff": [
+      "replace   text[76:77] --> decoded_text[76:81]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01,
+    "oov_charset": "[\"ñ\"]"
+  },
+  {
+    "text": "- Mi primer consejo es el deporte, corre, anda, juega al padel, monta en bici…en definitiva…. MUÉVETE. No necesitas más de una o dos horas al día para activarte. Despejarás tu mente.",
+    "decoded_text": "- Mi primer consejo es el deporte, corre, anda, juega al padel, monta en bici...en definitiva.... MUÉVETE. No necesitas más de una o dos horas al día para activarte. Despejarás tu mente.",
+    "diff": [
+      "replace   text[77:78] --> decoded_text[77:80]      '…' --> '...'",
+      "replace   text[91:92] --> decoded_text[93:96]      '…' --> '...'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.01098901098901099,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "- Márcate dos o tres objetivos a conseguir. Pueden ser objetivos laborales, conseguir un ascenso o aumentar las ventas de la empresa; deportivos, correr 10 kms o terminar tu primera media maratón; familiares, pasar más tiempo con tus hijos, hermanos, amigos, planificar las próximas vacaciones… etc.",
+    "decoded_text": "- Márcate dos o tres objetivos a conseguir. Pueden ser objetivos laborales, conseguir un ascenso o aumentar las ventas de la empresa; deportivos, correr 10 kms o terminar tu primera media maratón; familiares, pasar más tiempo con tus hijos, hermanos, amigos, planificar las próximas vacaciones... etc.",
+    "diff": [
+      "replace   text[293:299] --> decoded_text[293:301] '… etc.' --> '... etc.'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0033444816053511705,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "- Visualiza lo que implica para ti conseguir dichos objetivos, obsérvate llegando al final de esa carrera, lo fabuloso que estás al haber perdido 10 o 15 kg, lo que podrás hacer con el dinero por tu ascenso…. ¡¡¡Imagínalo!!! La imagen mental que estés creando tiene que ser lo más clara posible, como cuando un niño pide determinado juguete y no te acepta las diferentes alternativas que le das (para hacerlo cambiar de idea) porque él tiene muy bien definido que es lo que quiere. La mente tiene poderes ilimitados, si le das las herramientas necesarias para lograr tu propósito, ella trabajará sin obstáculos. Nuestra falta de visión e indecisión suele ser una buena fuente de limitantes.",
+    "decoded_text": "- Visualiza lo que implica para ti conseguir dichos objetivos, obsérvate llegando al final de esa carrera, lo fabuloso que estás al haber perdido 10 o 15 kg, lo que podrás hacer con el dinero por tu ascenso.... <unk>Imagínalo!!! La imagen mental que estés creando tiene que ser lo más clara posible, como cuando un ni<unk>o pide determinado juguete y no te acepta las diferentes alternativas que le das (para hacerlo cambiar de idea) porque él tiene muy bien definido que es lo que quiere. La mente tiene poderes ilimitados, si le das las herramientas necesarias para lograr tu propósito, ella trabajará sin obstáculos. Nuestra falta de visión e indecisión suele ser una buena fuente de limitantes.",
+    "diff": [
+      "delete    text[206:207] --> decoded_text[206:206]      '…' --> ''",
+      "replace   text[208:212] --> decoded_text[207:216]   ' ¡¡¡' --> '... <unk>'",
+      "replace   text[313:314] --> decoded_text[317:322]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.007246376811594203,
+    "oov_charset": "[\"…\", \"¡\", \"ñ\"]"
+  },
+  {
+    "text": "- Escribe, no importa el soporte (papel, smartphone, tablet, la palma de la mano…), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles…… Acabas de formalizar “un contrato” contigo mismo.",
+    "decoded_text": "- Escribe, no importa el soporte (papel, smartphone, tablet, la palma de la mano...), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles...... Acabas de formalizar “un contrato” contigo mismo.",
+    "diff": [
+      "replace   text[80:81] --> decoded_text[80:83]      '…' --> '...'",
+      "replace   text[233:235] --> decoded_text[235:241]     '……' --> '......'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.010526315789473684,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "Ponerse metas es estar vivo, es la vida, todo es llegar, empezar, acabar, caer y levantarse. No caigas en tu sofá, no limites tu tiempo a ver la tele o estar en el bar…. un día es largo si lo aprovechas.",
+    "decoded_text": "Ponerse metas es estar vivo, es la vida, todo es llegar, empezar, acabar, caer y levantarse. No caigas en tu sofá, no limites tu tiempo a ver la tele o estar en el bar.... un día es largo si lo aprovechas.",
+    "diff": [
+      "replace   text[167:168] --> decoded_text[167:170]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0049261083743842365,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "Seneca dijo: “no hay viento favorable para el que no sabe dónde ir…”; pon hoy mismo rumbo a tu vida.",
+    "decoded_text": "Seneca dijo: “no hay viento favorable para el que no sabe dónde ir...”; pon hoy mismo rumbo a tu vida.",
+    "diff": [
+      "replace   text[66:67] --> decoded_text[66:69]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "Es frecuente en estas fechas plantear objetivos para el nuevo año, pero también sucede muchas veces que éstos se olvidan al poco tiempo de haberlos planteado. Para que esto no suceda, dejamos algunas claves para establecer tus propósitos y avanzar hacia ellos, y no dejarlos en el camino a medida que transcurre el 2015.",
+    "decoded_text": "Es frecuente en estas fechas plantear objetivos para el nuevo a<unk>o, pero también sucede muchas veces que éstos se olvidan al poco tiempo de haberlos planteado. Para que esto no suceda, dejamos algunas claves para establecer tus propósitos y avanzar hacia ellos, y no dejarlos en el camino a medida que transcurre el 2015.",
+    "diff": [
+      "replace   text[63:64] --> decoded_text[63:68]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.003125,
+    "oov_charset": "[\"ñ\"]"
+  }
+]

stats/compression_rate/ClueAI.ChatYuan-large-v2 @ cc100.fa.diff.json

@@ -0,0 +1,180 @@
+[
+  {
+    "text": "آشپزخانه کوچک من: February 2012",
+    "decoded_text": "<unk>ا<unk> <unk> <unk>: February 2012",
+    "diff": [
+      "replace   text[0:5] --> decoded_text[0:5]  'آشپزخ' --> '<unk>'",
+      "replace   text[6:8] --> decoded_text[6:11]     'نه' --> '<unk>'",
+      "replace   text[9:13] --> decoded_text[12:17]   'کوچک' --> '<unk>'",
+      "replace   text[14:16] --> decoded_text[18:23]     'من' --> '<unk>'"
+    ],
+    "n_oov_chars": 13,
+    "oov_ratio": 0.41935483870967744,
+    "oov_charset": "[\"آ\", \"ش\", \"پ\", \"ز\", \"خ\", \"ن\", \"ه\", \"ک\", \"و\", \"چ\", \"م\"]"
+  },
+  {
+    "text": "آشپزخانه کوچک من",
+    "decoded_text": "<unk>ا<unk> <unk> <unk>",
+    "diff": [
+      "replace   text[0:5] --> decoded_text[0:5]  'آشپزخ' --> '<unk>'",
+      "replace   text[6:8] --> decoded_text[6:11]     'نه' --> '<unk>'",
+      "replace   text[9:13] --> decoded_text[12:17]   'کوچک' --> '<unk>'",
+      "replace   text[14:16] --> decoded_text[18:23]     'من' --> '<unk>'"
+    ],
+    "n_oov_chars": 13,
+    "oov_ratio": 0.8125,
+    "oov_charset": "[\"آ\", \"ش\", \"پ\", \"ز\", \"خ\", \"ن\", \"ه\", \"ک\", \"و\", \"چ\", \"م\"]"
+  },
+  {
+    "text": "بکینگ پودر:2 قاشق چای خوری",
+    "decoded_text": "<unk> <unk>:2 <unk>ا<unk> <unk>ا<unk> <unk>",
+    "diff": [
+      "replace   text[0:5] --> decoded_text[0:5]  'بکینگ' --> '<unk>'",
+      "replace   text[6:10] --> decoded_text[6:11]   'پودر' --> '<unk>'",
+      "replace   text[13:14] --> decoded_text[14:19]      'ق' --> '<unk>'",
+      "replace   text[15:17] --> decoded_text[20:25]     'شق' --> '<unk>'",
+      "replace   text[18:19] --> decoded_text[26:31]      'چ' --> '<unk>'",
+      "replace   text[20:21] --> decoded_text[32:37]      'ی' --> '<unk>'",
+      "replace   text[22:26] --> decoded_text[38:43]   'خوری' --> '<unk>'"
+    ],
+    "n_oov_chars": 18,
+    "oov_ratio": 0.6923076923076923,
+    "oov_charset": "[\"ب\", \"ک\", \"ی\", \"ن\", \"گ\", \"پ\", \"و\", \"د\", \"ر\", \"ق\", \"ش\", \"چ\", \"خ\"]"
+  },
+  {
+    "text": "تخم مرغ:2 عدد بزرگ",
+    "decoded_text": "<unk> <unk>:2 <unk> <unk>",
+    "diff": [
+      "replace   text[0:3] --> decoded_text[0:5]    'تخم' --> '<unk>'",
+      "replace   text[4:7] --> decoded_text[6:11]    'مرغ' --> '<unk>'",
+      "replace   text[10:13] --> decoded_text[14:19]    'عدد' --> '<unk>'",
+      "replace   text[14:18] --> decoded_text[20:25]   'بزرگ' --> '<unk>'"
+    ],
+    "n_oov_chars": 13,
+    "oov_ratio": 0.7222222222222222,
+    "oov_charset": "[\"ت\", \"خ\", \"م\", \"ر\", \"غ\", \"ع\", \"د\", \"ب\", \"ز\", \"گ\"]"
+  },
+  {
+    "text": "کره:225 گرم به دمای اتاق رسیده",
+    "decoded_text": "<unk>:225 <unk> <unk> <unk>ا<unk> ا<unk>ا<unk> <unk>",
+    "diff": [
+      "replace   text[0:3] --> decoded_text[0:5]    'کره' --> '<unk>'",
+      "replace   text[8:11] --> decoded_text[10:15]    'گرم' --> '<unk>'",
+      "replace   text[12:14] --> decoded_text[16:21]     'به' --> '<unk>'",
+      "replace   text[15:17] --> decoded_text[22:27]     'دم' --> '<unk>'",
+      "replace   text[18:19] --> decoded_text[28:33]      'ی' --> '<unk>'",
+      "replace   text[21:22] --> decoded_text[35:40]      'ت' --> '<unk>'",
+      "replace   text[23:24] --> decoded_text[41:46]      'ق' --> '<unk>'",
+      "replace   text[25:30] --> decoded_text[47:52]  'رسیده' --> '<unk>'"
+    ],
+    "n_oov_chars": 18,
+    "oov_ratio": 0.6,
+    "oov_charset": "[\"ک\", \"ر\", \"ه\", \"گ\", \"م\", \"ب\", \"د\", \"ی\", \"ت\", \"ق\", \"س\"]"
+  },
+  {
+    "text": "شکر:1و1/2 پیمانه+ 3 قاشق غذا خوری",
+    "decoded_text": "<unk>:1<unk>1/2 <unk>ا<unk>+ 3 <unk>ا<unk> <unk>ا <unk>",
+    "diff": [
+      "replace   text[0:3] --> decoded_text[0:5]    'شکر' --> '<unk>'",
+      "replace   text[5:6] --> decoded_text[7:12]      'و' --> '<unk>'",
+      "replace   text[10:13] --> decoded_text[16:21]    'پیم' --> '<unk>'",
+      "replace   text[14:16] --> decoded_text[22:27]     'نه' --> '<unk>'",
+      "replace   text[20:21] --> decoded_text[31:36]      'ق' --> '<unk>'",
+      "replace   text[22:24] --> decoded_text[37:42]     'شق' --> '<unk>'",
+      "replace   text[25:27] --> decoded_text[43:48]     'غذ' --> '<unk>'",
+      "replace   text[29:33] --> decoded_text[50:55]   'خوری' --> '<unk>'"
+    ],
+    "n_oov_chars": 18,
+    "oov_ratio": 0.5454545454545454,
+    "oov_charset": "[\"ش\", \"ک\", \"ر\", \"و\", \"پ\", \"ی\", \"م\", \"ن\", \"ه\", \"ق\", \"غ\", \"ذ\", \"خ\"]"
+  },
+  {
+    "text": "پودر دارچین:2 و1/2قاشق چای خوری",
+    "decoded_text": "<unk> <unk>ا<unk>:2 <unk>1/2<unk>ا<unk> <unk>ا<unk> <unk>",
+    "diff": [
+      "replace   text[0:4] --> decoded_text[0:5]   'پودر' --> '<unk>'",
+      "replace   text[5:6] --> decoded_text[6:11]      'د' --> '<unk>'",
+      "replace   text[7:11] --> decoded_text[12:17]   'رچین' --> '<unk>'",
+      "replace   text[14:15] --> decoded_text[20:25]      'و' --> '<unk>'",
+      "replace   text[18:19] --> decoded_text[28:33]      'ق' --> '<unk>'",
+      "replace   text[20:22] --> decoded_text[34:39]     'شق' --> '<unk>'",
+      "replace   text[23:24] --> decoded_text[40:45]      'چ' --> '<unk>'",
+      "replace   text[25:26] --> decoded_text[46:51]      'ی' --> '<unk>'",
+      "replace   text[27:31] --> decoded_text[52:57]   'خوری' --> '<unk>'"
+    ],
+    "n_oov_chars": 19,
+    "oov_ratio": 0.6129032258064516,
+    "oov_charset": "[\"پ\", \"و\", \"د\", \"ر\", \"چ\", \"ی\", \"ن\", \"ق\", \"ش\", \"خ\"]"
+  },
+  {
+    "text": "فر رو روی 350 درجه فارنهایت روشن کنید",
+    "decoded_text": "<unk> <unk> <unk> 350 <unk> <unk>ا<unk>ا<unk> <unk> <unk>",
+    "diff": [
+      "replace   text[0:2] --> decoded_text[0:5]     'فر' --> '<unk>'",
+      "replace   text[3:5] --> decoded_text[6:11]     'رو' --> '<unk>'",
+      "replace   text[6:9] --> decoded_text[12:17]    'روی' --> '<unk>'",
+      "replace   text[14:18] --> decoded_text[22:27]   'درجه' --> '<unk>'",
+      "replace   text[19:20] --> decoded_text[28:33]      'ف' --> '<unk>'",
+      "replace   text[21:24] --> decoded_text[34:39]    'رنه' --> '<unk>'",
+      "replace   text[25:27] --> decoded_text[40:45]     'یت' --> '<unk>'",
+      "replace   text[28:32] --> decoded_text[46:51]   'روشن' --> '<unk>'",
+      "replace   text[33:37] --> decoded_text[52:57]   'کنید' --> '<unk>'"
+    ],
+    "n_oov_chars": 25,
+    "oov_ratio": 0.6756756756756757,
+    "oov_charset": "[\"ف\", \"ر\", \"و\", \"ی\", \"د\", \"ج\", \"ه\", \"ن\", \"ت\", \"ش\", \"ک\"]"
+  },
+  {
+    "text": "کره رو با شکر هم بزنید تا یکدست و کرمی بشه تخم مرغها رو دونه دونه اضافه کنید و هم بزنید",
+    "decoded_text": "<unk> <unk> <unk>ا <unk> <unk> <unk> <unk>ا <unk> <unk> <unk> <unk> <unk> <unk>ا <unk> <unk> <unk> ا<unk>ا<unk> <unk> <unk> <unk> <unk>",
+    "diff": [
+      "replace   text[0:3] --> decoded_text[0:5]    'کره' --> '<unk>'",
+      "replace   text[4:6] --> decoded_text[6:11]     'رو' --> '<unk>'",
+      "replace   text[7:8] --> decoded_text[12:17]      'ب' --> '<unk>'",
+      "replace   text[10:13] --> decoded_text[19:24]    'شکر' --> '<unk>'",
+      "replace   text[14:16] --> decoded_text[25:30]     'هم' --> '<unk>'",
+      "replace   text[17:22] --> decoded_text[31:36]  'بزنید' --> '<unk>'",
+      "replace   text[23:24] --> decoded_text[37:42]      'ت' --> '<unk>'",
+      "replace   text[26:31] --> decoded_text[44:49]  'یکدست' --> '<unk>'",
+      "replace   text[32:33] --> decoded_text[50:55]      'و' --> '<unk>'",
+      "replace   text[34:38] --> decoded_text[56:61]   'کرمی' --> '<unk>'",
+      "replace   text[39:42] --> decoded_text[62:67]    'بشه' --> '<unk>'",
+      "replace   text[43:46] --> decoded_text[68:73]    'تخم' --> '<unk>'",
+      "replace   text[47:51] --> decoded_text[74:79]   'مرغه' --> '<unk>'",
+      "replace   text[53:55] --> decoded_text[81:86]     'رو' --> '<unk>'",
+      "replace   text[56:60] --> decoded_text[87:92]   'دونه' --> '<unk>'",
+      "replace   text[61:65] --> decoded_text[93:98]   'دونه' --> '<unk>'",
+      "replace   text[67:68] --> decoded_text[100:105]      'ض' --> '<unk>'",
+      "replace   text[69:71] --> decoded_text[106:111]     'فه' --> '<unk>'",
+      "replace   text[72:76] --> decoded_text[112:117]   'کنید' --> '<unk>'",
+      "replace   text[77:78] --> decoded_text[118:123]      'و' --> '<unk>'",
+      "replace   text[79:81] --> decoded_text[124:129]     'هم' --> '<unk>'",
+      "replace   text[82:87] --> decoded_text[130:135]  'بزنید' --> '<unk>'"
+    ],
+    "n_oov_chars": 62,
+    "oov_ratio": 0.7126436781609196,
+    "oov_charset": "[\"ک\", \"ر\", \"ه\", \"و\", \"ب\", \"ش\", \"م\", \"ز\", \"ن\", \"ی\", \"د\", \"ت\", \"س\", \"خ\", \"غ\", \"ض\", \"ف\"]"
+  },
+  {
+    "text": "ارد و بکینگ پودر و نمک رو الک کنید و اضافه کنید",
+    "decoded_text": "ا<unk> <unk> <unk> <unk> <unk> <unk> <unk> ال<unk> <unk> <unk> ا<unk>ا<unk> <unk>",
+    "diff": [
+      "replace   text[1:3] --> decoded_text[1:6]     'رد' --> '<unk>'",
+      "replace   text[4:5] --> decoded_text[7:12]      'و' --> '<unk>'",
+      "replace   text[6:11] --> decoded_text[13:18]  'بکینگ' --> '<unk>'",
+      "replace   text[12:16] --> decoded_text[19:24]   'پودر' --> '<unk>'",
+      "replace   text[17:18] --> decoded_text[25:30]      'و' --> '<unk>'",
+      "replace   text[19:22] --> decoded_text[31:36]    'نمک' --> '<unk>'",
+      "replace   text[23:25] --> decoded_text[37:42]     'رو' --> '<unk>'",
+      "replace   text[28:29] --> decoded_text[45:50]      'ک' --> '<unk>'",
+      "replace   text[30:34] --> decoded_text[51:56]   'کنید' --> '<unk>'",
+      "replace   text[35:36] --> decoded_text[57:62]      'و' --> '<unk>'",
+      "replace   text[38:39] --> decoded_text[64:69]      'ض' --> '<unk>'",
+      "replace   text[40:42] --> decoded_text[70:75]     'فه' --> '<unk>'",
+      "replace   text[43:47] --> decoded_text[76:81]   'کنید' --> '<unk>'"
+    ],
+    "n_oov_chars": 31,
+    "oov_ratio": 0.6595744680851063,
+    "oov_charset": "[\"ر\", \"د\", \"و\", \"ب\", \"ک\", \"ی\", \"ن\", \"گ\", \"پ\", \"م\", \"ض\", \"ف\", \"ه\"]"
+  }
+]

stats/compression_rate/ClueAI.ChatYuan-large-v2 @ cc100.fr.diff.json

@@ -0,0 +1,106 @@
+[
+  {
+    "text": "Bon, comme je ne suis pas le seul à avoir envisagé de créer ce sujet, je me suis dis qu'il était peut être temps de le commencer.",
+    "decoded_text": "Bon, comme je ne suis pas le seul à avoir envisagé de créer ce sujet, je me suis dis qu'il était peut <unk>tre temps de le commencer.",
+    "diff": [
+      "replace   text[102:103] --> decoded_text[102:107]      'ê' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007751937984496124,
+    "oov_charset": "[\"ê\"]"
+  },
+  {
+    "text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée ?\" le matin, il y a de fortes chances que j'oublie",
+    "decoded_text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée?\" le matin, il y a de fortes chances que j'oublie",
+    "diff": [
+      "delete    text[193:194] --> decoded_text[193:193]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- Je dois être mentalement instable, par moments",
+    "decoded_text": "- Je dois <unk>tre mentalement instable, par moments",
+    "diff": [
+      "replace   text[10:11] --> decoded_text[10:15]      'ê' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.020833333333333332,
+    "oov_charset": "[\"ê\"]"
+  },
+  {
+    "text": "- j'ai moi aussi beaucoup de mémoire à ta manière : se souvenir de petits détails inutiles et beaucoup de choses sur les sujets qui m'intéressent, mais je suis en même temps très étourdie",
+    "decoded_text": "- j'ai moi aussi beaucoup de mémoire à ta manière : se souvenir de petits détails inutiles et beaucoup de choses sur les sujets qui m'intéressent, mais je suis en m<unk>me temps très étourdie",
+    "diff": [
+      "replace   text[164:165] --> decoded_text[164:169]      'ê' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0053475935828877,
+    "oov_charset": "[\"ê\"]"
+  },
+  {
+    "text": "- je ne peux pas retenir quelque chose que je ne comprends pas (ce qui m'a posé quelques problèmes au collège, notamment pour les théorèmes de maths, où le prof a dû me garder une heure en plus pour m'expliquer des démonstrations)",
+    "decoded_text": "- je ne peux pas retenir quelque chose que je ne comprends pas (ce qui m'a posé quelques problèmes au collège, notamment pour les théorèmes de maths, où le prof a d<unk> me garder une heure en plus pour m'expliquer des démonstrations)",
+    "diff": [
+      "replace   text[164:165] --> decoded_text[164:169]      'û' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.004347826086956522,
+    "oov_charset": "[\"û\"]"
+  },
+  {
+    "text": "- quand quelqu'un critique quelque chose (ex. plan Vigipirate) j'essaie tout de suite de réfléchir à une autre solution (bon ça c'est normal mais je le dis quand même)",
+    "decoded_text": "- quand quelqu'un critique quelque chose (ex. plan Vigipirate) j'essaie tout de suite de réfléchir à une autre solution (bon ça c'est normal mais je le dis quand m<unk>me)",
+    "diff": [
+      "replace   text[163:164] --> decoded_text[163:168]      'ê' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005988023952095809,
+    "oov_charset": "[\"ê\"]"
+  },
+  {
+    "text": "- je préfère largement passer du temps avec les gens de mon âge ou plus ou moins (généralement pas mon âge pile-poil, la plupart de mes amis ont un ou deux ans de plus que moi)",
+    "decoded_text": "- je préfère largement passer du temps avec les gens de mon <unk>ge ou plus ou moins (généralement pas mon <unk>ge pile-poil, la plupart de mes amis ont un ou deux ans de plus que moi)",
+    "diff": [
+      "replace   text[60:61] --> decoded_text[60:65]      'â' --> '<unk>'",
+      "replace   text[103:104] --> decoded_text[107:112]      'â' --> '<unk>'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.011363636363636364,
+    "oov_charset": "[\"â\"]"
+  },
+  {
+    "text": "- j'aime chanter, faire du théâtre et provoquer des émotions chez les gens",
+    "decoded_text": "- j'aime chanter, faire du thé<unk>tre et provoquer des émotions chez les gens",
+    "diff": [
+      "replace   text[30:31] --> decoded_text[30:35]      'â' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.013513513513513514,
+    "oov_charset": "[\"â\"]"
+  },
+  {
+    "text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis !), je sais reconnaître quand j'ai tort",
+    "decoded_text": "- j'ai toujours beaucoup d'arguments, je préfère <unk>tre une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis!), je sais reconna<unk>tre quand j'ai tort",
+    "diff": [
+      "replace   text[49:50] --> decoded_text[49:54]      'ê' --> '<unk>'",
+      "delete    text[150:151] --> decoded_text[154:154]      ' ' --> ''",
+      "replace   text[170:171] --> decoded_text[173:178]      'î' --> '<unk>'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.010526315789473684,
+    "oov_charset": "[\"ê\", \"î\"]"
+  },
+  {
+    "text": "- je vois les autres comme... ben... des gens normaux, quoi... je vois mes amis comme des êtres humains vivant plus ou moins sur Terre (du moins la majorité ), mais je Cornichonçois peut-être trop bien que tout le monde est différent",
+    "decoded_text": "- je vois les autres comme... ben... des gens normaux, quoi... je vois mes amis comme des <unk>tres humains vivant plus ou moins sur Terre (du moins la majorité ), mais je Cornichonçois peut-<unk>tre trop bien que tout le monde est différent",
+    "diff": [
+      "replace   text[90:91] --> decoded_text[90:95]      'ê' --> '<unk>'",
+      "replace   text[187:188] --> decoded_text[191:196]      'ê' --> '<unk>'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.008583690987124463,
+    "oov_charset": "[\"ê\"]"
+  }
+]

stats/compression_rate/ClueAI.ChatYuan-large-v2 @ cc100.ja.diff.json

@@ -0,0 +1,109 @@
+[
+  {
+    "text": "午後から雨が心配だったので遠出はせず、『ふれあいロード』を走って来ました！",
+    "decoded_text": "午後から雨が心配だったので遠出はせず、『ふれあいロード』を走って来ました!",
+    "diff": [
+      "replace   text[36:37] --> decoded_text[36:37]      '！' --> '!'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.02702702702702703,
+    "oov_charset": "[\"！\"]"
+  },
+  {
+    "text": "確実に春が近づいてることを肌で感じることが出来ました 着々と整備されてる圏央道を越えるとお世話になってるボウリング場が見えて来ました。",
+    "decoded_text": "確実に春が近づいてることを肌で感じることが出来ました 着々と整<unk>されてる<unk>央道を越えるとお世話になってるボウリング場が見えて来ました。",
+    "diff": [
+      "replace   text[31:32] --> decoded_text[31:36]      '備' --> '<unk>'",
+      "replace   text[36:37] --> decoded_text[40:45]      '圏' --> '<unk>'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.029850746268656716,
+    "oov_charset": "[\"備\", \"圏\"]"
+  },
+  {
+    "text": "うぅ〜〜、私が途中でトイレに行きたくなってしまい、通り道にあったケンタに変更しちゃいました。",
+    "decoded_text": "う<unk>〜〜、私が途中でトイレに行きたくなってしまい、通り道にあったケンタに変更しちゃいました。",
+    "diff": [
+      "replace   text[1:2] --> decoded_text[1:6]      'ぅ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.021739130434782608,
+    "oov_charset": "[\"ぅ\"]"
+  },
+  {
+    "text": "実は、１年程前にエルモサの右目の黒目の端によ〜く見ないと分からない程の小さな斑を見つけてたんです。",
+    "decoded_text": "実は、1年程前にエルモサの右目の黒目の端によ〜く見ないと分からない程の小さな斑を見つけてたんです。",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      '１' --> '1'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.02040816326530612,
+    "oov_charset": "[\"１\"]"
+  },
+  {
+    "text": "その時点で先生からはおそらく『角膜ジストロフィー』であろうとの診断をもらっていました。",
+    "decoded_text": "その時点で先生からはおそらく『角膜ジストロフィー』であろうとの<unk>断をもらっていました。",
+    "diff": [
+      "replace   text[31:32] --> decoded_text[31:36]      '診' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.023255813953488372,
+    "oov_charset": "[\"診\"]"
+  },
+  {
+    "text": "ただ、これまでお散歩仲間からは指摘とかされたことはないので、こちらから言わなければそんなに目立つ程ではないんですけどね。",
+    "decoded_text": "ただ、これまでお散<unk>仲間からは指摘とかされたことはないので、こちらから言わなければそんなに目立つ程ではないんですけどね。",
+    "diff": [
+      "replace   text[9:10] --> decoded_text[9:14]      '歩' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.016666666666666666,
+    "oov_charset": "[\"歩\"]"
+  },
+  {
+    "text": "昔はヒアルロン酸の目薬なども処方されてたようですが、これが効く事はないそうです。",
+    "decoded_text": "昔はヒアルロン酸の目<unk>なども<unk>方されてたようですが、これが<unk>く事はないそうです。",
+    "diff": [
+      "replace   text[10:11] --> decoded_text[10:15]      '薬' --> '<unk>'",
+      "replace   text[14:15] --> decoded_text[18:23]      '処' --> '<unk>'",
+      "replace   text[29:30] --> decoded_text[37:42]      '効' --> '<unk>'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.075,
+    "oov_charset": "[\"薬\", \"処\", \"効\"]"
+  },
+  {
+    "text": "なので、エルディとのお散歩でも訪れたことがありません。 カタクリの花が５分咲きとの情報から今回コースの１つに取り入れてみました。",
+    "decoded_text": "なので、エルディとのお散<unk>でも<unk>れたことがありません。 カタクリの花が5分咲きとの情報から今回コースの1つに取り入れてみました。",
+    "diff": [
+      "replace   text[12:13] --> decoded_text[12:17]      '歩' --> '<unk>'",
+      "replace   text[15:16] --> decoded_text[19:24]      '訪' --> '<unk>'",
+      "replace   text[35:36] --> decoded_text[43:44]      '５' --> '5'",
+      "replace   text[51:52] --> decoded_text[59:60]      '１' --> '1'"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.0625,
+    "oov_charset": "[\"歩\", \"訪\", \"５\", \"１\"]"
+  },
+  {
+    "text": "前々から走ってみたかったんだけど、いつも陸上部らしき学生さ��がものすごいスピードで駆け抜けていくのを目の当たりにしてちょっとビビっておりました",
+    "decoded_text": "前々から走ってみたかったんだけど、いつも陸上部らしき学生さんがものすごいスピードで<unk>け<unk>けていくのを目の当たりにしてちょっとビビっておりました",
+    "diff": [
+      "replace   text[41:42] --> decoded_text[41:46]      '駆' --> '<unk>'",
+      "replace   text[43:44] --> decoded_text[47:52]      '抜' --> '<unk>'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.028169014084507043,
+    "oov_charset": "[\"駆\", \"抜\"]"
+  },
+  {
+    "text": "彼らには絶対お目にかかりたくないので、この春はこれで打ち止めになっちゃうかもね。",
+    "decoded_text": "彼らには<unk>対お目にかかりたくないので、この春はこれで打ち止めになっちゃうかもね。",
+    "diff": [
+      "replace   text[4:5] --> decoded_text[4:9]      '絶' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.025,
+    "oov_charset": "[\"絶\"]"
+  }
+]

stats/compression_rate/ClueAI.ChatYuan-large-v2 @ cc100.ko.diff.json

@@ -0,0 +1,255 @@
+[
+  {
+    "text": "+ HOME > 라이브스코어",
+    "decoded_text": "+ HOME > <unk>",
+    "diff": [
+      "replace   text[9:15] --> decoded_text[9:14] '라이브스코어' --> '<unk>'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.4,
+    "oov_charset": "[\"라\", \"이\", \"브\", \"스\", \"코\", \"어\"]"
+  },
+  {
+    "text": "특히 주소 15~17번 홀에선 3연속 보기로 황금의제국카지노 홀아웃했다.",
+    "decoded_text": "<unk> <unk> 15~17<unk> <unk> 3<unk> <unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[0:2] --> decoded_text[0:5]     '특히' --> '<unk>'",
+      "replace   text[3:5] --> decoded_text[6:11]     '주소' --> '<unk>'",
+      "replace   text[11:12] --> decoded_text[17:22]      '번' --> '<unk>'",
+      "replace   text[13:16] --> decoded_text[23:28]    '홀에선' --> '<unk>'",
+      "replace   text[18:20] --> decoded_text[30:35]     '연속' --> '<unk>'",
+      "replace   text[21:24] --> decoded_text[36:41]    '보기로' --> '<unk>'",
+      "replace   text[25:33] --> decoded_text[42:47] '황금의제국카지노' --> '<unk>'",
+      "replace   text[34:39] --> decoded_text[48:53]  '홀아웃했다' --> '<unk>'"
+    ],
+    "n_oov_chars": 26,
+    "oov_ratio": 0.65,
+    "oov_charset": "[\"특\", \"히\", \"주\", \"소\", \"번\", \"홀\", \"에\", \"선\", \"연\", \"속\", \"보\", \"기\", \"로\", \"황\", \"금\", \"의\", \"제\", \"국\", \"카\", \"지\", \"노\", \"아\", \"웃\", \"했\", \"다\"]"
+  },
+  {
+    "text": "1편인'신과함께-죄와 벌'이 천만을 넘은 만큼 2편을 기다린 황금의제국카지노 관객들의 기대와 주소 관심은 폭발적이다.",
+    "decoded_text": "1<unk>'<unk>-<unk> <unk>'<unk> <unk> <unk> <unk> 2<unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[1:3] --> decoded_text[1:6]     '편인' --> '<unk>'",
+      "replace   text[4:8] --> decoded_text[7:12]   '신과함께' --> '<unk>'",
+      "replace   text[9:11] --> decoded_text[13:18]     '죄와' --> '<unk>'",
+      "replace   text[12:13] --> decoded_text[19:24]      '벌' --> '<unk>'",
+      "replace   text[14:15] --> decoded_text[25:30]      '이' --> '<unk>'",
+      "replace   text[16:19] --> decoded_text[31:36]    '천만을' --> '<unk>'",
+      "replace   text[20:22] --> decoded_text[37:42]     '넘은' --> '<unk>'",
+      "replace   text[23:25] --> decoded_text[43:48]     '만큼' --> '<unk>'",
+      "replace   text[27:29] --> decoded_text[50:55]     '편을' --> '<unk>'",
+      "replace   text[30:33] --> decoded_text[56:61]    '기다린' --> '<unk>'",
+      "replace   text[34:42] --> decoded_text[62:67] '황금의제국카지노' --> '<unk>'",
+      "replace   text[43:47] --> decoded_text[68:73]   '관객들의' --> '<unk>'",
+      "replace   text[48:51] --> decoded_text[74:79]    '기대와' --> '<unk>'",
+      "replace   text[52:54] --> decoded_text[80:85]     '주소' --> '<unk>'",
+      "replace   text[55:58] --> decoded_text[86:91]    '관심은' --> '<unk>'",
+      "replace   text[59:64] --> decoded_text[92:97]  '폭발적이다' --> '<unk>'"
+    ],
+    "n_oov_chars": 47,
+    "oov_ratio": 0.7230769230769231,
+    "oov_charset": "[\"편\", \"인\", \"신\", \"과\", \"함\", \"께\", \"죄\", \"와\", \"벌\", \"이\", \"천\", \"만\", \"을\", \"넘\", \"은\", \"큼\", \"기\", \"다\", \"린\", \"황\", \"금\", \"의\", \"제\", \"국\", \"카\", \"지\", \"노\", \"관\", \"객\", \"들\", \"대\", \"주\", \"소\", \"심\", \"폭\", \"발\", \"적\"]"
+  },
+  {
+    "text": "고려해서 주소 '대체재 일색'의 분재를 내놓을 위험이 있다. 문학의 자유를 소설가가 스스로 황금의제국카지노 출판사에 상납하는 것이다.",
+    "decoded_text": "<unk> <unk> '<unk> <unk>'<unk> <unk> <unk> <unk> <unk>. <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[0:4] --> decoded_text[0:5]   '고려해서' --> '<unk>'",
+      "replace   text[5:7] --> decoded_text[6:11]     '주소' --> '<unk>'",
+      "replace   text[9:12] --> decoded_text[13:18]    '대체재' --> '<unk>'",
+      "replace   text[13:15] --> decoded_text[19:24]     '일색' --> '<unk>'",
+      "replace   text[16:17] --> decoded_text[25:30]      '의' --> '<unk>'",
+      "replace   text[18:21] --> decoded_text[31:36]    '분재를' --> '<unk>'",
+      "replace   text[22:25] --> decoded_text[37:42]    '내놓을' --> '<unk>'",
+      "replace   text[26:29] --> decoded_text[43:48]    '위험이' --> '<unk>'",
+      "replace   text[30:32] --> decoded_text[49:54]     '있다' --> '<unk>'",
+      "replace   text[34:37] --> decoded_text[56:61]    '문학의' --> '<unk>'",
+      "replace   text[38:41] --> decoded_text[62:67]    '자유를' --> '<unk>'",
+      "replace   text[42:46] --> decoded_text[68:73]   '소설가가' --> '<unk>'",
+      "replace   text[47:50] --> decoded_text[74:79]    '스스로' --> '<unk>'",
+      "replace   text[51:59] --> decoded_text[80:85] '황금의제국카지노' --> '<unk>'",
+      "replace   text[60:64] --> decoded_text[86:91]   '출판사에' --> '<unk>'",
+      "replace   text[65:69] --> decoded_text[92:97]   '상납하는' --> '<unk>'",
+      "replace   text[70:73] --> decoded_text[98:103]    '것이다' --> '<unk>'"
+    ],
+    "n_oov_chars": 55,
+    "oov_ratio": 0.7432432432432432,
+    "oov_charset": "[\"고\", \"려\", \"해\", \"서\", \"주\", \"소\", \"대\", \"체\", \"재\", \"일\", \"색\", \"의\", \"분\", \"를\", \"내\", \"놓\", \"을\", \"위\", \"험\", \"이\", \"있\", \"다\", \"문\", \"학\", \"자\", \"유\", \"설\", \"가\", \"스\", \"로\", \"황\", \"금\", \"제\", \"국\", \"카\", \"지\", \"노\", \"출\", \"판\", \"사\", \"에\", \"상\", \"납\", \"하\", \"는\", \"것\"]"
+  },
+  {
+    "text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246 .270 .508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
+    "decoded_text": "<unk> <unk> <unk> <unk> <unk>(22)<unk> <unk> 4<unk>3<unk>(2<unk> <unk>) 3<unk>(.246.270.508). <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[0:6] --> decoded_text[0:5] '조시도널슨의' --> '<unk>'",
+      "replace   text[7:9] --> decoded_text[6:11]     '유산' --> '<unk>'",
+      "replace   text[10:14] --> decoded_text[12:17]   '프랭클린' --> '<unk>'",
+      "replace   text[15:17] --> decoded_text[18:23]     '주소' --> '<unk>'",
+      "replace   text[18:21] --> decoded_text[24:29]    '바레토' --> '<unk>'",
+      "replace   text[25:26] --> decoded_text[33:38]      '는' --> '<unk>'",
+      "replace   text[27:35] --> decoded_text[39:44] '황금의제국카지노' --> '<unk>'",
+      "replace   text[37:39] --> decoded_text[46:51]     '타수' --> '<unk>'",
+      "replace   text[40:42] --> decoded_text[52:57]     '안타' --> '<unk>'",
+      "replace   text[44:46] --> decoded_text[59:64]     '루타' --> '<unk>'",
+      "replace   text[47:49] --> decoded_text[65:70]     '홈런' --> '<unk>'",
+      "replace   text[52:54] --> decoded_text[73:78]     '타점' --> '<unk>'",
+      "delete    text[59:60] --> decoded_text[83:83]      ' ' --> ''",
+      "delete    text[64:65] --> decoded_text[87:87]      ' ' --> ''",
+      "replace   text[72:75] --> decoded_text[94:99]    '하지만' --> '<unk>'",
+      "replace   text[76:79] --> decoded_text[100:105]    '아직은' --> '<unk>'",
+      "replace   text[80:84] --> decoded_text[106:111]   '트레이드' --> '<unk>'",
+      "replace   text[85:88] --> decoded_text[112:117]    '당시의' --> '<unk>'",
+      "replace   text[89:93] --> decoded_text[118:123]   '기대치를' --> '<unk>'",
+      "replace   text[94:98] --> decoded_text[124:129]   '보여주지' --> '<unk>'",
+      "replace   text[99:102] --> decoded_text[130:135]    '못하고' --> '<unk>'",
+      "replace   text[103:105] --> decoded_text[136:141]     '있다' --> '<unk>'"
+    ],
+    "n_oov_chars": 62,
+    "oov_ratio": 0.5849056603773585,
+    "oov_charset": "[\"조\", \"시\", \"도\", \"널\", \"슨\", \"의\", \"유\", \"산\", \"프\", \"랭\", \"클\", \"린\", \"주\", \"소\", \"바\", \"레\", \"토\", \"는\", \"황\", \"금\", \"제\", \"국\", \"카\", \"지\", \"노\", \"타\", \"수\", \"안\", \"루\", \"홈\", \"런\", \"점\", \"하\", \"만\", \"아\", \"직\", \"은\", \"트\", \"이\", \"드\", \"당\", \"기\", \"대\", \"치\", \"를\", \"보\", \"여\", \"못\", \"고\", \"있\", \"다\"]"
+  },
+  {
+    "text": "여기서승리한 2팀이 준결승에 오른다. 결국 A, B조 1위는 12강-4강-결승으로 3경기를 치르지만, C, D, 황금의제국카지노 E, F조 1위는 주소 12강-6강-4강-결승으로 4경기를 해야 한다.",
+    "decoded_text": "<unk> 2<unk> <unk> <unk>. <unk> A, B<unk> 1<unk> 12<unk>-4<unk>-<unk> 3<unk> <unk>, C, D, <unk> E, F<unk> 1<unk> <unk> 12<unk>-6<unk>-4<unk>-<unk> 4<unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[0:6] --> decoded_text[0:5] '여기서승리한' --> '<unk>'",
+      "replace   text[8:10] --> decoded_text[7:12]     '팀이' --> '<unk>'",
+      "replace   text[11:15] --> decoded_text[13:18]   '준결승에' --> '<unk>'",
+      "replace   text[16:19] --> decoded_text[19:24]    '오른다' --> '<unk>'",
+      "replace   text[21:23] --> decoded_text[26:31]     '결국' --> '<unk>'",
+      "replace   text[28:29] --> decoded_text[36:41]      '조' --> '<unk>'",
+      "replace   text[31:33] --> decoded_text[43:48]     '위는' --> '<unk>'",
+      "replace   text[36:37] --> decoded_text[51:56]      '강' --> '<unk>'",
+      "replace   text[39:40] --> decoded_text[58:63]      '강' --> '<unk>'",
+      "replace   text[41:45] --> decoded_text[64:69]   '결승으로' --> '<unk>'",
+      "replace   text[47:50] --> decoded_text[71:76]    '경기를' --> '<unk>'",
+      "replace   text[51:55] --> decoded_text[77:82]   '치르지만' --> '<unk>'",
+      "replace   text[63:71] --> decoded_text[90:95] '황금의제국카지노' --> '<unk>'",
+      "replace   text[76:77] --> decoded_text[100:105]      '조' --> '<unk>'",
+      "replace   text[79:81] --> decoded_text[107:112]     '위는' --> '<unk>'",
+      "replace   text[82:84] --> decoded_text[113:118]     '주소' --> '<unk>'",
+      "replace   text[87:88] --> decoded_text[121:126]      '강' --> '<unk>'",
+      "replace   text[90:91] --> decoded_text[128:133]      '강' --> '<unk>'",
+      "replace   text[93:94] --> decoded_text[135:140]      '강' --> '<unk>'",
+      "replace   text[95:99] --> decoded_text[141:146]   '결승으로' --> '<unk>'",
+      "replace   text[101:104] --> decoded_text[148:153]    '경기를' --> '<unk>'",
+      "replace   text[105:107] --> decoded_text[154:159]     '해야' --> '<unk>'",
+      "replace   text[108:110] --> decoded_text[160:165]     '한다' --> '<unk>'"
+    ],
+    "n_oov_chars": 60,
+    "oov_ratio": 0.5405405405405406,
+    "oov_charset": "[\"여\", \"기\", \"서\", \"승\", \"리\", \"한\", \"팀\", \"이\", \"준\", \"결\", \"에\", \"오\", \"른\", \"다\", \"국\", \"조\", \"위\", \"는\", \"강\", \"으\", \"로\", \"경\", \"를\", \"치\", \"르\", \"지\", \"만\", \"황\", \"금\", \"의\", \"제\", \"카\", \"노\", \"주\", \"소\", \"해\", \"야\"]"
+  },
+  {
+    "text": "또한이날 눈길을 주소 끈 것은 한 신인배우의 매니저였다. 황금의제국카지노 배우의 매니저 일을 하고 있다는 한 청취자의 사연에 박명수는 '실시간 검색어 1위'를 만들어주겠다며, 통화연결을 했다.",
+    "decoded_text": "<unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>. <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> '<unk> <unk> 1<unk>'<unk> <unk>, <unk> <unk>.",
+    "diff": [
+      "replace   text[0:4] --> decoded_text[0:5]   '또한이날' --> '<unk>'",
+      "replace   text[5:8] --> decoded_text[6:11]    '눈길을' --> '<unk>'",
+      "replace   text[9:11] --> decoded_text[12:17]     '주소' --> '<unk>'",
+      "replace   text[12:13] --> decoded_text[18:23]      '끈' --> '<unk>'",
+      "replace   text[14:16] --> decoded_text[24:29]     '것은' --> '<unk>'",
+      "replace   text[17:18] --> decoded_text[30:35]      '한' --> '<unk>'",
+      "replace   text[19:24] --> decoded_text[36:41]  '신인배우의' --> '<unk>'",
+      "replace   text[25:30] --> decoded_text[42:47]  '매니저였다' --> '<unk>'",
+      "replace   text[32:40] --> decoded_text[49:54] '황금의제국카지노' --> '<unk>'",
+      "replace   text[41:44] --> decoded_text[55:60]    '배우의' --> '<unk>'",
+      "replace   text[45:48] --> decoded_text[61:66]    '매니저' --> '<unk>'",
+      "replace   text[49:51] --> decoded_text[67:72]     '일을' --> '<unk>'",
+      "replace   text[52:54] --> decoded_text[73:78]     '하고' --> '<unk>'",
+      "replace   text[55:58] --> decoded_text[79:84]    '있다는' --> '<unk>'",
+      "replace   text[59:60] --> decoded_text[85:90]      '한' --> '<unk>'",
+      "replace   text[61:65] --> decoded_text[91:96]   '청취자의' --> '<unk>'",
+      "replace   text[66:69] --> decoded_text[97:102]    '사연에' --> '<unk>'",
+      "replace   text[70:74] --> decoded_text[103:108]   '박명수는' --> '<unk>'",
+      "replace   text[76:79] --> decoded_text[110:115]    '실시간' --> '<unk>'",
+      "replace   text[80:83] --> decoded_text[116:121]    '검색어' --> '<unk>'",
+      "replace   text[85:86] --> decoded_text[123:128]      '위' --> '<unk>'",
+      "replace   text[87:88] --> decoded_text[129:134]      '를' --> '<unk>'",
+      "replace   text[89:96] --> decoded_text[135:140] '만들어주겠다며' --> '<unk>'",
+      "replace   text[98:103] --> decoded_text[142:147]  '통화연결을' --> '<unk>'",
+      "replace   text[104:106] --> decoded_text[148:153]     '했다' --> '<unk>'"
+    ],
+    "n_oov_chars": 78,
+    "oov_ratio": 0.7289719626168224,
+    "oov_charset": "[\"또\", \"한\", \"이\", \"날\", \"눈\", \"길\", \"을\", \"주\", \"소\", \"끈\", \"것\", \"은\", \"신\", \"인\", \"배\", \"우\", \"의\", \"매\", \"니\", \"저\", \"였\", \"다\", \"황\", \"금\", \"제\", \"국\", \"카\", \"지\", \"노\", \"일\", \"하\", \"고\", \"있\", \"는\", \"청\", \"취\", \"자\", \"사\", \"연\", \"에\", \"박\", \"명\", \"수\", \"실\", \"시\", \"간\", \"검\", \"색\", \"어\", \"위\", \"를\", \"만\", \"들\", \"겠\", \"며\", \"통\", \"화\", \"결\", \"했\"]"
+  },
+  {
+    "text": "하지만이번 황금의제국카지노 시즌, 호날두와 이과인이 다시 주소 한솥밥을 먹는 일이 성사됐다. 호날두가 ‘빅 사이닝’을 통해 유벤투스로 옮겼기 때문이다.",
+    "decoded_text": "<unk> <unk> <unk>, <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>. <unk> ‘<unk> <unk>’<unk> <unk> <unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[0:5] --> decoded_text[0:5]  '하지만이번' --> '<unk>'",
+      "replace   text[6:14] --> decoded_text[6:11] '황금의제국카지노' --> '<unk>'",
+      "replace   text[15:17] --> decoded_text[12:17]     '시즌' --> '<unk>'",
+      "replace   text[19:23] --> decoded_text[19:24]   '호날두와' --> '<unk>'",
+      "replace   text[24:28] --> decoded_text[25:30]   '이과인이' --> '<unk>'",
+      "replace   text[29:31] --> decoded_text[31:36]     '다시' --> '<unk>'",
+      "replace   text[32:34] --> decoded_text[37:42]     '주소' --> '<unk>'",
+      "replace   text[35:39] --> decoded_text[43:48]   '한솥밥을' --> '<unk>'",
+      "replace   text[40:42] --> decoded_text[49:54]     '먹는' --> '<unk>'",
+      "replace   text[43:45] --> decoded_text[55:60]     '일이' --> '<unk>'",
+      "replace   text[46:50] --> decoded_text[61:66]   '성사됐다' --> '<unk>'",
+      "replace   text[52:56] --> decoded_text[68:73]   '호날두가' --> '<unk>'",
+      "replace   text[58:59] --> decoded_text[75:80]      '빅' --> '<unk>'",
+      "replace   text[60:63] --> decoded_text[81:86]    '사이닝' --> '<unk>'",
+      "replace   text[64:65] --> decoded_text[87:92]      '을' --> '<unk>'",
+      "replace   text[66:68] --> decoded_text[93:98]     '통해' --> '<unk>'",
+      "replace   text[69:74] --> decoded_text[99:104]  '유벤투스로' --> '<unk>'",
+      "replace   text[75:78] --> decoded_text[105:110]    '옮겼기' --> '<unk>'",
+      "replace   text[79:83] --> decoded_text[111:116]   '때문이다' --> '<unk>'"
+    ],
+    "n_oov_chars": 62,
+    "oov_ratio": 0.7380952380952381,
+    "oov_charset": "[\"하\", \"지\", \"만\", \"이\", \"번\", \"황\", \"금\", \"의\", \"제\", \"국\", \"카\", \"노\", \"시\", \"즌\", \"호\", \"날\", \"두\", \"와\", \"과\", \"인\", \"다\", \"주\", \"소\", \"한\", \"솥\", \"밥\", \"을\", \"먹\", \"는\", \"일\", \"성\", \"사\", \"됐\", \"가\", \"빅\", \"닝\", \"통\", \"해\", \"유\", \"벤\", \"투\", \"스\", \"로\", \"옮\", \"겼\", \"기\", \"때\", \"문\"]"
+  },
+  {
+    "text": "현대캐피탈은삼성화재와 시범경기를 위해 홍천에 황금의제국카지노 주소 왔다.",
+    "decoded_text": "<unk> <unk> <unk> <unk> <unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[0:11] --> decoded_text[0:5] '현대캐피탈은삼성화재와' --> '<unk>'",
+      "replace   text[12:17] --> decoded_text[6:11]  '시범경기를' --> '<unk>'",
+      "replace   text[18:20] --> decoded_text[12:17]     '위해' --> '<unk>'",
+      "replace   text[21:24] --> decoded_text[18:23]    '홍천에' --> '<unk>'",
+      "replace   text[25:33] --> decoded_text[24:29] '황금의제국카지노' --> '<unk>'",
+      "replace   text[34:36] --> decoded_text[30:35]     '주소' --> '<unk>'",
+      "replace   text[37:39] --> decoded_text[36:41]     '왔다' --> '<unk>'"
+    ],
+    "n_oov_chars": 33,
+    "oov_ratio": 0.825,
+    "oov_charset": "[\"현\", \"대\", \"캐\", \"피\", \"탈\", \"은\", \"삼\", \"성\", \"화\", \"재\", \"와\", \"시\", \"범\", \"경\", \"기\", \"를\", \"위\", \"해\", \"홍\", \"천\", \"에\", \"황\", \"금\", \"의\", \"제\", \"국\", \"카\", \"지\", \"노\", \"주\", \"소\", \"왔\", \"다\"]"
+  },
+  {
+    "text": "사실자매가 나란히 앉아 인터뷰를 한다는 게 쑥스러울 법도 한데, 주소 둘 사이에는 어떤 거리낌도 없었다. 마치 하루에 한 번씩 만나는 친구 같은 느낌이 황금의제국카지노 강했다.",
+    "decoded_text": "<unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>, <unk> <unk> <unk> <unk> <unk> <unk>. <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[0:5] --> decoded_text[0:5]  '사실자매가' --> '<unk>'",
+      "replace   text[6:9] --> decoded_text[6:11]    '나란히' --> '<unk>'",
+      "replace   text[10:12] --> decoded_text[12:17]     '앉아' --> '<unk>'",
+      "replace   text[13:17] --> decoded_text[18:23]   '인터뷰를' --> '<unk>'",
+      "replace   text[18:21] --> decoded_text[24:29]    '한다는' --> '<unk>'",
+      "replace   text[22:23] --> decoded_text[30:35]      '게' --> '<unk>'",
+      "replace   text[24:28] --> decoded_text[36:41]   '쑥스러울' --> '<unk>'",
+      "replace   text[29:31] --> decoded_text[42:47]     '법도' --> '<unk>'",
+      "replace   text[32:34] --> decoded_text[48:53]     '한데' --> '<unk>'",
+      "replace   text[36:38] --> decoded_text[55:60]     '주소' --> '<unk>'",
+      "replace   text[39:40] --> decoded_text[61:66]      '둘' --> '<unk>'",
+      "replace   text[41:45] --> decoded_text[67:72]   '사이에는' --> '<unk>'",
+      "replace   text[46:48] --> decoded_text[73:78]     '어떤' --> '<unk>'",
+      "replace   text[49:53] --> decoded_text[79:84]   '거리낌도' --> '<unk>'",
+      "replace   text[54:57] --> decoded_text[85:90]    '없었다' --> '<unk>'",
+      "replace   text[59:61] --> decoded_text[92:97]     '마치' --> '<unk>'",
+      "replace   text[62:65] --> decoded_text[98:103]    '하루에' --> '<unk>'",
+      "replace   text[66:67] --> decoded_text[104:109]      '한' --> '<unk>'",
+      "replace   text[68:70] --> decoded_text[110:115]     '번씩' --> '<unk>'",
+      "replace   text[71:74] --> decoded_text[116:121]    '만나는' --> '<unk>'",
+      "replace   text[75:77] --> decoded_text[122:127]     '친구' --> '<unk>'",
+      "replace   text[78:80] --> decoded_text[128:133]     '같은' --> '<unk>'",
+      "replace   text[81:84] --> decoded_text[134:139]    '느낌이' --> '<unk>'",
+      "replace   text[85:93] --> decoded_text[140:145] '황금의제국카지노' --> '<unk>'",
+      "replace   text[94:97] --> decoded_text[146:151]    '강했다' --> '<unk>'"
+    ],
+    "n_oov_chars": 71,
+    "oov_ratio": 0.7244897959183674,
+    "oov_charset": "[\"사\", \"실\", \"자\", \"매\", \"가\", \"나\", \"란\", \"히\", \"앉\", \"아\", \"인\", \"터\", \"뷰\", \"를\", \"한\", \"다\", \"는\", \"게\", \"쑥\", \"스\", \"러\", \"울\", \"법\", \"도\", \"데\", \"주\", \"소\", \"둘\", \"이\", \"에\", \"어\", \"떤\", \"거\", \"리\", \"낌\", \"없\", \"었\", \"마\", \"치\", \"하\", \"루\", \"번\", \"씩\", \"만\", \"친\", \"구\", \"같\", \"은\", \"느\", \"황\", \"금\", \"의\", \"제\", \"국\", \"카\", \"지\", \"노\", \"강\", \"했\"]"
+  }
+]

stats/compression_rate/ClueAI.ChatYuan-large-v2 @ cc100.zh-Hans.diff.json

@@ -0,0 +1,157 @@
+[
+  {
+    "text": "卍招财带什么佛牌卍(www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的。近日，编辑专门联系到山西传奇北京现代汽车4S店得知，店内朗动车型有现车供应，现阶段购车可享受最高6000元优惠幅度，具体的车型和价格情况请见下表，同时感兴趣的朋友还可致电4008112233转3456详询：",
+    "decoded_text": "<unk>招财带什么佛牌<unk>(www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职,并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生,曾任通用汽车在中国合资公司的。近日,编辑专门联系到山西传奇北京现代汽车4S店得知,店内朗动车型有现车供应,现阶段购车可享受最高6000元优惠幅度,具体的车型和价格情况请见下表,同时感兴趣的朋友还可致电4008112233转3456详询:",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:5]      '卍' --> '<unk>'",
+      "replace   text[8:9] --> decoded_text[12:17]      '卍' --> '<unk>'",
+      "replace   text[57:58] --> decoded_text[65:66]      '，' --> ','",
+      "replace   text[95:96] --> decoded_text[103:104]      '，' --> ','",
+      "replace   text[113:114] --> decoded_text[121:122]      '，' --> ','",
+      "replace   text[136:137] --> decoded_text[144:145]      '，' --> ','",
+      "replace   text[148:149] --> decoded_text[156:157]      '，' --> ','",
+      "replace   text[168:169] --> decoded_text[176:177]      '，' --> ','",
+      "replace   text[183:184] --> decoded_text[191:192]      '，' --> ','",
+      "replace   text[213:214] --> decoded_text[221:222]      '：' --> ':'"
+    ],
+    "n_oov_chars": 10,
+    "oov_ratio": 0.04672897196261682,
+    "oov_charset": "[\"卍\", \"，\", \"：\"]"
+  },
+  {
+    "text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期，一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下，这对夫妇经历了惊心动魄的３小时，终于在飞机起飞前５分钟，登上返程的航班。",
+    "decoded_text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期,一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下,这对夫妇经历了惊心动魄的3小时,终于在飞机起飞前5分钟,登上返程的航班。",
+    "diff": [
+      "replace   text[51:52] --> decoded_text[51:52]      '，' --> ','",
+      "replace   text[87:88] --> decoded_text[87:88]      '，' --> ','",
+      "replace   text[100:101] --> decoded_text[100:101]      '３' --> '3'",
+      "replace   text[103:104] --> decoded_text[103:104]      '，' --> ','",
+      "replace   text[112:113] --> decoded_text[112:113]      '５' --> '5'",
+      "replace   text[115:116] --> decoded_text[115:116]      '，' --> ','"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.04838709677419355,
+    "oov_charset": "[\"，\", \"３\", \"５\"]"
+  },
+  {
+    "text": "招财带什么佛牌张德江在致辞中表示，中法建交开启了中法两个伟大国家友好关系的新纪元，树立了不同社会制度国家和平共处的新典范，对国际战略格局产生了重大而深远的影响。",
+    "decoded_text": "招财带什么佛牌张德江在致辞中表示,中法建交开启了中法两个伟大国家友好关系的新纪元,树立了不同社会制度国家和平共处的新典范,对国际战略格局产生了重大而深远的影响。",
+    "diff": [
+      "replace   text[16:17] --> decoded_text[16:17]      '，' --> ','",
+      "replace   text[40:41] --> decoded_text[40:41]      '，' --> ','",
+      "replace   text[60:61] --> decoded_text[60:61]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.0375,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "招财带什么佛牌科斯格罗夫一直供职于军队，曾被派往马来西亚、越南、英国、印度、美国工作。1999年，他成为联合国驻东帝汶部队司令，监督东帝汶向独立国家的过渡。",
+    "decoded_text": "招财带什么佛牌科斯格罗夫一直供职于军队,曾被派往马来西亚、越南、英国、印度、美国工作。1999年,他成为联合国驻东帝汶部队司令,监督东帝汶向独立国家的过渡。",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:20]      '，' --> ','",
+      "replace   text[48:49] --> decoded_text[48:49]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.038461538461538464,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "1月28日电据香港《明报》消息，在庆祝披头士进军美国音乐市场50周年的纪念日子，格莱美向两名仅存成员：保罗麦卡尼及灵高史达(RingoStarr)颁发终身成就奖，显得别具意义。为了隆重其事，大会请来金像影后茱莉亚••罗伯茨(JuliaRoberts)负责介绍二人出场，保罗在拍档的鼓声和应下，先献唱新歌《QueenieEye》，然后轮到后者演绎旧作《Photograph》，带领歌迷重温昔日的美好情怀。",
+    "decoded_text": "1月28日电据香港《明报》消息,在庆祝披头士进军美国音乐市场50周年的纪念日子,格莱美向两名仅存成员:保罗麦卡尼及灵高史达(RingoStarr)颁发终身成就奖,显得别具意义。为了隆重其事,大会请来金像影后茱莉亚••罗伯茨(JuliaRoberts)负责介绍二人出场,保罗在拍档的鼓声和应下,先献唱新歌《QueenieEye》,然后轮到后者演绎旧作《Photograph》,带领歌迷重温昔日的美好情怀。",
+    "diff": [
+      "replace   text[15:16] --> decoded_text[15:16]      '，' --> ','",
+      "replace   text[39:40] --> decoded_text[39:40]      '，' --> ','",
+      "replace   text[50:51] --> decoded_text[50:51]      '：' --> ':'",
+      "replace   text[80:81] --> decoded_text[80:81]      '，' --> ','",
+      "replace   text[94:95] --> decoded_text[94:95]      '，' --> ','",
+      "replace   text[133:134] --> decoded_text[133:134]      '，' --> ','",
+      "replace   text[145:146] --> decoded_text[145:146]      '，' --> ','",
+      "replace   text[163:164] --> decoded_text[163:164]      '，' --> ','",
+      "replace   text[186:187] --> decoded_text[186:187]      '，' --> ','"
+    ],
+    "n_oov_chars": 9,
+    "oov_ratio": 0.04477611940298507,
+    "oov_charset": "[\"，\", \"：\"]"
+  },
+  {
+    "text": "佛牌绳哪里有卖到达目的地后，记者全程的总车费是14元，但司机到账21元，因此，司机给记者7元，除去之前支付的1元，记者净赚6元，还免费乘了本应支付14元的车。",
+    "decoded_text": "佛牌绳哪里有卖到达目的地后,记者全程的总车费是14元,但司机到账21元,因此,司机给记者7元,除去之前支付的1元,记者净赚6元,还免费乘了本应支付14元的车。",
+    "diff": [
+      "replace   text[13:14] --> decoded_text[13:14]      '，' --> ','",
+      "replace   text[26:27] --> decoded_text[26:27]      '，' --> ','",
+      "replace   text[35:36] --> decoded_text[35:36]      '，' --> ','",
+      "replace   text[38:39] --> decoded_text[38:39]      '，' --> ','",
+      "replace   text[46:47] --> decoded_text[46:47]      '，' --> ','",
+      "replace   text[56:57] --> decoded_text[56:57]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.08860759493670886,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的副总裁，上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。(方赵春)",
+    "decoded_text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职,并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生,曾任通用汽车在中国合资公司的副总裁,上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。(方赵春)",
+    "diff": [
+      "replace   text[27:28] --> decoded_text[27:28]      '，' --> ','",
+      "replace   text[65:66] --> decoded_text[65:66]      '，' --> ','",
+      "replace   text[83:84] --> decoded_text[83:84]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.02608695652173913,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "大腕导演不可能每部作品都是你喜欢的东西，如果他一时控制不住情绪，就让他骂吧。他也是人，不是神，人就有自己的脾气。他这次执导春晚，对我也开骂：“老毕，我跟你说了这么长时间，让你走2号位，你非要走1号位，你想跟我较死劲是不是？”这也是骂人。但因为你非常了解他，他也不一定有恶意。",
+    "decoded_text": "大腕导演不可能每部作品都是你喜欢的东西,如果他一时控制不住情绪,就让他骂吧。他也是人,不是神,人就有自己的脾气。他这次执导春晚,对我也开骂:“老毕,我跟你说了这么长时间,让你走2号位,你非要走1号位,你想跟我较死劲是不是?”这也是骂人。但因为你非常了解他,他也不一定有恶意。",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:20]      '，' --> ','",
+      "replace   text[31:32] --> decoded_text[31:32]      '，' --> ','",
+      "replace   text[42:43] --> decoded_text[42:43]      '，' --> ','",
+      "replace   text[46:47] --> decoded_text[46:47]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','",
+      "replace   text[69:70] --> decoded_text[69:70]      '：' --> ':'",
+      "replace   text[73:74] --> decoded_text[73:74]      '，' --> ','",
+      "replace   text[84:85] --> decoded_text[84:85]      '，' --> ','",
+      "replace   text[91:92] --> decoded_text[91:92]      '，' --> ','",
+      "replace   text[99:100] --> decoded_text[99:100]      '，' --> ','",
+      "replace   text[110:111] --> decoded_text[110:111]      '？' --> '?'",
+      "replace   text[127:128] --> decoded_text[127:128]      '，' --> ','"
+    ],
+    "n_oov_chars": 12,
+    "oov_ratio": 0.08759124087591241,
+    "oov_charset": "[\"，\", \"：\", \"？\"]"
+  },
+  {
+    "text": "招财带什么佛牌不过挣得多，娜姐也花得多。有媒体报道，教练卡洛斯的年薪高达360万元人民币，李娜每年的花费是600多万元。用一个形象的比喻，娜姐每天一睁眼，将近2万元就出去了。",
+    "decoded_text": "招财带什么佛牌不过挣得多,娜姐也花得多。有媒体报道,教练卡洛斯的年薪高达360万元人民币,李娜每年的花费是600多万元。用一个形象的比喻,娜姐每天一睁眼,将近2万元就出去了。",
+    "diff": [
+      "replace   text[12:13] --> decoded_text[12:13]      '，' --> ','",
+      "replace   text[25:26] --> decoded_text[25:26]      '，' --> ','",
+      "replace   text[44:45] --> decoded_text[44:45]      '，' --> ','",
+      "replace   text[68:69] --> decoded_text[68:69]      '，' --> ','",
+      "replace   text[76:77] --> decoded_text[76:77]      '，' --> ','"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.05747126436781609,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "“金庸的小说《连城诀》里有一个反派人物‘血刀老祖’，一般的坏人做坏事都是心虚的，但是这个人物却做得心安理得，理直气壮，我遇到的这个的哥就是这样。”王先生向记者描述经过时第一句话便这样说。原来，昨日王先生在搭出租车时，遇到的的哥不仅“拾金而昧”，还“昧”得理直气壮。",
+    "decoded_text": "“金庸的小说《连城诀》里有一个反派人物‘血刀老祖’,一般的坏人做坏事都是心虚的,但是这个人物却做得心安理得,理直气壮,我遇到的这个的哥就是这样。”王先生向记者描述经过时第一句话便这样说。原来,昨日王先生在搭出租车时,遇到的的哥不仅“拾金而昧”,还“昧”得理直气壮。",
+    "diff": [
+      "replace   text[25:26] --> decoded_text[25:26]      '，' --> ','",
+      "replace   text[39:40] --> decoded_text[39:40]      '，' --> ','",
+      "replace   text[53:54] --> decoded_text[53:54]      '，' --> ','",
+      "replace   text[58:59] --> decoded_text[58:59]      '，' --> ','",
+      "replace   text[95:96] --> decoded_text[95:96]      '，' --> ','",
+      "replace   text[107:108] --> decoded_text[107:108]      '，' --> ','",
+      "replace   text[121:122] --> decoded_text[121:122]      '，' --> ','"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.05303030303030303,
+    "oov_charset": "[\"，\"]"
+  }
+]

stats/compression_rate/ClueAI.PromptCLUE-base @ cc100.ar.diff.json

@@ -0,0 +1,177 @@
+[
+  {
+    "text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة .. ( 1)",
+    "decoded_text": "- الل<unk>ا<unk> / <unk>ل<unk> <unk> ال<unk>لا<unk> - <unk> <unk>ا<unk>.. ( 1)",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:10]      'و' --> '<unk>'",
+      "replace   text[7:8] --> decoded_text[11:16]      'ء' --> '<unk>'",
+      "replace   text[11:12] --> decoded_text[19:24]      'ع' --> '<unk>'",
+      "replace   text[13:14] --> decoded_text[25:30]      'ي' --> '<unk>'",
+      "replace   text[15:19] --> decoded_text[31:36]   'محمد' --> '<unk>'",
+      "replace   text[22:24] --> decoded_text[39:44]     'كح' --> '<unk>'",
+      "replace   text[26:28] --> decoded_text[46:51]     'ني' --> '<unk>'",
+      "replace   text[31:36] --> decoded_text[54:59]  'نصيحة' --> '<unk>'",
+      "replace   text[37:38] --> decoded_text[60:65]      'ص' --> '<unk>'",
+      "replace   text[39:43] --> decoded_text[66:71]   'دقة ' --> '<unk>'"
+    ],
+    "n_oov_chars": 21,
+    "oov_ratio": 0.42,
+    "oov_charset": "[\"و\", \"ء\", \"ع\", \"ي\", \"م\", \"ح\", \"د\", \"ك\", \"ن\", \"ص\", \"ة\", \"ق\"]"
+  },
+  {
+    "text": "اليمن جنوبها وشمالها.. شرقها وغربها وقفت على مشارف العام الثامن والعشرين من استعادة وضعها الطبيعي, ومن حياتها الاعتيادية الطبيعية في 22مايو العام 1990م.. بكل تأكيد قد تنهدت من أعماق أعماقها ألماً وأسىً لما وصل إليه حال أبنائها من اقتتال ومن احتراب, ومن اضطراب في نسيجها الاجتماعي, ومن انصياع من بعض أبنائها لإملاءات الغير ولحساباتهم.. ووسط هذه المأساة لم تعدم هذه الأرض الطيبة من بقايا أمل, ومن بقايا حكمة مازالت تميز أبناء هذا الشعب الطيب لأن اليمانيين في العام 1990م فاجأوا العالم بوحدتهم حين كان العالم منغمساً في الانقسام, وحينما كانت الأنظمة تتبعثر كان اليمن يقدم النموذج في تلك الظروف الاستثنائية.. وكان اندفاع اليمنيين شمالاً وجنوباً نحو الوحدة طوعياً وبمستوى عالٍ من الحكمة ونكران الذات وتغليب المصلحة العليا عن أية مصالح أخرى سواءً كانت ذاتية أو حسابات جهوية أو أية مصالح أخرى, عدا مصلحة اليمن الواحد الموحد.. مصلحة الإيثار ونحن نعتقد أن مرحلة التسعينات من القرن العشرين التي (تردف) كل مشكلات العقود التي سبقته كانت محورية في تاريخ المنطقة وفي تاريخ اليمن..",
+    "decoded_text": "ال<unk> <unk>ا <unk>ال<unk>ا.. <unk>ا <unk>ا <unk> <unk>ل<unk> <unk>ا<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk>ال<unk> <unk> ا<unk>ا<unk> <unk>ا ال<unk>, <unk> <unk>ا<unk>ا الا<unk>ا<unk> ال<unk> <unk> 22<unk>ا<unk> ال<unk>ا<unk> 1990<unk>.. <unk>ل <unk> <unk> <unk> <unk> <unk>ا<unk> <unk>ا<unk>ا <unk>ل<unk>ا<unk> <unk> ل<unk>ا <unk>ل <unk>ل<unk> <unk>ال <unk>ا<unk>ا <unk> ا<unk>ال <unk> ا<unk>ا<unk>, <unk> ا<unk>ا<unk> <unk> <unk>ا الا<unk>ا<unk>, <unk> ا<unk>ا<unk> <unk> <unk> <unk>ا<unk>ا ل<unk>لا<unk>ا<unk> ال<unk> <unk>ل<unk>ا<unk>ا<unk>.. <unk> <unk> ال<unk>ا<unk> ل<unk> <unk> <unk> ال<unk> ال<unk> <unk> <unk>ا<unk>ا <unk>ل, <unk> <unk>ا<unk>ا <unk> <unk>ا<unk>ال<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> ال<unk> ل<unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk> 1990<unk> <unk>ا<unk>ا ال<unk>ال<unk> <unk> <unk> <unk>ا<unk> ال<unk>ال<unk> <unk>ا<unk> <unk> الا<unk>ا<unk>, <unk>ا <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk> <unk> ال<unk> <unk> <unk>ل<unk> ال<unk> الا<unk>ا<unk>.. <unk>ا<unk> ا<unk>ا<unk> ال<unk> <unk>الا<unk> <unk>ا<unk> <unk> ال<unk> <unk>ا<unk> <unk> <unk>ال<unk> <unk> ال<unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> ال<unk>ل<unk> ال<unk>ل<unk>ا <unk> <unk> <unk>ال<unk> <unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk> <unk> <unk>ا<unk>ا<unk> <unk> <unk> <unk> <unk>ال<unk> <unk>, <unk>ا <unk>ل<unk> ال<unk> ال<unk>ا<unk> ال<unk>.. <unk>ل<unk> ال<unk>ا<unk> <unk> <unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk> ال<unk> ال<unk> ال<unk> (<unk>) <unk>ل <unk>لا<unk> ال<unk> ال<unk> <unk> <unk>ا<unk> <unk> <unk> <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk>..",
+    "diff": [
+      "replace   text[2:19] --> decoded_text[2:27] 'يمن جنوبها وشماله' --> '<unk> <unk>ا <unk>ال<unk>'",
+      "replace   text[23:97] --> decoded_text[31:149] 'شرقها وغربها وقفت على مشارف العام الثامن والعشرين من استعادة و��عها الطبيعي' --> '<unk>ا <unk>ا <unk> <unk>ل<unk> <unk>ا<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk>ال<unk> <unk> ا<unk>ا<unk> <unk>ا ال<unk>'",
+      "replace   text[99:132] --> decoded_text[151:198] 'ومن حياتها الاعتيادية الطبيعية في' --> '<unk> <unk>ا<unk>ا الا<unk>ا<unk> ال<unk> <unk>'",
+      "replace   text[135:145] --> decoded_text[201:226] 'مايو العام' --> '<unk>ا<unk> ال<unk>ا<unk>'",
+      "replace   text[150:151] --> decoded_text[231:236]      'م' --> '<unk>'",
+      "replace   text[154:247] --> decoded_text[239:400] 'بكل تأكيد قد تنهدت من أعماق أعماقها ألماً وأسىً لما وصل إليه حال أبنائها من اقتتال ومن احتراب' --> '<unk>ل <unk> <unk> <unk> <unk> <unk>ا<unk> <unk>ا<unk>ا <unk>ل<unk>ا<unk> <unk> ل<unk>ا <unk>ل <unk>ل<unk> <unk>ال <unk>ا<unk>ا <unk> ا<unk>ال <unk> ا<unk>ا<unk>'",
+      "replace   text[249:279] --> decoded_text[402:448] 'ومن اضطراب في نسيجها الاجتماعي' --> '<unk> ا<unk>ا<unk> <unk> <unk>ا الا<unk>ا<unk>'",
+      "replace   text[281:332] --> decoded_text[450:545] 'ومن انصياع من بعض أبنائها لإملاءات الغير ولحساباتهم' --> '<unk> ا<unk>ا<unk> <unk> <unk> <unk>ا<unk>ا ل<unk>لا<unk>ا<unk> ال<unk> <unk>ل<unk>ا<unk>ا<unk>'",
+      "replace   text[335:388] --> decoded_text[548:633] 'ووسط هذه المأساة لم تعدم هذه الأرض الطيبة من بقايا أم' --> '<unk> <unk> ال<unk>ا<unk> ل<unk> <unk> <unk> ال<unk> ال<unk> <unk> <unk>ا<unk>ا <unk>'",
+      "replace   text[391:462] --> decoded_text[636:761] 'ومن بقايا حكمة مازالت تميز أبناء هذا الشعب الطيب لأن اليمانيين في العام' --> '<unk> <unk>ا<unk>ا <unk> <unk>ا<unk>ال<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> ال<unk> ل<unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk>'",
+      "replace   text[467:525] --> decoded_text[766:871] 'م فاجأوا العالم بوحدتهم حين كان العالم منغمساً في الانقسام' --> '<unk> <unk>ا<unk>ا ال<unk>ال<unk> <unk> <unk> <unk>ا<unk> ال<unk>ال<unk> <unk>ا<unk> <unk> الا<unk>ا<unk>'",
+      "replace   text[527:602] --> decoded_text[873:980] 'وحينما كانت الأنظمة تتبعثر كان اليمن يقدم النموذج في تلك الظروف الاستثنائية' --> '<unk>ا <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk> <unk> ال<unk> <unk> <unk>ل<unk> ال<unk> الا<unk>ا<unk>'",
+      "replace   text[605:785] --> decoded_text[983:1295] 'وكان اندفاع اليمنيين شمالاً وجنوباً نحو الوحدة طوعياً وبمستوى عالٍ من الحكمة ونكران الذات وتغليب المصلحة العليا عن أية مصالح أخرى سواءً كانت ذاتية أو حسابات جهوية أو أية مصالح أخرى' --> '<unk>ا<unk> ا<unk>ا<unk> ال<unk> <unk>الا<unk> <unk>ا<unk> <unk> ال<unk> <unk>ا<unk> <unk> <unk>ال<unk> <unk> ال<unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> ال<unk>ل<unk> ال<unk>ل<unk>ا <unk> <unk> <unk>ال<unk> <unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk> <unk> <unk>ا<unk>ا<unk> <unk> <unk> <unk> <unk>ال<unk> <unk>'",
+      "replace   text[787:816] --> decoded_text[1297:1345] 'عدا مصلحة اليمن الواحد الموحد' --> '<unk>ا <unk>ل<unk> ال<unk> ال<unk>ا<unk> ال<unk>'",
+      "replace   text[819:884] --> decoded_text[1348:1447] 'مصلحة الإيثار ونحن نعتقد أن مرحلة التسعينات من القرن العشرين التي' --> '<unk>ل<unk> ال<unk>ا<unk> <unk> <unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk> ال<unk> ال<unk> ال<unk>'",
+      "replace   text[886:890] --> decoded_text[1449:1454]   'تردف' --> '<unk>'",
+      "replace   text[892:964] --> decoded_text[1456:1567] 'كل مشكلات العقود التي سبقته كانت محورية في تاريخ المنطقة وفي تاريخ اليمن' --> '<unk>ل <unk>لا<unk> ال<unk> ال<unk> <unk> <unk>ا<unk> <unk> <unk> <unk>ا<unk> ال<unk> <unk> <unk>ا<unk> ال<unk>'"
+    ],
+    "n_oov_chars": 567,
+    "oov_ratio": 0.5869565217391305,
+    "oov_charset": "[\"ي\", \"م\", \"ن\", \"ج\", \"و\", \"ب\", \"ه\", \"ش\", \"ر\", \"ق\", \"غ\", \"ف\", \"ت\", \"ع\", \"ى\", \"ث\", \"س\", \"د\", \"ة\", \"ض\", \"ط\", \"ح\", \"ك\", \"أ\", \"ً\", \"ص\", \"إ\", \"ئ\", \"ء\", \"ذ\", \"ز\", \"ظ\", \"ٍ\", \"خ\"]"
+  },
+  {
+    "text": "واليوم وبعد أن جرت مياه كثيرة وتدفقت من تحت الجسر, وما شهدته البلد من مواقف عديدة, فإن الحكمة اليمانية توجب على أبناء اليمن أياً كانت تياراتهم السياسية, أو انتماءاتهم المناطقية أو القبلية أو الجهوية, أن يستذكروا جيداً ما وصفهم به رسول العالمين محمد بن عبدالله عليه أفضل الصلوات والتسليم وعلى آله الأخيار الأطهار بأنهم أهل حكمة وأهل إيمان..",
+    "decoded_text": "<unk>ال<unk> <unk> <unk> <unk> <unk>ا<unk> <unk> <unk> <unk> <unk> ال<unk>, <unk>ا <unk> ال<unk>ل<unk> <unk> <unk>ا<unk> <unk>, <unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل<unk> <unk>ا<unk> ال<unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk>ا<unk> ال<unk>ا<unk>, <unk> ا<unk>ا<unk>ا<unk> ال<unk>ا<unk> <unk> ال<unk>ل<unk> <unk> ال<unk>, <unk> <unk>ا <unk>ا<unk> <unk>ا <unk> <unk> <unk>ل ال<unk>ال<unk> <unk> <unk> <unk>الل<unk> <unk>ل<unk> <unk>ل ال<unk>ل<unk>ا<unk> <unk>ال<unk>ل<unk> <unk>ل<unk> <unk>ل<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ل <unk>ا<unk>..",
+    "diff": [
+      "replace   text[0:49] --> decoded_text[0:74] 'واليوم وبعد أن جرت مياه كثيرة وتدفقت من تحت الجسر' --> '<unk>ال<unk> <unk> <unk> <unk> <unk>ا<unk> <unk> <unk> <unk> <unk> ال<unk>'",
+      "replace   text[51:81] --> decoded_text[76:126] 'وما شهدته البلد من مواقف عديدة' --> '<unk>ا <unk> ال<unk>ل<unk> <unk> <unk>ا<unk> <unk>'",
+      "replace   text[83:151] --> decoded_text[128:249] 'فإن الحكمة اليمانية توجب على أبناء اليمن أياً كانت تياراتهم السياسية' --> '<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل<unk> <unk>ا<unk> ال<unk> <unk>ا<unk> <unk>ا<unk> <unk>ا<unk>ا<unk> ال<unk>ا<unk>'",
+      "replace   text[153:198] --> decoded_text[251:323] 'أو انتماءاتهم المناطقية أو القبلية أو الجهوية' --> '<unk> ا<unk>ا<unk>ا<unk> ال<unk>ا<unk> <unk> ال<unk>ل<unk> <unk> ال<unk>'",
+      "replace   text[200:337] --> decoded_text[325:564] 'أن يستذكروا جيداً ما وصفهم به رسول العالمين محمد بن عبدالله عليه أفضل الصلوات والتسليم وعلى آله الأخيار الأطهار بأنهم أهل حكمة وأهل إيمان' --> '<unk> <unk>ا <unk>ا<unk> <unk>ا <unk> <unk> <unk>ل ال<unk>ال<unk> <unk> <unk> <unk>الل<unk> <unk>ل<unk> <unk>ل ال<unk>ل<unk>ا<unk> <unk>ال<unk>ل<unk> <unk>ل<unk> <unk>ل<unk> ال<unk>ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ل <unk>ا<unk>'"
+    ],
+    "n_oov_chars": 208,
+    "oov_ratio": 0.6135693215339233,
+    "oov_charset": "[\"و\", \"ي\", \"م\", \"ب\", \"ع\", \"د\", \"أ\", \"ن\", \"ج\", \"ر\", \"ت\", \"ه\", \"ك\", \"ث\", \"ة\", \"ف\", \"ق\", \"ح\", \"س\", \"ش\", \"إ\", \"ى\", \"ء\", \"ً\", \"ط\", \"ذ\", \"ص\", \"ض\", \"آ\", \"خ\"]"
+  },
+  {
+    "text": "وكلام الرسول وأحاديثه ما هي إلا وحي من الله.. بمعنى أن العمل بما قاله الرسول الأعظم هو مسؤولية أخلاقية ودينية ومسؤولية سياسية..",
+    "decoded_text": "<unk>لا<unk> ال<unk>ل <unk>ا<unk> <unk>ا <unk> <unk>لا <unk> <unk> الل<unk>.. <unk> <unk> ال<unk>ل <unk>ا <unk>ال<unk> ال<unk>ل ال<unk> <unk> <unk>ل<unk> <unk>لا<unk> <unk> <unk>ل<unk> <unk>ا<unk>..",
+    "diff": [
+      "replace   text[0:2] --> decoded_text[0:5]     'وك' --> '<unk>'",
+      "replace   text[4:5] --> decoded_text[7:12]      'م' --> '<unk>'",
+      "replace   text[8:11] --> decoded_text[15:20]    'رسو' --> '<unk>'",
+      "replace   text[13:16] --> decoded_text[22:27]    'وأح' --> '<unk>'",
+      "replace   text[17:21] --> decoded_text[28:33]   'ديثه' --> '<unk>'",
+      "replace   text[22:23] --> decoded_text[34:39]      'م' --> '<unk>'",
+      "replace   text[25:27] --> decoded_text[41:46]     'هي' --> '<unk>'",
+      "replace   text[28:29] --> decoded_text[47:52]      'إ' --> '<unk>'",
+      "replace   text[32:35] --> decoded_text[55:60]    'وحي' --> '<unk>'",
+      "replace   text[36:38] --> decoded_text[61:66]     'من' --> '<unk>'",
+      "replace   text[42:43] --> decoded_text[70:75]      'ه' --> '<unk>'",
+      "replace   text[46:51] --> decoded_text[78:83]  'بمعنى' --> '<unk>'",
+      "replace   text[52:54] --> decoded_text[84:89]     'أن' --> '<unk>'",
+      "replace   text[57:59] --> decoded_text[92:97]     'عم' --> '<unk>'",
+      "replace   text[61:63] --> decoded_text[99:104]     'بم' --> '<unk>'",
+      "replace   text[65:66] --> decoded_text[106:111]      'ق' --> '<unk>'",
+      "replace   text[68:69] --> decoded_text[113:118]      'ه' --> '<unk>'",
+      "replace   text[72:75] --> decoded_text[121:126]    'رسو' --> '<unk>'",
+      "replace   text[79:83] --> decoded_text[130:135]   'أعظم' --> '<unk>'",
+      "replace   text[84:86] --> decoded_text[136:141]     'هو' --> '<unk>'",
+      "replace   text[87:91] --> decoded_text[142:147]   'مسؤو' --> '<unk>'",
+      "replace   text[92:94] --> decoded_text[148:153]     'ية' --> '<unk>'",
+      "replace   text[95:97] --> decoded_text[154:159]     'أخ' --> '<unk>'",
+      "replace   text[99:102] --> decoded_text[161:166]    'قية' --> '<unk>'",
+      "replace   text[103:109] --> decoded_text[167:172] 'ودينية' --> '<unk>'",
+      "replace   text[110:115] --> decoded_text[173:178]  'ومسؤو' --> '<unk>'",
+      "replace   text[116:118] --> decoded_text[179:184]     'ية' --> '<unk>'",
+      "replace   text[119:121] --> decoded_text[185:190]     'سي' --> '<unk>'",
+      "replace   text[122:125] --> decoded_text[191:196]    'سية' --> '<unk>'"
+    ],
+    "n_oov_chars": 74,
+    "oov_ratio": 0.5826771653543307,
+    "oov_charset": "[\"و\", \"ك\", \"م\", \"ر\", \"س\", \"أ\", \"ح\", \"د\", \"ي\", \"ث\", \"ه\", \"إ\", \"ن\", \"ب\", \"ع\", \"ى\", \"ق\", \"ظ\", \"ؤ\", \"ة\", \"خ\"]"
+  },
+  {
+    "text": "فهل أوضاع اليمنيين القائمة هي نتاج حكمة, وهل من الحكمة أن تظل البندقية والقذيفة هي وسيلة الخطاب والحوار فيما بيننا نحن أبناء هذا البلد العظيم..",
+    "decoded_text": "<unk>ل <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ا<unk> <unk>, <unk>ل <unk> ال<unk> <unk> <unk>ل ال<unk> <unk>ال<unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ا <unk>ا <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> ال<unk>..",
+    "diff": [
+      "replace   text[0:39] --> decoded_text[0:64] 'فهل أوضاع اليمنيين القائمة هي نتاج حكمة' --> '<unk>ل <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ا<unk> <unk>'",
+      "replace   text[41:141] --> decoded_text[66:232] 'وهل من الحكمة أن تظل البندقية والقذيفة هي وسيلة الخطاب والحوار فيما بيننا نحن أبناء هذا البلد العظيم' --> '<unk>ل <unk> ال<unk> <unk> <unk>ل ال<unk> <unk>ال<unk> <unk> <unk>ل<unk> ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ا <unk>ا <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> ال<unk>'"
+    ],
+    "n_oov_chars": 84,
+    "oov_ratio": 0.5874125874125874,
+    "oov_charset": "[\"ف\", \"ه\", \"أ\", \"و\", \"ض\", \"ع\", \"ي\", \"م\", \"ن\", \"ق\", \"ئ\", \"ة\", \"ت\", \"ج\", \"ح\", \"ك\", \"ظ\", \"ب\", \"د\", \"ذ\", \"س\", \"خ\", \"ط\", \"ر\", \"ء\"]"
+  },
+  {
+    "text": "وهل الانسياق نحو مزيدٍ من العناد ومزيدٍ من الاحتقان, ومزيدٍ من الاحتراب بين أبناء بلد واحد وشعب واحد يرضى الله ورسوله الكريم عليه صلاة الله وسلامه وعلى آله..",
+    "decoded_text": "<unk>ل الا<unk>ا<unk> <unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk> الا<unk>ا<unk>, <unk> <unk> الا<unk>ا<unk> <unk> <unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk> الل<unk> <unk>ل<unk> ال<unk> <unk>ل<unk> <unk>لا<unk> الل<unk> <unk>لا<unk> <unk>ل<unk> <unk>ل<unk>..",
+    "diff": [
+      "replace   text[0:51] --> decoded_text[0:80] 'وهل الانسياق نحو مزيدٍ من العناد ومزيدٍ من الاحتقان' --> '<unk>ل الا<unk>ا<unk> <unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk> الا<unk>ا<unk>'",
+      "replace   text[53:155] --> decoded_text[82:274] 'ومزيدٍ من الاحتراب بين أبناء بلد واحد وشعب واحد يرضى الله ورسوله الكريم عليه صلاة الله وسلامه وعلى آله' --> '<unk> <unk> الا<unk>ا<unk> <unk> <unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk> الل<unk> <unk>ل<unk> ال<unk> <unk>ل<unk> <unk>لا<unk> الل<unk> <unk>لا<unk> <unk>ل<unk> <unk>ل<unk>'"
+    ],
+    "n_oov_chars": 91,
+    "oov_ratio": 0.5796178343949044,
+    "oov_charset": "[\"و\", \"ه\", \"ن\", \"س\", \"ي\", \"ق\", \"ح\", \"م\", \"ز\", \"د\", \"ٍ\", \"ع\", \"ت\", \"ر\", \"ب\", \"أ\", \"ء\", \"ش\", \"ض\", \"ى\", \"ك\", \"ص\", \"ة\", \"آ\"]"
+  },
+  {
+    "text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "decoded_text": "<unk>ا لا ا<unk> <unk> <unk>ا<unk>لا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> <unk>ل <unk> <unk> <unk>ا <unk> <unk>.. <unk> <unk>ل ال<unk>- <unk> <unk>ل<unk> <unk>لا<unk> <unk>ال<unk>, <unk>ل<unk> <unk>لال, <unk> <unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk>ا, <unk>ل <unk>ال<unk> <unk>ا<unk> <unk>ل<unk>ا<unk> <unk> <unk> <unk>ل<unk> <unk> ل<unk>ا<unk>..",
+    "diff": [
+      "replace   text[0:67] --> decoded_text[0:118] 'أنا لا اعتقد أن عاقلاً من بناء هذا البلد يق��ل أو يستسيغ ما يجري فيه' --> '<unk>ا لا ا<unk> <unk> <unk>ا<unk>لا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk>ل<unk> <unk>ل <unk> <unk> <unk>ا <unk> <unk>'",
+      "replace   text[70:84] --> decoded_text[121:141] 'أن يتحول اليمن' --> '<unk> <unk>ل ال<unk>'",
+      "replace   text[86:107] --> decoded_text[143:186] 'وهو بلد ولاَّد بالخير' --> '<unk> <unk>ل<unk> <unk>لا<unk> <unk>ال<unk>'",
+      "replace   text[109:115] --> decoded_text[188:205] 'إلى أط' --> '<unk>ل<unk> <unk>'",
+      "replace   text[120:174] --> decoded_text[210:297] 'وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضه' --> '<unk> <unk> <unk>ا<unk> ال<unk>ا<unk> <unk>ل<unk> <unk> <unk> ال<unk>ا<unk> <unk> <unk>'",
+      "replace   text[177:224] --> decoded_text[300:392] 'بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه' --> '<unk>ل <unk>ال<unk> <unk>ا<unk> <unk>ل<unk>ا<unk> <unk> <unk> <unk>ل<unk> <unk> ل<unk>ا<unk>'"
+    ],
+    "n_oov_chars": 132,
+    "oov_ratio": 0.584070796460177,
+    "oov_charset": "[\"أ\", \"ن\", \"ع\", \"ت\", \"ق\", \"د\", \"ً\", \"م\", \"ب\", \"ء\", \"ه\", \"ذ\", \"ي\", \"و\", \"س\", \"غ\", \"ج\", \"ر\", \"ف\", \"ح\", \"ّ\", \"َ\", \"خ\", \"إ\", \"ى\", \"ط\", \"ض\", \"ؤ\", \"ئ\", \"ش\", \"ك\", \"ة\"]"
+  },
+  {
+    "text": "اليمن أنهك من العدوان ومن الحصار حتى أولئك الذين يظنون أنهم بعيدون عن التأثيرات المباشرة للعدوان, لم يسلموا ولن يسلموا.. والأعباء والمتاعب طالت الجميع, وإن ظل الصمت والانجرار خلف مواقف تخدم أعداء هذا الشعب فإن المستقبل سيكون قاتماً وأضراره ستظل تلاحق الأجيال اليمنية جيلاً بعد جيل, وسيكون أعداء هذا الشعب هم المستفيدون الفعليون فهل غابت منا الحكمة حتى ننزلق لنكون أدوات بأيدي الرياض أو الدوحة, أو أبوظبي..؟!",
+    "decoded_text": "ال<unk> <unk> <unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk> <unk> <unk>ل<unk> ال<unk> <unk> <unk> <unk> <unk> ال<unk>ا<unk> ال<unk>ا<unk> لل<unk>ا<unk>, ل<unk> <unk>ل<unk>ا <unk>ل<unk> <unk>ل<unk>ا.. <unk>ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ال<unk> ال<unk>, <unk> <unk>ل ال<unk> <unk>الا<unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk>ل <unk> <unk>ا<unk>ا<unk> <unk>ا<unk> <unk>ل <unk>لا<unk> ال<unk>ال ال<unk> <unk>لا<unk> <unk> <unk>ل, <unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk> ال<unk>ل<unk> <unk>ل <unk>ا<unk> <unk>ا ال<unk> <unk> <unk>ل<unk> ل<unk> <unk>ا<unk> <unk> ال<unk>ا<unk> <unk> ال<unk>, <unk> <unk>..<unk>!",
+    "diff": [
+      "replace   text[2:96] --> decoded_text[2:145] 'يمن أنهك من العدوان ومن الحصار حتى أولئك الذين يظنون أنهم بعيدون عن التأثيرات المباشرة للعدوان' --> '<unk> <unk> <unk> ال<unk>ا<unk> <unk> ال<unk>ا<unk> <unk> <unk>ل<unk> ال<unk> <unk> <unk> <unk> <unk> ال<unk>ا<unk> ال<unk>ا<unk> لل<unk>ا<unk>'",
+      "replace   text[99:117] --> decoded_text[148:190] 'م يسلموا ولن يسلمو' --> '<unk> <unk>ل<unk>ا <unk>ل<unk> <unk>ل<unk>'",
+      "replace   text[121:150] --> decoded_text[194:252] 'والأعباء والمتاعب طالت الجميع' --> '<unk>ال<unk>ا<unk> <unk>ال<unk>ا<unk> <unk>ال<unk> ال<unk>'",
+      "replace   text[152:279] --> decoded_text[254:465] 'وإن ظل الصمت والانجرار خلف مواقف تخدم أعداء هذا الشعب فإن المستقبل سيكون قاتماً وأضراره ستظل تلاحق الأجيال اليمنية جيلاً بعد جي' --> '<unk> <unk>ل ال<unk> <unk>الا<unk>ا<unk> <unk>ل<unk> <unk>ا<unk> <unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk>ل <unk> <unk>ا<unk>ا<unk> <unk>ا<unk> <unk>ل <unk>لا<unk> ال<unk>ال ال<unk> <unk>لا<unk> <unk> <unk>'",
+      "replace   text[282:392] --> decoded_text[468:633] 'وسيكون أعداء هذا الشعب هم المستفيدون الفعليون فهل غابت منا الحكمة حتى ننزلق لنكون أدوات بأيدي الرياض أو الدوحة' --> '<unk> <unk>ا<unk> <unk>ا ال<unk> <unk> ال<unk> ال<unk>ل<unk> <unk>ل <unk>ا<unk> <unk>ا ال<unk> <unk> <unk>ل<unk> ل<unk> <unk>ا<unk> <unk> ال<unk>ا<unk> <unk> ال<unk>'",
+      "replace   text[394:403] --> decoded_text[635:646] 'أو أبوظبي' --> '<unk> <unk>'",
+      "replace   text[405:406] --> decoded_text[648:653]      '؟' --> '<unk>'"
+    ],
+    "n_oov_chars": 243,
+    "oov_ratio": 0.597051597051597,
+    "oov_charset": "[\"ي\", \"م\", \"ن\", \"أ\", \"ه\", \"ك\", \"ع\", \"د\", \"و\", \"ح\", \"ص\", \"ر\", \"ت\", \"ى\", \"ئ\", \"ذ\", \"ظ\", \"ب\", \"ث\", \"ش\", \"ة\", \"س\", \"ء\", \"ط\", \"ج\", \"إ\", \"خ\", \"ف\", \"ق\", \"ً\", \"ض\", \"غ\", \"ز\", \"؟\"]"
+  },
+  {
+    "text": "وهل انعكست المفاهيم ونحن نقبل بما يملى علينا من عواصم الفتنة ومن رموز قبلت أن تكون خادمة لأجندة غير عربية وغير إسلامية.. أجندة تباع فيها الضمائر وتباع فيها المواقف من أجل عين أصحاب البقرة الصفراء ومن أجل رضا أجهزة المخابرات في واشنطن وفي تل أبيب!!",
+    "decoded_text": "<unk>ل ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk>ل<unk> <unk>ل<unk>ا <unk> <unk>ا<unk> ال<unk> <unk> <unk> <unk>ل<unk> <unk> <unk> <unk>ا<unk> ل<unk> <unk> <unk> <unk> <unk>لا<unk>.. <unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk> ال<unk>ا<unk>ا<unk> <unk> <unk>ا<unk> <unk> <unk>ل <unk>!!",
+    "diff": [
+      "replace   text[0:118] --> decoded_text[0:184] 'وهل انعكست المفاهيم ونحن نقبل بما يملى علينا من عواصم الفتنة ومن رموز قبلت أن تكون خادمة لأجندة غير عربية وغير إسلامية' --> '<unk>ل ا<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk>ل<unk> <unk>ل<unk>ا <unk> <unk>ا<unk> ال<unk> <unk> <unk> <unk>ل<unk> <unk> <unk> <unk>ا<unk> ل<unk> <unk> <unk> <unk> <unk>لا<unk>'",
+      "replace   text[121:245] --> decoded_text[187:394] 'أجندة تباع فيها الضمائر وتباع فيها المواقف من أجل عين أصحاب البقرة الصفراء ومن أجل رضا أجهزة المخابرات في واشنطن وفي تل أبيب' --> '<unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk>ا<unk> <unk>ا ال<unk>ا<unk> <unk> <unk>ل <unk> <unk>ا<unk> ال<unk> ال<unk>ا<unk> <unk> <unk>ل <unk>ا <unk> ال<unk>ا<unk>ا<unk> <unk> <unk>ا<unk> <unk> <unk>ل <unk>'"
+    ],
+    "n_oov_chars": 156,
+    "oov_ratio": 0.631578947368421,
+    "oov_charset": "[\"و\", \"ه\", \"ن\", \"ع\", \"ك\", \"س\", \"ت\", \"م\", \"ف\", \"ي\", \"ح\", \"ق\", \"ب\", \"ى\", \"ص\", \"ة\", \"ر\", \"ز\", \"أ\", \"خ\", \"د\", \"ج\", \"غ\", \"إ\", \"ض\", \"ئ\", \"ء\", \"ش\", \"ط\"]"
+  },
+  {
+    "text": "اليمن.. في هذه اللحظة الفارقة.. في هذه المرحلة الخطيرة مدمرة, ومحاصرة, ويباد أهلها وساكنوها.. اليمن أصابتها لعنة الارتزاق وابتلاها الله بقيادات يممت وجهها صوب أبو ظبي, وصوب الرياض, وصوب واشنطن..",
+    "decoded_text": "ال<unk>.. <unk> <unk> الل<unk> ال<unk>ا<unk>.. <unk> <unk> ال<unk>ل<unk> ال<unk> <unk>, <unk>ا<unk>, <unk>ا<unk> <unk>ل<unk>ا <unk>ا<unk>ا.. ال<unk> <unk>ا<unk>ا ل<unk> الا<unk>ا<unk> <unk>ا<unk>لا<unk>ا الل<unk> <unk>ا<unk>ا<unk> <unk> <unk>ا <unk> <unk> <unk>, <unk> ال<unk>ا<unk>, <unk> <unk>ا<unk>..",
+    "diff": [
+      "replace   text[2:60] --> decoded_text[2:86] 'يمن.. في هذه اللحظة الفارقة.. في هذه المرحلة الخطيرة مدمرة' --> '<unk>.. <unk> <unk> الل<unk> ال<unk>ا<unk>.. <unk> <unk> ال<unk>ل<unk> ال<unk> <unk>'",
+      "replace   text[62:69] --> decoded_text[88:99] 'ومحاصرة' --> '<unk>ا<unk>'",
+      "replace   text[71:166] --> decoded_text[101:261] 'ويباد أهلها وساكنوها.. اليمن أصابتها لعنة الارتزاق وابتلاها الله بقيادات يممت وجهها صوب أبو ظبي' --> '<unk>ا<unk> <unk>ل<unk>ا <unk>ا<unk>ا.. ال<unk> <unk>ا<unk>ا ل<unk> الا<unk>ا<unk> <unk>ا<unk>لا<unk>ا الل<unk> <unk>ا<unk>ا<unk> <unk> <unk>ا <unk> <unk> <unk>'",
+      "replace   text[168:179] --> decoded_text[263:282] 'وصوب الرياض' --> '<unk> ال<unk>ا<unk>'",
+      "replace   text[181:194] --> decoded_text[284:303] 'وصوب واشنطن..' --> '<unk> <unk>ا<unk>..'"
+    ],
+    "n_oov_chars": 111,
+    "oov_ratio": 0.5721649484536082,
+    "oov_charset": "[\"ي\", \"م\", \"ن\", \"ف\", \"ه\", \"ذ\", \"ح\", \"ظ\", \"ة\", \"ر\", \"ق\", \"خ\", \"ط\", \"د\", \"و\", \"ص\", \"ب\", \"أ\", \"س\", \"ك\", \"ت\", \"ع\", \"ز\", \"ج\", \"ض\", \"ش\"]"
+  }
+]

stats/compression_rate/ClueAI.PromptCLUE-base @ cc100.de.diff.json

@@ -0,0 +1,103 @@
+[
+  {
+    "text": "Bereits eine Woche vorher am Samstag, 2. Dezember ist die „Püngel-Weihnacht“ in Siegburg-Kaldauen um 18 Uhr (Einlass 17.30 Uhr) im Restaurant Kaldauer Hof zu hören. Hier ist im Eintrittspreis von 18,50 € ein Abendessen enthalten. Auch hier gibt es einen Mitsingteil für die Gäste.",
+    "decoded_text": "Bereits eine Woche vorher am Samstag, 2. Dezember ist die <unk>Püngel-Weihnacht“ in Siegburg-Kaldauen um 18 Uhr (Einlass 17.30 Uhr) im Restaurant Kaldauer Hof zu hören. Hier ist im Eintrittspreis von 18,50 <unk> ein Abendessen enthalten. Auch hier gibt es einen Mitsingteil für die Gäste.",
+    "diff": [
+      "replace   text[58:59] --> decoded_text[58:63]      '„' --> '<unk>'",
+      "replace   text[202:203] --> decoded_text[206:211]      '€' --> '<unk>'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.007142857142857143,
+    "oov_charset": "[\"„\", \"€\"]"
+  },
+  {
+    "text": "Der Chor bietet noch einen weiteren Termin im Rahmen der „Püngel-Weihnacht“ an.",
+    "decoded_text": "Der Chor bietet noch einen weiteren Termin im Rahmen der <unk>Püngel-Weihnacht“ an.",
+    "diff": [
+      "replace   text[57:58] --> decoded_text[57:62]      '„' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.012658227848101266,
+    "oov_charset": "[\"„\"]"
+  },
+  {
+    "text": "Die Verarbeitung kann auch auf elektronischem Wege erfolgen. Dies ist insbesondere dann der Fall, wenn ein Bewerber entsprechende Bewerbungsunterlagen auf dem elektronischen Wege, beispielsweise per E-Mail oder über ein auf der Internetseite befindliches Webformular, an den für die Verarbeitung Verantwortlichen übermittelt. Sollten Sie über einen Account in einem berufsorientierten sozialen Netzwerk wie etwa Xing oder LinkedIn verfügen, können wir die Daten auch von Ihrer öffentlich einsehbaren Profilseite erheben. Zwecke der Verarbeitung und Rechtsgrundlage Wir verarbeiten Ihre personenbezogenen Daten ausschließlich zum Zwecke der Durchführung des Bewerbungsverfahrens.",
+    "decoded_text": "Die Verarbeitung kann auch auf elektronischem Wege erfolgen. Dies ist insbesondere dann der Fall, wenn ein Bewerber entsprechende Bewerbungsunterlagen auf dem elektronischen Wege, beispielsweise per E-Mail oder über ein auf der Internetseite befindliches Webformular, an den für die Verarbeitung Verantwortlichen übermittelt. Sollten Sie über einen Account in einem berufsorientierten sozialen Netzwerk wie etwa Xing oder LinkedIn verfügen, können wir die Daten auch von Ihrer öffentlich einsehbaren Profilseite erheben. Zwecke der Verarbeitung und Rechtsgrundlage Wir verarbeiten Ihre personenbezogenen Daten ausschlie<unk>lich zum Zwecke der Durchführung des Bewerbungsverfahrens.",
+    "diff": [
+      "replace   text[619:620] --> decoded_text[619:624]      'ß' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0014749262536873156,
+    "oov_charset": "[\"ß\"]"
+  },
+  {
+    "text": "Sofern wir mit dem Bewerber einen Anstellungsvertrag abschließen, werden die übermittelten Daten zum Zwecke der Abwicklung des Beschäftigungsverhältnisses unter Beachtung der gesetzlichen Vorschriften gespeichert. Ansonsten werden die personenbezogenen Daten sechs Monate nach Beendigung des Bewerbungsverfahrens gelöscht, sofern einer Löschung keine sonstigen berechtigten Interessen des für die Verarbeitung Verantwortlichen entgegenstehen.",
+    "decoded_text": "Sofern wir mit dem Bewerber einen Anstellungsvertrag abschlie<unk>en, werden die übermittelten Daten zum Zwecke der Abwicklung des Beschäftigungsverhältnisses unter Beachtung der gesetzlichen Vorschriften gespeichert. Ansonsten werden die personenbezogenen Daten sechs Monate nach Beendigung des Bewerbungsverfahrens gelöscht, sofern einer Löschung keine sonstigen berechtigten Interessen des für die Verarbeitung Verantwortlichen entgegenstehen.",
+    "diff": [
+      "replace   text[61:62] --> decoded_text[61:66]      'ß' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0022624434389140274,
+    "oov_charset": "[\"ß\"]"
+  },
+  {
+    "text": "Eine Weitergabe Ihrer Daten an externe Stellen erfolgt ausschließlich zu Zwecken,",
+    "decoded_text": "Eine Weitergabe Ihrer Daten an externe Stellen erfolgt ausschlie<unk>lich zu Zwecken,",
+    "diff": [
+      "replace   text[64:65] --> decoded_text[64:69]      'ß' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.012345679012345678,
+    "oov_charset": "[\"ß\"]"
+  },
+  {
+    "text": "Sind die Daten für die Erfüllung vertraglicher oder gesetzlicher Pflichten und Rechte nicht mehr erforderlich, werden diese regelmäßig gelöscht, es sei denn, deren – befristete – Weiterverarbeitung ist zur Erfüllung der in dieser Erklärung genannten Zwecke aus einem überwiegenden berechtigten Interesse unseres Hauses erforderlich. Wir werden Ihre personenbezogenen Daten nur soweit und solange speichern, wie dies für den Zweck, für welchen sie von uns erhoben oder uns von Ihnen zur Verfügung gestellt wurden, erforderlich ist.",
+    "decoded_text": "Sind die Daten für die Erfüllung vertraglicher oder gesetzlicher Pflichten und Rechte nicht mehr erforderlich, werden diese regelmä<unk>ig gelöscht, es sei denn, deren – befristete – Weiterverarbeitung ist zur Erfüllung der in dieser Erklärung genannten Zwecke aus einem überwiegenden berechtigten Interesse unseres Hauses erforderlich. Wir werden Ihre personenbezogenen Daten nur soweit und solange speichern, wie dies für den Zweck, für welchen sie von uns erhoben oder uns von Ihnen zur Verfügung gestellt wurden, erforderlich ist.",
+    "diff": [
+      "replace   text[131:132] --> decoded_text[131:136]      'ß' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0018867924528301887,
+    "oov_charset": "[\"ß\"]"
+  },
+  {
+    "text": "Dachte ich auch, aber gib das mal in google ein: auch in verschiedenen Varianten der Suchanfrage bekommst du kein Ergebnis außer diesem Thread hier. Finde ich auch ein bisschen komisch.",
+    "decoded_text": "Dachte ich auch, aber gib das mal in google ein: auch in verschiedenen Varianten der Suchanfrage bekommst du kein Ergebnis au<unk>er diesem Thread hier. Finde ich auch ein bisschen komisch.",
+    "diff": [
+      "replace   text[125:126] --> decoded_text[125:130]      'ß' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005405405405405406,
+    "oov_charset": "[\"ß\"]"
+  },
+  {
+    "text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen * !",
+    "decoded_text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen *!",
+    "diff": [
+      "delete    text[67:68] --> decoded_text[67:67]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Weiß man denn, mit wem die Schlägerei vorher stattfand? Waren ALLE 3 um die Zeit voneinander getrennt? Wie hoch war der Balkon?",
+    "decoded_text": "Wei<unk> man denn, mit wem die Schlägerei vorher stattfand? Waren ALLE 3 um die Zeit voneinander getrennt? Wie hoch war der Balkon?",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:8]      'ß' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007874015748031496,
+    "oov_charset": "[\"ß\"]"
+  },
+  {
+    "text": "265 junge Damen und Herren von insgesamt 75.000 Auszubildenden, die ihre Berufsausbildung 2016 in rund 130 IHK-Berufen mit der Note „Sehr gut“ abgeschlossen haben, gehören zu den Besten in Nordrhein-Westfalen. 19 von ihnen kommen aus dem Bezirk der IHK Mittlerer Niederrhein.",
+    "decoded_text": "265 junge Damen und Herren von insgesamt 75.000 Auszubildenden, die ihre Berufsausbildung 2016 in rund 130 IHK-Berufen mit der Note <unk>Sehr gut“ abgeschlossen haben, gehören zu den Besten in Nordrhein-Westfalen. 19 von ihnen kommen aus dem Bezirk der IHK Mittlerer Niederrhein.",
+    "diff": [
+      "replace   text[132:133] --> decoded_text[132:137]      '„' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0036363636363636364,
+    "oov_charset": "[\"„\"]"
+  }
+]

stats/compression_rate/ClueAI.PromptCLUE-base @ cc100.en.diff.json

@@ -0,0 +1,102 @@
+[
+  {
+    "text": "No extra costs for access? Asking for a disabled access hack if I want to take my chair (Quickie Ti - weighs little, I can just pick it up and put it in, no need for time-consuming ramps), to the pub here in Wirral jacks up the normal fair by about £1.50.",
+    "decoded_text": "No extra costs for access? Asking for a disabled access hack if I want to take my chair (Quickie Ti - weighs little, I can just pick it up and put it in, no need for time-consuming ramps), to the pub here in Wirral jacks up the normal fair by about <unk>1.50.",
+    "diff": [
+      "replace   text[249:250] --> decoded_text[249:254]      '£' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.00392156862745098,
+    "oov_charset": "[\"£\"]"
+  },
+  {
+    "text": "and yeah im a boy,and no, im not g*y, im a nice guy. i dont love his songs or anything , but he's not that bad tbh.",
+    "decoded_text": "and yeah im a boy,and no, im not g*y, im a nice guy. i dont love his songs or anything, but he's not that bad tbh.",
+    "diff": [
+      "delete    text[86:87] --> decoded_text[86:86]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Justin serenaded wonderful or better than a great I like popular songs, particularly as it is talented. all those who hate Justin are g**s because they feel jealous of him because he is handsome at the same time a rising singer and a small age. I myself appreciate the wonderful artist with this beautiful and talented .",
+    "decoded_text": "Justin serenaded wonderful or better than a great I like popular songs, particularly as it is talented. all those who hate Justin are g**s because they feel jealous of him because he is handsome at the same time a rising singer and a small age. I myself appreciate the wonderful artist with this beautiful and talented.",
+    "diff": [
+      "delete    text[318:319] --> decoded_text[318:318]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Soften the landing zones with a pair of Rubber Mats , made from dyed rubber chips, heat compressed and available in dark green or brick red.",
+    "decoded_text": "Soften the landing zones with a pair of Rubber Mats, made from dyed rubber chips, heat compressed and available in dark green or brick red.",
+    "diff": [
+      "delete    text[51:52] --> decoded_text[51:51]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "​EEI Members have access to a wide range of reports, publications, communications, and other resources. In order to access the resources below, a member log in is required.",
+    "decoded_text": "EEI Members have access to a wide range of reports, publications, communications, and other resources. In order to access the resources below, a member log in is required.",
+    "diff": [
+      "delete    text[0:1] --> decoded_text[0:0] '\\u200b' --> ''"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005813953488372093,
+    "oov_charset": "[\"​\"]"
+  },
+  {
+    "text": "​Launched in 2017, AUPSE is a senior executive knowledge exchange and peer-to-peer networking platform created to accelerate operational excellence in the African electric power sector.",
+    "decoded_text": "Launched in 2017, AUPSE is a senior executive knowledge exchange and peer-to-peer networking platform created to accelerate operational excellence in the African electric power sector.",
+    "diff": [
+      "delete    text[0:1] --> decoded_text[0:0] '\\u200b' --> ''"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005405405405405406,
+    "oov_charset": "[\"​\"]"
+  },
+  {
+    "text": "Would love some tatts, but too much of a wimp to get them! 😥",
+    "decoded_text": "Would love some tatts, but too much of a wimp to get them! <unk>",
+    "diff": [
+      "replace   text[59:60] --> decoded_text[59:64]      '😥' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.016666666666666666,
+    "oov_charset": "[\"😥\"]"
+  },
+  {
+    "text": "We're not so rough and over the top these days, so they miiiiight survive ._.",
+    "decoded_text": "We're not so rough and over the top these days, so they miiiiight survive._.",
+    "diff": [
+      "delete    text[73:74] --> decoded_text[73:73]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Just finished Hulse's \"Black River\" and simply adored the book. So pretty, overall, and much like the Kent Haruf novels, such as \"Plainsong\" that I've enjoyed over the years. \"Black River\" is surely one of the best five I've read this year. Solid Pulitzer choice, in my opinion. Side note: As I've mentioned before, I surely don't understand all of the hoopla surrounding \"The Sellout,\" with so many other worthy contenders. But, what do I know? I'm only a reader. :-) Read on ...",
+    "decoded_text": "Just finished Hulse's \"Black River\" and simply adored the book. So pretty, overall, and much like the Kent Haruf novels, such as \"Plainsong\" that I've enjoyed over the years. \"Black River\" is surely one of the best five I've read this year. Solid Pulitzer choice, in my opinion. Side note: As I've mentioned before, I surely don't understand all of the hoopla surrounding \"The Sellout,\" with so many other worthy contenders. But, what do I know? I'm only a reader. :-) Read on...",
+    "diff": [
+      "replace   text[476:480] --> decoded_text[476:479]   ' ...' --> '...'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "I really don't understand all of the hoopla over THE SELLOUT. Just a so-so book, in my opinion. Minor work. I struggled through it, and can never get back the time spent on that tome. EILEEN and HONEYDEW are sooooooo much better, not to mention THE TURNER HOUSE, TSAR, DID YOU EVER, and others. I'm reading DELICIOUS FOODS right now, and think it's a major-serious contender as well. BLACK RIVER is next on my list, and I can't wait. But, what do I know? :-) Read on ...",
+    "decoded_text": "I really don't understand all of the hoopla over THE SELLOUT. Just a so-so book, in my opinion. Minor work. I struggled through it, and can never get back the time spent on that tome. EILEEN and HONEYDEW are sooooooo much better, not to mention THE TURNER HOUSE, TSAR, DID YOU EVER, and others. I'm reading DELICIOUS FOODS right now, and think it's a major-serious contender as well. BLACK RIVER is next on my list, and I can't wait. But, what do I know? :-) Read on...",
+    "diff": [
+      "replace   text[466:470] --> decoded_text[466:469]   ' ...' --> '...'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/ClueAI.PromptCLUE-base @ cc100.es.diff.json

@@ -0,0 +1,106 @@
+[
+  {
+    "text": "el año natural a que correspondan.",
+    "decoded_text": "el a<unk>o natural a que correspondan.",
+    "diff": [
+      "replace   text[4:5] --> decoded_text[4:9]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.029411764705882353,
+    "oov_charset": "[\"ñ\"]"
+  },
+  {
+    "text": "a la Empresa el 50% del periodo restante en la fecha señalada",
+    "decoded_text": "a la Empresa el 50% del periodo restante en la fecha se<unk>alada",
+    "diff": [
+      "replace   text[55:56] --> decoded_text[55:60]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01639344262295082,
+    "oov_charset": "[\"ñ\"]"
+  },
+  {
+    "text": "Os deseamos muchos más éxitos en un futuro y los mejores augurios para los años que están por venir.",
+    "decoded_text": "Os deseamos muchos más éxitos en un futuro y los mejores augurios para los a<unk>os que están por venir.",
+    "diff": [
+      "replace   text[76:77] --> decoded_text[76:81]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01,
+    "oov_charset": "[\"ñ\"]"
+  },
+  {
+    "text": "- Mi primer consejo es el deporte, corre, anda, juega al padel, monta en bici…en definitiva…. MUÉVETE. No necesitas más de una o dos horas al día para activarte. Despejarás tu mente.",
+    "decoded_text": "- Mi primer consejo es el deporte, corre, anda, juega al padel, monta en bici...en definitiva.... MUÉVETE. No necesitas más de una o dos horas al día para activarte. Despejarás tu mente.",
+    "diff": [
+      "replace   text[77:78] --> decoded_text[77:80]      '…' --> '...'",
+      "replace   text[91:92] --> decoded_text[93:96]      '…' --> '...'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.01098901098901099,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "- Márcate dos o tres objetivos a conseguir. Pueden ser objetivos laborales, conseguir un ascenso o aumentar las ventas de la empresa; deportivos, correr 10 kms o terminar tu primera media maratón; familiares, pasar más tiempo con tus hijos, hermanos, amigos, planificar las próximas vacaciones… etc.",
+    "decoded_text": "- Márcate dos o tres objetivos a conseguir. Pueden ser objetivos laborales, conseguir un ascenso o aumentar las ventas de la empresa; deportivos, correr 10 kms o terminar tu primera media maratón; familiares, pasar más tiempo con tus hijos, hermanos, amigos, planificar las próximas vacaciones... etc.",
+    "diff": [
+      "replace   text[293:299] --> decoded_text[293:301] '… etc.' --> '... etc.'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0033444816053511705,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "- Visualiza lo que implica para ti conseguir dichos objetivos, obsérvate llegando al final de esa carrera, lo fabuloso que estás al haber perdido 10 o 15 kg, lo que podrás hacer con el dinero por tu ascenso…. ¡¡¡Imagínalo!!! La imagen mental que estés creando tiene que ser lo más clara posible, como cuando un niño pide determinado juguete y no te acepta las diferentes alternativas que le das (para hacerlo cambiar de idea) porque él tiene muy bien definido que es lo que quiere. La mente tiene poderes ilimitados, si le das las herramientas necesarias para lograr tu propósito, ella trabajará sin obstáculos. Nuestra falta de visión e indecisión suele ser una buena fuente de limitantes.",
+    "decoded_text": "- Visualiza lo que implica para ti conseguir dichos objetivos, obsérvate llegando al final de esa carrera, lo fabuloso que estás al haber perdido 10 o 15 kg, lo que podrás hacer con el dinero por tu ascenso.... <unk>Imagínalo!!! La imagen mental que estés creando tiene que ser lo más clara posible, como cuando un ni<unk>o pide determinado juguete y no te acepta las diferentes alternativas que le das (para hacerlo cambiar de idea) porque él tiene muy bien definido que es lo que quiere. La mente tiene poderes ilimitados, si le das las herramientas necesarias para lograr tu propósito, ella trabajará sin obstáculos. Nuestra falta de visión e indecisión suele ser una buena fuente de limitantes.",
+    "diff": [
+      "delete    text[206:207] --> decoded_text[206:206]      '…' --> ''",
+      "replace   text[208:212] --> decoded_text[207:216]   ' ¡¡¡' --> '... <unk>'",
+      "replace   text[313:314] --> decoded_text[317:322]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.007246376811594203,
+    "oov_charset": "[\"…\", \"¡\", \"ñ\"]"
+  },
+  {
+    "text": "- Escribe, no importa el soporte (papel, smartphone, tablet, la palma de la mano…), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles…… Acabas de formalizar “un contrato” contigo mismo.",
+    "decoded_text": "- Escribe, no importa el soporte (papel, smartphone, tablet, la palma de la mano...), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles...... Acabas de formalizar “un contrato” contigo mismo.",
+    "diff": [
+      "replace   text[80:81] --> decoded_text[80:83]      '…' --> '...'",
+      "replace   text[233:235] --> decoded_text[235:241]     '……' --> '......'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.010526315789473684,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "Ponerse metas es estar vivo, es la vida, todo es llegar, empezar, acabar, caer y levantarse. No caigas en tu sofá, no limites tu tiempo a ver la tele o estar en el bar…. un día es largo si lo aprovechas.",
+    "decoded_text": "Ponerse metas es estar vivo, es la vida, todo es llegar, empezar, acabar, caer y levantarse. No caigas en tu sofá, no limites tu tiempo a ver la tele o estar en el bar.... un día es largo si lo aprovechas.",
+    "diff": [
+      "replace   text[167:168] --> decoded_text[167:170]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0049261083743842365,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "Seneca dijo: “no hay viento favorable para el que no sabe dónde ir…”; pon hoy mismo rumbo a tu vida.",
+    "decoded_text": "Seneca dijo: “no hay viento favorable para el que no sabe dónde ir...”; pon hoy mismo rumbo a tu vida.",
+    "diff": [
+      "replace   text[66:67] --> decoded_text[66:69]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "Es frecuente en estas fechas plantear objetivos para el nuevo año, pero también sucede muchas veces que éstos se olvidan al poco tiempo de haberlos planteado. Para que esto no suceda, dejamos algunas claves para establecer tus propósitos y avanzar hacia ellos, y no dejarlos en el camino a medida que transcurre el 2015.",
+    "decoded_text": "Es frecuente en estas fechas plantear objetivos para el nuevo a<unk>o, pero también sucede muchas veces que éstos se olvidan al poco tiempo de haberlos planteado. Para que esto no suceda, dejamos algunas claves para establecer tus propósitos y avanzar hacia ellos, y no dejarlos en el camino a medida que transcurre el 2015.",
+    "diff": [
+      "replace   text[63:64] --> decoded_text[63:68]      'ñ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.003125,
+    "oov_charset": "[\"ñ\"]"
+  }
+]

stats/compression_rate/ClueAI.PromptCLUE-base @ cc100.fa.diff.json

@@ -0,0 +1,180 @@
+[
+  {
+    "text": "آشپزخانه کوچک من: February 2012",
+    "decoded_text": "<unk>ا<unk> <unk> <unk>: February 2012",
+    "diff": [
+      "replace   text[0:5] --> decoded_text[0:5]  'آشپزخ' --> '<unk>'",
+      "replace   text[6:8] --> decoded_text[6:11]     'نه' --> '<unk>'",
+      "replace   text[9:13] --> decoded_text[12:17]   'کوچک' --> '<unk>'",
+      "replace   text[14:16] --> decoded_text[18:23]     'من' --> '<unk>'"
+    ],
+    "n_oov_chars": 13,
+    "oov_ratio": 0.41935483870967744,
+    "oov_charset": "[\"آ\", \"ش\", \"پ\", \"ز\", \"خ\", \"ن\", \"ه\", \"ک\", \"و\", \"چ\", \"م\"]"
+  },
+  {
+    "text": "آشپزخانه کوچک من",
+    "decoded_text": "<unk>ا<unk> <unk> <unk>",
+    "diff": [
+      "replace   text[0:5] --> decoded_text[0:5]  'آشپزخ' --> '<unk>'",
+      "replace   text[6:8] --> decoded_text[6:11]     'نه' --> '<unk>'",
+      "replace   text[9:13] --> decoded_text[12:17]   'کوچک' --> '<unk>'",
+      "replace   text[14:16] --> decoded_text[18:23]     'من' --> '<unk>'"
+    ],
+    "n_oov_chars": 13,
+    "oov_ratio": 0.8125,
+    "oov_charset": "[\"آ\", \"ش\", \"پ\", \"ز\", \"خ\", \"ن\", \"ه\", \"ک\", \"و\", \"چ\", \"م\"]"
+  },
+  {
+    "text": "بکینگ پودر:2 قاشق چای خوری",
+    "decoded_text": "<unk> <unk>:2 <unk>ا<unk> <unk>ا<unk> <unk>",
+    "diff": [
+      "replace   text[0:5] --> decoded_text[0:5]  'بکینگ' --> '<unk>'",
+      "replace   text[6:10] --> decoded_text[6:11]   'پودر' --> '<unk>'",
+      "replace   text[13:14] --> decoded_text[14:19]      'ق' --> '<unk>'",
+      "replace   text[15:17] --> decoded_text[20:25]     'شق' --> '<unk>'",
+      "replace   text[18:19] --> decoded_text[26:31]      'چ' --> '<unk>'",
+      "replace   text[20:21] --> decoded_text[32:37]      'ی' --> '<unk>'",
+      "replace   text[22:26] --> decoded_text[38:43]   'خوری' --> '<unk>'"
+    ],
+    "n_oov_chars": 18,
+    "oov_ratio": 0.6923076923076923,
+    "oov_charset": "[\"ب\", \"ک\", \"ی\", \"ن\", \"گ\", \"پ\", \"و\", \"د\", \"ر\", \"ق\", \"ش\", \"چ\", \"خ\"]"
+  },
+  {
+    "text": "تخم مرغ:2 عدد بزرگ",
+    "decoded_text": "<unk> <unk>:2 <unk> <unk>",
+    "diff": [
+      "replace   text[0:3] --> decoded_text[0:5]    'تخم' --> '<unk>'",
+      "replace   text[4:7] --> decoded_text[6:11]    'مرغ' --> '<unk>'",
+      "replace   text[10:13] --> decoded_text[14:19]    'عدد' --> '<unk>'",
+      "replace   text[14:18] --> decoded_text[20:25]   'بزرگ' --> '<unk>'"
+    ],
+    "n_oov_chars": 13,
+    "oov_ratio": 0.7222222222222222,
+    "oov_charset": "[\"ت\", \"خ\", \"م\", \"ر\", \"غ\", \"ع\", \"د\", \"ب\", \"ز\", \"گ\"]"
+  },
+  {
+    "text": "کره:225 گرم به دمای اتاق رسیده",
+    "decoded_text": "<unk>:225 <unk> <unk> <unk>ا<unk> ا<unk>ا<unk> <unk>",
+    "diff": [
+      "replace   text[0:3] --> decoded_text[0:5]    'کره' --> '<unk>'",
+      "replace   text[8:11] --> decoded_text[10:15]    'گرم' --> '<unk>'",
+      "replace   text[12:14] --> decoded_text[16:21]     'به' --> '<unk>'",
+      "replace   text[15:17] --> decoded_text[22:27]     'دم' --> '<unk>'",
+      "replace   text[18:19] --> decoded_text[28:33]      'ی' --> '<unk>'",
+      "replace   text[21:22] --> decoded_text[35:40]      'ت' --> '<unk>'",
+      "replace   text[23:24] --> decoded_text[41:46]      'ق' --> '<unk>'",
+      "replace   text[25:30] --> decoded_text[47:52]  'رسیده' --> '<unk>'"
+    ],
+    "n_oov_chars": 18,
+    "oov_ratio": 0.6,
+    "oov_charset": "[\"ک\", \"ر\", \"ه\", \"گ\", \"م\", \"ب\", \"د\", \"ی\", \"ت\", \"ق\", \"س\"]"
+  },
+  {
+    "text": "شکر:1و1/2 پیمانه+ 3 قاشق غذا خوری",
+    "decoded_text": "<unk>:1<unk>1/2 <unk>ا<unk>+ 3 <unk>ا<unk> <unk>ا <unk>",
+    "diff": [
+      "replace   text[0:3] --> decoded_text[0:5]    'شکر' --> '<unk>'",
+      "replace   text[5:6] --> decoded_text[7:12]      'و' --> '<unk>'",
+      "replace   text[10:13] --> decoded_text[16:21]    'پیم' --> '<unk>'",
+      "replace   text[14:16] --> decoded_text[22:27]     'نه' --> '<unk>'",
+      "replace   text[20:21] --> decoded_text[31:36]      'ق' --> '<unk>'",
+      "replace   text[22:24] --> decoded_text[37:42]     'شق' --> '<unk>'",
+      "replace   text[25:27] --> decoded_text[43:48]     'غذ' --> '<unk>'",
+      "replace   text[29:33] --> decoded_text[50:55]   'خوری' --> '<unk>'"
+    ],
+    "n_oov_chars": 18,
+    "oov_ratio": 0.5454545454545454,
+    "oov_charset": "[\"ش\", \"ک\", \"ر\", \"و\", \"پ\", \"ی\", \"م\", \"ن\", \"ه\", \"ق\", \"غ\", \"ذ\", \"خ\"]"
+  },
+  {
+    "text": "پودر دارچین:2 و1/2قاشق چای خوری",
+    "decoded_text": "<unk> <unk>ا<unk>:2 <unk>1/2<unk>ا<unk> <unk>ا<unk> <unk>",
+    "diff": [
+      "replace   text[0:4] --> decoded_text[0:5]   'پودر' --> '<unk>'",
+      "replace   text[5:6] --> decoded_text[6:11]      'د' --> '<unk>'",
+      "replace   text[7:11] --> decoded_text[12:17]   'رچین' --> '<unk>'",
+      "replace   text[14:15] --> decoded_text[20:25]      'و' --> '<unk>'",
+      "replace   text[18:19] --> decoded_text[28:33]      'ق' --> '<unk>'",
+      "replace   text[20:22] --> decoded_text[34:39]     'شق' --> '<unk>'",
+      "replace   text[23:24] --> decoded_text[40:45]      'چ' --> '<unk>'",
+      "replace   text[25:26] --> decoded_text[46:51]      'ی' --> '<unk>'",
+      "replace   text[27:31] --> decoded_text[52:57]   'خوری' --> '<unk>'"
+    ],
+    "n_oov_chars": 19,
+    "oov_ratio": 0.6129032258064516,
+    "oov_charset": "[\"پ\", \"و\", \"د\", \"ر\", \"چ\", \"ی\", \"ن\", \"ق\", \"ش\", \"خ\"]"
+  },
+  {
+    "text": "فر رو روی 350 درجه فارنهایت روشن کنید",
+    "decoded_text": "<unk> <unk> <unk> 350 <unk> <unk>ا<unk>ا<unk> <unk> <unk>",
+    "diff": [
+      "replace   text[0:2] --> decoded_text[0:5]     'فر' --> '<unk>'",
+      "replace   text[3:5] --> decoded_text[6:11]     'رو' --> '<unk>'",
+      "replace   text[6:9] --> decoded_text[12:17]    'روی' --> '<unk>'",
+      "replace   text[14:18] --> decoded_text[22:27]   'درجه' --> '<unk>'",
+      "replace   text[19:20] --> decoded_text[28:33]      'ف' --> '<unk>'",
+      "replace   text[21:24] --> decoded_text[34:39]    'رنه' --> '<unk>'",
+      "replace   text[25:27] --> decoded_text[40:45]     'یت' --> '<unk>'",
+      "replace   text[28:32] --> decoded_text[46:51]   'روشن' --> '<unk>'",
+      "replace   text[33:37] --> decoded_text[52:57]   'کنید' --> '<unk>'"
+    ],
+    "n_oov_chars": 25,
+    "oov_ratio": 0.6756756756756757,
+    "oov_charset": "[\"ف\", \"ر\", \"و\", \"ی\", \"د\", \"ج\", \"ه\", \"ن\", \"ت\", \"ش\", \"ک\"]"
+  },
+  {
+    "text": "کره رو با شکر هم بزنید تا یکدست و کرمی بشه تخم مرغها رو دونه دونه اضافه کنید و هم بزنید",
+    "decoded_text": "<unk> <unk> <unk>ا <unk> <unk> <unk> <unk>ا <unk> <unk> <unk> <unk> <unk> <unk>ا <unk> <unk> <unk> ا<unk>ا<unk> <unk> <unk> <unk> <unk>",
+    "diff": [
+      "replace   text[0:3] --> decoded_text[0:5]    'کره' --> '<unk>'",
+      "replace   text[4:6] --> decoded_text[6:11]     'رو' --> '<unk>'",
+      "replace   text[7:8] --> decoded_text[12:17]      'ب' --> '<unk>'",
+      "replace   text[10:13] --> decoded_text[19:24]    'شکر' --> '<unk>'",
+      "replace   text[14:16] --> decoded_text[25:30]     'هم' --> '<unk>'",
+      "replace   text[17:22] --> decoded_text[31:36]  'بزنید' --> '<unk>'",
+      "replace   text[23:24] --> decoded_text[37:42]      'ت' --> '<unk>'",
+      "replace   text[26:31] --> decoded_text[44:49]  'یکدست' --> '<unk>'",
+      "replace   text[32:33] --> decoded_text[50:55]      'و' --> '<unk>'",
+      "replace   text[34:38] --> decoded_text[56:61]   'کرمی' --> '<unk>'",
+      "replace   text[39:42] --> decoded_text[62:67]    'بشه' --> '<unk>'",
+      "replace   text[43:46] --> decoded_text[68:73]    'تخم' --> '<unk>'",
+      "replace   text[47:51] --> decoded_text[74:79]   'مرغه' --> '<unk>'",
+      "replace   text[53:55] --> decoded_text[81:86]     'رو' --> '<unk>'",
+      "replace   text[56:60] --> decoded_text[87:92]   'دونه' --> '<unk>'",
+      "replace   text[61:65] --> decoded_text[93:98]   'دونه' --> '<unk>'",
+      "replace   text[67:68] --> decoded_text[100:105]      'ض' --> '<unk>'",
+      "replace   text[69:71] --> decoded_text[106:111]     'فه' --> '<unk>'",
+      "replace   text[72:76] --> decoded_text[112:117]   'کنید' --> '<unk>'",
+      "replace   text[77:78] --> decoded_text[118:123]      'و' --> '<unk>'",
+      "replace   text[79:81] --> decoded_text[124:129]     'هم' --> '<unk>'",
+      "replace   text[82:87] --> decoded_text[130:135]  'بزنید' --> '<unk>'"
+    ],
+    "n_oov_chars": 62,
+    "oov_ratio": 0.7126436781609196,
+    "oov_charset": "[\"ک\", \"ر\", \"ه\", \"و\", \"ب\", \"ش\", \"م\", \"ز\", \"ن\", \"ی\", \"د\", \"ت\", \"س\", \"خ\", \"غ\", \"ض\", \"ف\"]"
+  },
+  {
+    "text": "ارد و بکینگ پودر و نمک رو الک کنید و اضافه کنید",
+    "decoded_text": "ا<unk> <unk> <unk> <unk> <unk> <unk> <unk> ال<unk> <unk> <unk> ا<unk>ا<unk> <unk>",
+    "diff": [
+      "replace   text[1:3] --> decoded_text[1:6]     'رد' --> '<unk>'",
+      "replace   text[4:5] --> decoded_text[7:12]      'و' --> '<unk>'",
+      "replace   text[6:11] --> decoded_text[13:18]  'بکینگ' --> '<unk>'",
+      "replace   text[12:16] --> decoded_text[19:24]   'پودر' --> '<unk>'",
+      "replace   text[17:18] --> decoded_text[25:30]      'و' --> '<unk>'",
+      "replace   text[19:22] --> decoded_text[31:36]    'نمک' --> '<unk>'",
+      "replace   text[23:25] --> decoded_text[37:42]     'رو' --> '<unk>'",
+      "replace   text[28:29] --> decoded_text[45:50]      'ک' --> '<unk>'",
+      "replace   text[30:34] --> decoded_text[51:56]   'کنید' --> '<unk>'",
+      "replace   text[35:36] --> decoded_text[57:62]      'و' --> '<unk>'",
+      "replace   text[38:39] --> decoded_text[64:69]      'ض' --> '<unk>'",
+      "replace   text[40:42] --> decoded_text[70:75]     'فه' --> '<unk>'",
+      "replace   text[43:47] --> decoded_text[76:81]   'کنید' --> '<unk>'"
+    ],
+    "n_oov_chars": 31,
+    "oov_ratio": 0.6595744680851063,
+    "oov_charset": "[\"ر\", \"د\", \"و\", \"ب\", \"ک\", \"ی\", \"ن\", \"گ\", \"پ\", \"م\", \"ض\", \"ف\", \"ه\"]"
+  }
+]

stats/compression_rate/ClueAI.PromptCLUE-base @ cc100.fr.diff.json

@@ -0,0 +1,106 @@
+[
+  {
+    "text": "Bon, comme je ne suis pas le seul à avoir envisagé de créer ce sujet, je me suis dis qu'il était peut être temps de le commencer.",
+    "decoded_text": "Bon, comme je ne suis pas le seul à avoir envisagé de créer ce sujet, je me suis dis qu'il était peut <unk>tre temps de le commencer.",
+    "diff": [
+      "replace   text[102:103] --> decoded_text[102:107]      'ê' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007751937984496124,
+    "oov_charset": "[\"ê\"]"
+  },
+  {
+    "text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée ?\" le matin, il y a de fortes chances que j'oublie",
+    "decoded_text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée?\" le matin, il y a de fortes chances que j'oublie",
+    "diff": [
+      "delete    text[193:194] --> decoded_text[193:193]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- Je dois être mentalement instable, par moments",
+    "decoded_text": "- Je dois <unk>tre mentalement instable, par moments",
+    "diff": [
+      "replace   text[10:11] --> decoded_text[10:15]      'ê' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.020833333333333332,
+    "oov_charset": "[\"ê\"]"
+  },
+  {
+    "text": "- j'ai moi aussi beaucoup de mémoire à ta manière : se souvenir de petits détails inutiles et beaucoup de choses sur les sujets qui m'intéressent, mais je suis en même temps très étourdie",
+    "decoded_text": "- j'ai moi aussi beaucoup de mémoire à ta manière : se souvenir de petits détails inutiles et beaucoup de choses sur les sujets qui m'intéressent, mais je suis en m<unk>me temps très étourdie",
+    "diff": [
+      "replace   text[164:165] --> decoded_text[164:169]      'ê' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0053475935828877,
+    "oov_charset": "[\"ê\"]"
+  },
+  {
+    "text": "- je ne peux pas retenir quelque chose que je ne comprends pas (ce qui m'a posé quelques problèmes au collège, notamment pour les théorèmes de maths, où le prof a dû me garder une heure en plus pour m'expliquer des démonstrations)",
+    "decoded_text": "- je ne peux pas retenir quelque chose que je ne comprends pas (ce qui m'a posé quelques problèmes au collège, notamment pour les théorèmes de maths, où le prof a d<unk> me garder une heure en plus pour m'expliquer des démonstrations)",
+    "diff": [
+      "replace   text[164:165] --> decoded_text[164:169]      'û' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.004347826086956522,
+    "oov_charset": "[\"û\"]"
+  },
+  {
+    "text": "- quand quelqu'un critique quelque chose (ex. plan Vigipirate) j'essaie tout de suite de réfléchir à une autre solution (bon ça c'est normal mais je le dis quand même)",
+    "decoded_text": "- quand quelqu'un critique quelque chose (ex. plan Vigipirate) j'essaie tout de suite de réfléchir à une autre solution (bon ça c'est normal mais je le dis quand m<unk>me)",
+    "diff": [
+      "replace   text[163:164] --> decoded_text[163:168]      'ê' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005988023952095809,
+    "oov_charset": "[\"ê\"]"
+  },
+  {
+    "text": "- je préfère largement passer du temps avec les gens de mon âge ou plus ou moins (généralement pas mon âge pile-poil, la plupart de mes amis ont un ou deux ans de plus que moi)",
+    "decoded_text": "- je préfère largement passer du temps avec les gens de mon <unk>ge ou plus ou moins (généralement pas mon <unk>ge pile-poil, la plupart de mes amis ont un ou deux ans de plus que moi)",
+    "diff": [
+      "replace   text[60:61] --> decoded_text[60:65]      'â' --> '<unk>'",
+      "replace   text[103:104] --> decoded_text[107:112]      'â' --> '<unk>'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.011363636363636364,
+    "oov_charset": "[\"â\"]"
+  },
+  {
+    "text": "- j'aime chanter, faire du théâtre et provoquer des émotions chez les gens",
+    "decoded_text": "- j'aime chanter, faire du thé<unk>tre et provoquer des émotions chez les gens",
+    "diff": [
+      "replace   text[30:31] --> decoded_text[30:35]      'â' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.013513513513513514,
+    "oov_charset": "[\"â\"]"
+  },
+  {
+    "text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis !), je sais reconnaître quand j'ai tort",
+    "decoded_text": "- j'ai toujours beaucoup d'arguments, je préfère <unk>tre une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis!), je sais reconna<unk>tre quand j'ai tort",
+    "diff": [
+      "replace   text[49:50] --> decoded_text[49:54]      'ê' --> '<unk>'",
+      "delete    text[150:151] --> decoded_text[154:154]      ' ' --> ''",
+      "replace   text[170:171] --> decoded_text[173:178]      'î' --> '<unk>'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.010526315789473684,
+    "oov_charset": "[\"ê\", \"î\"]"
+  },
+  {
+    "text": "- je vois les autres comme... ben... des gens normaux, quoi... je vois mes amis comme des êtres humains vivant plus ou moins sur Terre (du moins la majorité ), mais je Cornichonçois peut-être trop bien que tout le monde est différent",
+    "decoded_text": "- je vois les autres comme... ben... des gens normaux, quoi... je vois mes amis comme des <unk>tres humains vivant plus ou moins sur Terre (du moins la majorité ), mais je Cornichonçois peut-<unk>tre trop bien que tout le monde est différent",
+    "diff": [
+      "replace   text[90:91] --> decoded_text[90:95]      'ê' --> '<unk>'",
+      "replace   text[187:188] --> decoded_text[191:196]      'ê' --> '<unk>'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.008583690987124463,
+    "oov_charset": "[\"ê\"]"
+  }
+]

stats/compression_rate/ClueAI.PromptCLUE-base @ cc100.ja.diff.json

@@ -0,0 +1,109 @@
+[
+  {
+    "text": "午後から雨が心配だったので遠出はせず、『ふれあいロード』を走って来ました！",
+    "decoded_text": "午後から雨が心配だったので遠出はせず、『ふれあいロード』を走って来ました!",
+    "diff": [
+      "replace   text[36:37] --> decoded_text[36:37]      '！' --> '!'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.02702702702702703,
+    "oov_charset": "[\"！\"]"
+  },
+  {
+    "text": "確実に春が近づいてることを肌で感じることが出来ました 着々と整備されてる圏央道を越えるとお世話になってるボウリング場が見えて来ました。",
+    "decoded_text": "確実に春が近づいてることを肌で感じることが出来ました 着々と整<unk>されてる<unk>央道を越えるとお世話になってるボウリング場が見えて来ました。",
+    "diff": [
+      "replace   text[31:32] --> decoded_text[31:36]      '備' --> '<unk>'",
+      "replace   text[36:37] --> decoded_text[40:45]      '圏' --> '<unk>'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.029850746268656716,
+    "oov_charset": "[\"備\", \"圏\"]"
+  },
+  {
+    "text": "うぅ〜〜、私が途中でトイレに行きたくなってしまい、通り道にあったケンタに変更しちゃいました。",
+    "decoded_text": "う<unk>〜〜、私が途中でトイレに行きたくなってしまい、通り道にあったケンタに変更しちゃいました。",
+    "diff": [
+      "replace   text[1:2] --> decoded_text[1:6]      'ぅ' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.021739130434782608,
+    "oov_charset": "[\"ぅ\"]"
+  },
+  {
+    "text": "実は、１年程前にエルモサの右目の黒目の端によ〜く見ないと分からない程の小さな斑を見つけてたんです。",
+    "decoded_text": "実は、1年程前にエルモサの右目の黒目の端によ〜く見ないと分からない程の小さな斑を見つけてたんです。",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      '１' --> '1'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.02040816326530612,
+    "oov_charset": "[\"１\"]"
+  },
+  {
+    "text": "その時点で先生からはおそらく『角膜ジストロフィー』であろうとの診断をもらっていました。",
+    "decoded_text": "その時点で先生からはおそらく『角膜ジストロフィー』であろうとの<unk>断をもらっていました。",
+    "diff": [
+      "replace   text[31:32] --> decoded_text[31:36]      '診' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.023255813953488372,
+    "oov_charset": "[\"診\"]"
+  },
+  {
+    "text": "ただ、これまでお散歩仲間からは指摘とかされたことはないので、こちらから言わなければそんなに目立つ程ではないんですけどね。",
+    "decoded_text": "ただ、これまでお散<unk>仲間からは指摘とかされたことはないので、こちらから言わなければそんなに目立つ程ではないんですけどね。",
+    "diff": [
+      "replace   text[9:10] --> decoded_text[9:14]      '歩' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.016666666666666666,
+    "oov_charset": "[\"歩\"]"
+  },
+  {
+    "text": "昔はヒアルロン酸の目薬なども処方されてたようですが、これが効く事はないそうです。",
+    "decoded_text": "昔はヒアルロン酸の目<unk>なども<unk>方されてたようですが、これが<unk>く事はないそうです。",
+    "diff": [
+      "replace   text[10:11] --> decoded_text[10:15]      '薬' --> '<unk>'",
+      "replace   text[14:15] --> decoded_text[18:23]      '処' --> '<unk>'",
+      "replace   text[29:30] --> decoded_text[37:42]      '効' --> '<unk>'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.075,
+    "oov_charset": "[\"薬\", \"処\", \"効\"]"
+  },
+  {
+    "text": "なので、エルディとのお散歩でも訪れたことがありません。 カタクリの花が５分咲きとの情報から今回コースの１つに取り入れてみました。",
+    "decoded_text": "なので、エルディとのお散<unk>でも<unk>れたことがありません。 カタクリの花が5分咲きとの情報から今回コースの1つに取り入れてみました。",
+    "diff": [
+      "replace   text[12:13] --> decoded_text[12:17]      '歩' --> '<unk>'",
+      "replace   text[15:16] --> decoded_text[19:24]      '訪' --> '<unk>'",
+      "replace   text[35:36] --> decoded_text[43:44]      '５' --> '5'",
+      "replace   text[51:52] --> decoded_text[59:60]      '１' --> '1'"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.0625,
+    "oov_charset": "[\"歩\", \"訪\", \"５\", \"１\"]"
+  },
+  {
+    "text": "前々から走ってみたかったんだけど、いつも陸上部らしき学生さ��がものすごいスピードで駆け抜けていくのを目の当たりにしてちょっとビビっておりました",
+    "decoded_text": "前々から走ってみたかったんだけど、いつも陸上部らしき学生さんがものすごいスピードで<unk>け<unk>けていくのを目の当たりにしてちょっとビビっておりました",
+    "diff": [
+      "replace   text[41:42] --> decoded_text[41:46]      '駆' --> '<unk>'",
+      "replace   text[43:44] --> decoded_text[47:52]      '抜' --> '<unk>'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.028169014084507043,
+    "oov_charset": "[\"駆\", \"抜\"]"
+  },
+  {
+    "text": "彼らには絶対お目にかかりたくないので、この春はこれで打ち止めになっちゃうかもね。",
+    "decoded_text": "彼らには<unk>対お目にかかりたくないので、この春はこれで打ち止めになっちゃうかもね。",
+    "diff": [
+      "replace   text[4:5] --> decoded_text[4:9]      '絶' --> '<unk>'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.025,
+    "oov_charset": "[\"絶\"]"
+  }
+]

stats/compression_rate/ClueAI.PromptCLUE-base @ cc100.ko.diff.json

@@ -0,0 +1,255 @@
+[
+  {
+    "text": "+ HOME > 라이브스코어",
+    "decoded_text": "+ HOME > <unk>",
+    "diff": [
+      "replace   text[9:15] --> decoded_text[9:14] '라이브스코어' --> '<unk>'"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.4,
+    "oov_charset": "[\"라\", \"이\", \"브\", \"스\", \"코\", \"어\"]"
+  },
+  {
+    "text": "특히 주소 15~17번 홀에선 3연속 보기로 황금의제국카지노 홀아웃했다.",
+    "decoded_text": "<unk> <unk> 15~17<unk> <unk> 3<unk> <unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[0:2] --> decoded_text[0:5]     '특히' --> '<unk>'",
+      "replace   text[3:5] --> decoded_text[6:11]     '주소' --> '<unk>'",
+      "replace   text[11:12] --> decoded_text[17:22]      '번' --> '<unk>'",
+      "replace   text[13:16] --> decoded_text[23:28]    '홀에선' --> '<unk>'",
+      "replace   text[18:20] --> decoded_text[30:35]     '연속' --> '<unk>'",
+      "replace   text[21:24] --> decoded_text[36:41]    '보기로' --> '<unk>'",
+      "replace   text[25:33] --> decoded_text[42:47] '황금의제국카지노' --> '<unk>'",
+      "replace   text[34:39] --> decoded_text[48:53]  '홀아웃했다' --> '<unk>'"
+    ],
+    "n_oov_chars": 26,
+    "oov_ratio": 0.65,
+    "oov_charset": "[\"특\", \"히\", \"주\", \"소\", \"번\", \"홀\", \"에\", \"선\", \"연\", \"속\", \"보\", \"기\", \"로\", \"황\", \"금\", \"의\", \"제\", \"국\", \"카\", \"지\", \"노\", \"아\", \"웃\", \"했\", \"다\"]"
+  },
+  {
+    "text": "1편인'신과함께-죄와 벌'이 천만을 넘은 만큼 2편을 기다린 황금의제국카지노 관객들의 기대와 주소 관심은 폭발적이다.",
+    "decoded_text": "1<unk>'<unk>-<unk> <unk>'<unk> <unk> <unk> <unk> 2<unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[1:3] --> decoded_text[1:6]     '편인' --> '<unk>'",
+      "replace   text[4:8] --> decoded_text[7:12]   '신과함께' --> '<unk>'",
+      "replace   text[9:11] --> decoded_text[13:18]     '죄와' --> '<unk>'",
+      "replace   text[12:13] --> decoded_text[19:24]      '벌' --> '<unk>'",
+      "replace   text[14:15] --> decoded_text[25:30]      '이' --> '<unk>'",
+      "replace   text[16:19] --> decoded_text[31:36]    '천만을' --> '<unk>'",
+      "replace   text[20:22] --> decoded_text[37:42]     '넘은' --> '<unk>'",
+      "replace   text[23:25] --> decoded_text[43:48]     '만큼' --> '<unk>'",
+      "replace   text[27:29] --> decoded_text[50:55]     '편을' --> '<unk>'",
+      "replace   text[30:33] --> decoded_text[56:61]    '기다린' --> '<unk>'",
+      "replace   text[34:42] --> decoded_text[62:67] '황금의제국카지노' --> '<unk>'",
+      "replace   text[43:47] --> decoded_text[68:73]   '관객들의' --> '<unk>'",
+      "replace   text[48:51] --> decoded_text[74:79]    '기대와' --> '<unk>'",
+      "replace   text[52:54] --> decoded_text[80:85]     '주소' --> '<unk>'",
+      "replace   text[55:58] --> decoded_text[86:91]    '관심은' --> '<unk>'",
+      "replace   text[59:64] --> decoded_text[92:97]  '폭발적이다' --> '<unk>'"
+    ],
+    "n_oov_chars": 47,
+    "oov_ratio": 0.7230769230769231,
+    "oov_charset": "[\"편\", \"인\", \"신\", \"과\", \"함\", \"께\", \"죄\", \"와\", \"벌\", \"이\", \"천\", \"만\", \"을\", \"넘\", \"은\", \"큼\", \"기\", \"다\", \"린\", \"황\", \"금\", \"의\", \"제\", \"국\", \"카\", \"지\", \"노\", \"관\", \"객\", \"들\", \"대\", \"주\", \"소\", \"심\", \"폭\", \"발\", \"적\"]"
+  },
+  {
+    "text": "고려해서 주소 '대체재 일색'의 분재를 내놓을 위험이 있다. 문학의 자유를 소설가가 스스로 황금의제국카지노 출판사에 상납하는 것이다.",
+    "decoded_text": "<unk> <unk> '<unk> <unk>'<unk> <unk> <unk> <unk> <unk>. <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[0:4] --> decoded_text[0:5]   '고려해서' --> '<unk>'",
+      "replace   text[5:7] --> decoded_text[6:11]     '주소' --> '<unk>'",
+      "replace   text[9:12] --> decoded_text[13:18]    '대체재' --> '<unk>'",
+      "replace   text[13:15] --> decoded_text[19:24]     '일색' --> '<unk>'",
+      "replace   text[16:17] --> decoded_text[25:30]      '의' --> '<unk>'",
+      "replace   text[18:21] --> decoded_text[31:36]    '분재를' --> '<unk>'",
+      "replace   text[22:25] --> decoded_text[37:42]    '내놓을' --> '<unk>'",
+      "replace   text[26:29] --> decoded_text[43:48]    '위험이' --> '<unk>'",
+      "replace   text[30:32] --> decoded_text[49:54]     '있다' --> '<unk>'",
+      "replace   text[34:37] --> decoded_text[56:61]    '문학의' --> '<unk>'",
+      "replace   text[38:41] --> decoded_text[62:67]    '자유를' --> '<unk>'",
+      "replace   text[42:46] --> decoded_text[68:73]   '소설가가' --> '<unk>'",
+      "replace   text[47:50] --> decoded_text[74:79]    '스스로' --> '<unk>'",
+      "replace   text[51:59] --> decoded_text[80:85] '황금의제국카지노' --> '<unk>'",
+      "replace   text[60:64] --> decoded_text[86:91]   '출판사에' --> '<unk>'",
+      "replace   text[65:69] --> decoded_text[92:97]   '상납하는' --> '<unk>'",
+      "replace   text[70:73] --> decoded_text[98:103]    '것이다' --> '<unk>'"
+    ],
+    "n_oov_chars": 55,
+    "oov_ratio": 0.7432432432432432,
+    "oov_charset": "[\"고\", \"려\", \"해\", \"서\", \"주\", \"소\", \"대\", \"체\", \"재\", \"일\", \"색\", \"의\", \"분\", \"를\", \"내\", \"놓\", \"을\", \"위\", \"험\", \"이\", \"있\", \"다\", \"문\", \"학\", \"자\", \"유\", \"설\", \"가\", \"스\", \"로\", \"황\", \"금\", \"제\", \"국\", \"카\", \"지\", \"노\", \"출\", \"판\", \"사\", \"에\", \"상\", \"납\", \"하\", \"는\", \"것\"]"
+  },
+  {
+    "text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246 .270 .508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
+    "decoded_text": "<unk> <unk> <unk> <unk> <unk>(22)<unk> <unk> 4<unk>3<unk>(2<unk> <unk>) 3<unk>(.246.270.508). <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[0:6] --> decoded_text[0:5] '조시도널슨의' --> '<unk>'",
+      "replace   text[7:9] --> decoded_text[6:11]     '유산' --> '<unk>'",
+      "replace   text[10:14] --> decoded_text[12:17]   '프랭클린' --> '<unk>'",
+      "replace   text[15:17] --> decoded_text[18:23]     '주소' --> '<unk>'",
+      "replace   text[18:21] --> decoded_text[24:29]    '바레토' --> '<unk>'",
+      "replace   text[25:26] --> decoded_text[33:38]      '는' --> '<unk>'",
+      "replace   text[27:35] --> decoded_text[39:44] '황금의제국카지노' --> '<unk>'",
+      "replace   text[37:39] --> decoded_text[46:51]     '타수' --> '<unk>'",
+      "replace   text[40:42] --> decoded_text[52:57]     '안타' --> '<unk>'",
+      "replace   text[44:46] --> decoded_text[59:64]     '루타' --> '<unk>'",
+      "replace   text[47:49] --> decoded_text[65:70]     '홈런' --> '<unk>'",
+      "replace   text[52:54] --> decoded_text[73:78]     '타점' --> '<unk>'",
+      "delete    text[59:60] --> decoded_text[83:83]      ' ' --> ''",
+      "delete    text[64:65] --> decoded_text[87:87]      ' ' --> ''",
+      "replace   text[72:75] --> decoded_text[94:99]    '하지만' --> '<unk>'",
+      "replace   text[76:79] --> decoded_text[100:105]    '아직은' --> '<unk>'",
+      "replace   text[80:84] --> decoded_text[106:111]   '트레이드' --> '<unk>'",
+      "replace   text[85:88] --> decoded_text[112:117]    '당시의' --> '<unk>'",
+      "replace   text[89:93] --> decoded_text[118:123]   '기대치를' --> '<unk>'",
+      "replace   text[94:98] --> decoded_text[124:129]   '보여주지' --> '<unk>'",
+      "replace   text[99:102] --> decoded_text[130:135]    '못하고' --> '<unk>'",
+      "replace   text[103:105] --> decoded_text[136:141]     '있다' --> '<unk>'"
+    ],
+    "n_oov_chars": 62,
+    "oov_ratio": 0.5849056603773585,
+    "oov_charset": "[\"조\", \"시\", \"도\", \"널\", \"슨\", \"의\", \"유\", \"산\", \"프\", \"랭\", \"클\", \"린\", \"주\", \"소\", \"바\", \"레\", \"토\", \"는\", \"황\", \"금\", \"제\", \"국\", \"카\", \"지\", \"노\", \"타\", \"수\", \"안\", \"루\", \"홈\", \"런\", \"점\", \"하\", \"만\", \"아\", \"직\", \"은\", \"트\", \"이\", \"드\", \"당\", \"기\", \"대\", \"치\", \"를\", \"보\", \"여\", \"못\", \"고\", \"있\", \"다\"]"
+  },
+  {
+    "text": "여기서승리한 2팀이 준결승에 오른다. 결국 A, B조 1위는 12강-4강-결승으로 3경기를 치르지만, C, D, 황금의제국카지노 E, F조 1위는 주소 12강-6강-4강-결승으로 4경기를 해야 한다.",
+    "decoded_text": "<unk> 2<unk> <unk> <unk>. <unk> A, B<unk> 1<unk> 12<unk>-4<unk>-<unk> 3<unk> <unk>, C, D, <unk> E, F<unk> 1<unk> <unk> 12<unk>-6<unk>-4<unk>-<unk> 4<unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[0:6] --> decoded_text[0:5] '여기서승리한' --> '<unk>'",
+      "replace   text[8:10] --> decoded_text[7:12]     '팀이' --> '<unk>'",
+      "replace   text[11:15] --> decoded_text[13:18]   '준결승에' --> '<unk>'",
+      "replace   text[16:19] --> decoded_text[19:24]    '오른다' --> '<unk>'",
+      "replace   text[21:23] --> decoded_text[26:31]     '결국' --> '<unk>'",
+      "replace   text[28:29] --> decoded_text[36:41]      '조' --> '<unk>'",
+      "replace   text[31:33] --> decoded_text[43:48]     '위는' --> '<unk>'",
+      "replace   text[36:37] --> decoded_text[51:56]      '강' --> '<unk>'",
+      "replace   text[39:40] --> decoded_text[58:63]      '강' --> '<unk>'",
+      "replace   text[41:45] --> decoded_text[64:69]   '결승으로' --> '<unk>'",
+      "replace   text[47:50] --> decoded_text[71:76]    '경기를' --> '<unk>'",
+      "replace   text[51:55] --> decoded_text[77:82]   '치르지만' --> '<unk>'",
+      "replace   text[63:71] --> decoded_text[90:95] '황금의제국카지노' --> '<unk>'",
+      "replace   text[76:77] --> decoded_text[100:105]      '조' --> '<unk>'",
+      "replace   text[79:81] --> decoded_text[107:112]     '위는' --> '<unk>'",
+      "replace   text[82:84] --> decoded_text[113:118]     '주소' --> '<unk>'",
+      "replace   text[87:88] --> decoded_text[121:126]      '강' --> '<unk>'",
+      "replace   text[90:91] --> decoded_text[128:133]      '강' --> '<unk>'",
+      "replace   text[93:94] --> decoded_text[135:140]      '강' --> '<unk>'",
+      "replace   text[95:99] --> decoded_text[141:146]   '결승으로' --> '<unk>'",
+      "replace   text[101:104] --> decoded_text[148:153]    '경기를' --> '<unk>'",
+      "replace   text[105:107] --> decoded_text[154:159]     '해야' --> '<unk>'",
+      "replace   text[108:110] --> decoded_text[160:165]     '한다' --> '<unk>'"
+    ],
+    "n_oov_chars": 60,
+    "oov_ratio": 0.5405405405405406,
+    "oov_charset": "[\"여\", \"기\", \"서\", \"승\", \"리\", \"한\", \"팀\", \"이\", \"준\", \"결\", \"에\", \"오\", \"른\", \"다\", \"국\", \"조\", \"위\", \"는\", \"강\", \"으\", \"로\", \"경\", \"를\", \"치\", \"르\", \"지\", \"만\", \"황\", \"금\", \"의\", \"제\", \"카\", \"노\", \"주\", \"소\", \"해\", \"야\"]"
+  },
+  {
+    "text": "또한이날 눈길을 주소 끈 것은 한 신인배우의 매니저였다. 황금의제국카지노 배우의 매니저 일을 하고 있다는 한 청취자의 사연에 박명수는 '실시간 검색어 1위'를 만들어주겠다며, 통화연결을 했다.",
+    "decoded_text": "<unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>. <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> '<unk> <unk> 1<unk>'<unk> <unk>, <unk> <unk>.",
+    "diff": [
+      "replace   text[0:4] --> decoded_text[0:5]   '또한이날' --> '<unk>'",
+      "replace   text[5:8] --> decoded_text[6:11]    '눈길을' --> '<unk>'",
+      "replace   text[9:11] --> decoded_text[12:17]     '주소' --> '<unk>'",
+      "replace   text[12:13] --> decoded_text[18:23]      '끈' --> '<unk>'",
+      "replace   text[14:16] --> decoded_text[24:29]     '것은' --> '<unk>'",
+      "replace   text[17:18] --> decoded_text[30:35]      '한' --> '<unk>'",
+      "replace   text[19:24] --> decoded_text[36:41]  '신인배우의' --> '<unk>'",
+      "replace   text[25:30] --> decoded_text[42:47]  '매니저였다' --> '<unk>'",
+      "replace   text[32:40] --> decoded_text[49:54] '황금의제국카지노' --> '<unk>'",
+      "replace   text[41:44] --> decoded_text[55:60]    '배우의' --> '<unk>'",
+      "replace   text[45:48] --> decoded_text[61:66]    '매니저' --> '<unk>'",
+      "replace   text[49:51] --> decoded_text[67:72]     '일을' --> '<unk>'",
+      "replace   text[52:54] --> decoded_text[73:78]     '하고' --> '<unk>'",
+      "replace   text[55:58] --> decoded_text[79:84]    '있다는' --> '<unk>'",
+      "replace   text[59:60] --> decoded_text[85:90]      '한' --> '<unk>'",
+      "replace   text[61:65] --> decoded_text[91:96]   '청취자의' --> '<unk>'",
+      "replace   text[66:69] --> decoded_text[97:102]    '사연에' --> '<unk>'",
+      "replace   text[70:74] --> decoded_text[103:108]   '박명수는' --> '<unk>'",
+      "replace   text[76:79] --> decoded_text[110:115]    '실시간' --> '<unk>'",
+      "replace   text[80:83] --> decoded_text[116:121]    '검색어' --> '<unk>'",
+      "replace   text[85:86] --> decoded_text[123:128]      '위' --> '<unk>'",
+      "replace   text[87:88] --> decoded_text[129:134]      '를' --> '<unk>'",
+      "replace   text[89:96] --> decoded_text[135:140] '만들어주겠다며' --> '<unk>'",
+      "replace   text[98:103] --> decoded_text[142:147]  '통화연결을' --> '<unk>'",
+      "replace   text[104:106] --> decoded_text[148:153]     '했다' --> '<unk>'"
+    ],
+    "n_oov_chars": 78,
+    "oov_ratio": 0.7289719626168224,
+    "oov_charset": "[\"또\", \"한\", \"이\", \"날\", \"눈\", \"길\", \"을\", \"주\", \"소\", \"끈\", \"것\", \"은\", \"신\", \"인\", \"배\", \"우\", \"의\", \"매\", \"니\", \"저\", \"였\", \"다\", \"황\", \"금\", \"제\", \"국\", \"카\", \"지\", \"노\", \"일\", \"하\", \"고\", \"있\", \"는\", \"청\", \"취\", \"자\", \"사\", \"연\", \"에\", \"박\", \"명\", \"수\", \"실\", \"시\", \"간\", \"검\", \"색\", \"어\", \"위\", \"를\", \"만\", \"들\", \"겠\", \"며\", \"통\", \"화\", \"결\", \"했\"]"
+  },
+  {
+    "text": "하지만이번 황금의제국카지노 시즌, 호날두와 이과인이 다시 주소 한솥밥을 먹는 일이 성사됐다. 호날두가 ‘빅 사이닝’을 통해 유벤투스로 옮겼기 때문이다.",
+    "decoded_text": "<unk> <unk> <unk>, <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>. <unk> ‘<unk> <unk>’<unk> <unk> <unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[0:5] --> decoded_text[0:5]  '하지만이번' --> '<unk>'",
+      "replace   text[6:14] --> decoded_text[6:11] '황금의제국카지노' --> '<unk>'",
+      "replace   text[15:17] --> decoded_text[12:17]     '시즌' --> '<unk>'",
+      "replace   text[19:23] --> decoded_text[19:24]   '호날두와' --> '<unk>'",
+      "replace   text[24:28] --> decoded_text[25:30]   '이과인이' --> '<unk>'",
+      "replace   text[29:31] --> decoded_text[31:36]     '다시' --> '<unk>'",
+      "replace   text[32:34] --> decoded_text[37:42]     '주소' --> '<unk>'",
+      "replace   text[35:39] --> decoded_text[43:48]   '한솥밥을' --> '<unk>'",
+      "replace   text[40:42] --> decoded_text[49:54]     '먹는' --> '<unk>'",
+      "replace   text[43:45] --> decoded_text[55:60]     '일이' --> '<unk>'",
+      "replace   text[46:50] --> decoded_text[61:66]   '성사됐다' --> '<unk>'",
+      "replace   text[52:56] --> decoded_text[68:73]   '호날두가' --> '<unk>'",
+      "replace   text[58:59] --> decoded_text[75:80]      '빅' --> '<unk>'",
+      "replace   text[60:63] --> decoded_text[81:86]    '사이닝' --> '<unk>'",
+      "replace   text[64:65] --> decoded_text[87:92]      '을' --> '<unk>'",
+      "replace   text[66:68] --> decoded_text[93:98]     '통해' --> '<unk>'",
+      "replace   text[69:74] --> decoded_text[99:104]  '유벤투스로' --> '<unk>'",
+      "replace   text[75:78] --> decoded_text[105:110]    '옮겼기' --> '<unk>'",
+      "replace   text[79:83] --> decoded_text[111:116]   '때문이다' --> '<unk>'"
+    ],
+    "n_oov_chars": 62,
+    "oov_ratio": 0.7380952380952381,
+    "oov_charset": "[\"하\", \"지\", \"만\", \"이\", \"번\", \"황\", \"금\", \"의\", \"제\", \"국\", \"카\", \"노\", \"시\", \"즌\", \"호\", \"날\", \"두\", \"와\", \"과\", \"인\", \"다\", \"주\", \"소\", \"한\", \"솥\", \"밥\", \"을\", \"먹\", \"는\", \"일\", \"성\", \"사\", \"됐\", \"가\", \"빅\", \"닝\", \"통\", \"해\", \"유\", \"벤\", \"투\", \"스\", \"로\", \"옮\", \"겼\", \"기\", \"때\", \"문\"]"
+  },
+  {
+    "text": "현대캐피탈은삼성화재와 시범경기를 위해 홍천에 황금의제국카지노 주소 왔다.",
+    "decoded_text": "<unk> <unk> <unk> <unk> <unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[0:11] --> decoded_text[0:5] '현대캐피탈은삼성화재와' --> '<unk>'",
+      "replace   text[12:17] --> decoded_text[6:11]  '시범경기를' --> '<unk>'",
+      "replace   text[18:20] --> decoded_text[12:17]     '위해' --> '<unk>'",
+      "replace   text[21:24] --> decoded_text[18:23]    '홍천에' --> '<unk>'",
+      "replace   text[25:33] --> decoded_text[24:29] '황금의제국카지노' --> '<unk>'",
+      "replace   text[34:36] --> decoded_text[30:35]     '주소' --> '<unk>'",
+      "replace   text[37:39] --> decoded_text[36:41]     '왔다' --> '<unk>'"
+    ],
+    "n_oov_chars": 33,
+    "oov_ratio": 0.825,
+    "oov_charset": "[\"현\", \"대\", \"캐\", \"피\", \"탈\", \"은\", \"삼\", \"성\", \"화\", \"재\", \"와\", \"시\", \"범\", \"경\", \"기\", \"를\", \"위\", \"해\", \"홍\", \"천\", \"에\", \"황\", \"금\", \"의\", \"제\", \"국\", \"카\", \"지\", \"노\", \"주\", \"소\", \"왔\", \"다\"]"
+  },
+  {
+    "text": "사실자매가 나란히 앉아 인터뷰를 한다는 게 쑥스러울 법도 한데, 주소 둘 사이에는 어떤 거리낌도 없었다. 마치 하루에 한 번씩 만나는 친구 같은 느낌이 황금의제국카지노 강했다.",
+    "decoded_text": "<unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>, <unk> <unk> <unk> <unk> <unk> <unk>. <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk> <unk>.",
+    "diff": [
+      "replace   text[0:5] --> decoded_text[0:5]  '사실자매가' --> '<unk>'",
+      "replace   text[6:9] --> decoded_text[6:11]    '나란히' --> '<unk>'",
+      "replace   text[10:12] --> decoded_text[12:17]     '앉아' --> '<unk>'",
+      "replace   text[13:17] --> decoded_text[18:23]   '인터뷰를' --> '<unk>'",
+      "replace   text[18:21] --> decoded_text[24:29]    '한다는' --> '<unk>'",
+      "replace   text[22:23] --> decoded_text[30:35]      '게' --> '<unk>'",
+      "replace   text[24:28] --> decoded_text[36:41]   '쑥스러울' --> '<unk>'",
+      "replace   text[29:31] --> decoded_text[42:47]     '법도' --> '<unk>'",
+      "replace   text[32:34] --> decoded_text[48:53]     '한데' --> '<unk>'",
+      "replace   text[36:38] --> decoded_text[55:60]     '주소' --> '<unk>'",
+      "replace   text[39:40] --> decoded_text[61:66]      '둘' --> '<unk>'",
+      "replace   text[41:45] --> decoded_text[67:72]   '사이에는' --> '<unk>'",
+      "replace   text[46:48] --> decoded_text[73:78]     '어떤' --> '<unk>'",
+      "replace   text[49:53] --> decoded_text[79:84]   '거리낌도' --> '<unk>'",
+      "replace   text[54:57] --> decoded_text[85:90]    '없었다' --> '<unk>'",
+      "replace   text[59:61] --> decoded_text[92:97]     '마치' --> '<unk>'",
+      "replace   text[62:65] --> decoded_text[98:103]    '하루에' --> '<unk>'",
+      "replace   text[66:67] --> decoded_text[104:109]      '한' --> '<unk>'",
+      "replace   text[68:70] --> decoded_text[110:115]     '번씩' --> '<unk>'",
+      "replace   text[71:74] --> decoded_text[116:121]    '만나는' --> '<unk>'",
+      "replace   text[75:77] --> decoded_text[122:127]     '친구' --> '<unk>'",
+      "replace   text[78:80] --> decoded_text[128:133]     '같은' --> '<unk>'",
+      "replace   text[81:84] --> decoded_text[134:139]    '느낌이' --> '<unk>'",
+      "replace   text[85:93] --> decoded_text[140:145] '황금의제국카지노' --> '<unk>'",
+      "replace   text[94:97] --> decoded_text[146:151]    '강했다' --> '<unk>'"
+    ],
+    "n_oov_chars": 71,
+    "oov_ratio": 0.7244897959183674,
+    "oov_charset": "[\"사\", \"실\", \"자\", \"매\", \"가\", \"나\", \"란\", \"히\", \"앉\", \"아\", \"인\", \"터\", \"뷰\", \"를\", \"한\", \"다\", \"는\", \"게\", \"쑥\", \"스\", \"러\", \"울\", \"법\", \"도\", \"데\", \"주\", \"소\", \"둘\", \"이\", \"에\", \"어\", \"떤\", \"거\", \"리\", \"낌\", \"없\", \"었\", \"마\", \"치\", \"하\", \"루\", \"번\", \"씩\", \"만\", \"친\", \"구\", \"같\", \"은\", \"느\", \"황\", \"금\", \"의\", \"제\", \"국\", \"카\", \"지\", \"노\", \"강\", \"했\"]"
+  }
+]

stats/compression_rate/ClueAI.PromptCLUE-base @ cc100.zh-Hans.diff.json

@@ -0,0 +1,157 @@
+[
+  {
+    "text": "卍招财带什么佛牌卍(www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的。近日，编辑专门联系到山西传奇北京现代汽车4S店得知，店内朗动车型有现车供应，现阶段购车可享受最高6000元优惠幅度，具体的车型和价格情况请见下表，同时感兴趣的朋友还可致电4008112233转3456详询：",
+    "decoded_text": "<unk>招财带什么佛牌<unk>(www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职,并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生,曾任通用汽车在中国合资公司的。近日,编辑专门联系到山西传奇北京现代汽车4S店得知,店内朗动车型有现车供应,现阶段购车可享受最高6000元优惠幅度,具体的车型和价格情况请见下表,同时感兴趣的朋友还可致电4008112233转3456详询:",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:5]      '卍' --> '<unk>'",
+      "replace   text[8:9] --> decoded_text[12:17]      '卍' --> '<unk>'",
+      "replace   text[57:58] --> decoded_text[65:66]      '，' --> ','",
+      "replace   text[95:96] --> decoded_text[103:104]      '，' --> ','",
+      "replace   text[113:114] --> decoded_text[121:122]      '，' --> ','",
+      "replace   text[136:137] --> decoded_text[144:145]      '，' --> ','",
+      "replace   text[148:149] --> decoded_text[156:157]      '，' --> ','",
+      "replace   text[168:169] --> decoded_text[176:177]      '，' --> ','",
+      "replace   text[183:184] --> decoded_text[191:192]      '，' --> ','",
+      "replace   text[213:214] --> decoded_text[221:222]      '：' --> ':'"
+    ],
+    "n_oov_chars": 10,
+    "oov_ratio": 0.04672897196261682,
+    "oov_charset": "[\"卍\", \"，\", \"：\"]"
+  },
+  {
+    "text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期，一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下，这对夫妇经历了惊心动魄的３小时，终于在飞机起飞前５分钟，登上返程的航班。",
+    "decoded_text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期,一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下,这对夫妇经历了惊心动魄的3小时,终于在飞机起飞前5分钟,登上返程的航班。",
+    "diff": [
+      "replace   text[51:52] --> decoded_text[51:52]      '，' --> ','",
+      "replace   text[87:88] --> decoded_text[87:88]      '，' --> ','",
+      "replace   text[100:101] --> decoded_text[100:101]      '３' --> '3'",
+      "replace   text[103:104] --> decoded_text[103:104]      '，' --> ','",
+      "replace   text[112:113] --> decoded_text[112:113]      '５' --> '5'",
+      "replace   text[115:116] --> decoded_text[115:116]      '，' --> ','"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.04838709677419355,
+    "oov_charset": "[\"，\", \"３\", \"５\"]"
+  },
+  {
+    "text": "招财带什么佛牌张德江在致辞中表示，中法建交开启了中法两个伟大国家友好关系的新纪元，树立了不同社会制度国家和平共处的新典范，对国际战略格局产生了重大而深远的影响。",
+    "decoded_text": "招财带什么佛牌张德江在致辞中表示,中法建交开启了中法两个伟大国家友好关系的新纪元,树立了不同社会制度国家和平共处的新典范,对国际战略格局产生了重大而深远的影响。",
+    "diff": [
+      "replace   text[16:17] --> decoded_text[16:17]      '，' --> ','",
+      "replace   text[40:41] --> decoded_text[40:41]      '，' --> ','",
+      "replace   text[60:61] --> decoded_text[60:61]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.0375,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "招财带什么佛牌科斯格罗夫一直供职于军队，曾被派往马来西亚、越南、英国、印度、美国工作。1999年，他成为联合国驻东帝汶部队司令，监督东帝汶向独立国家的过渡。",
+    "decoded_text": "招财带什么佛牌科斯格罗夫一直供职于军队,曾被派往马来西亚、越南、英国、印度、美国工作。1999年,他成为联合国驻东帝汶部队司令,监督东帝汶向独立国家的过渡。",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:20]      '，' --> ','",
+      "replace   text[48:49] --> decoded_text[48:49]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.038461538461538464,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "1月28日电据香港《明报》消息，在庆祝披头士进军美国音乐市场50周年的纪念日子，格莱美向两名仅存成员：保罗麦卡尼及灵高史达(RingoStarr)颁发终身成就奖，显得别具意义。为了隆重其事，大会请来金像影后茱莉亚••罗伯茨(JuliaRoberts)负责介绍二人出场，保罗在拍档的鼓声和应下，先献唱新歌《QueenieEye》，然后轮到后者演绎旧作《Photograph》，带领歌迷重温昔日的美好情怀。",
+    "decoded_text": "1月28日电据香港《明报》消息,在庆祝披头士进军美国音乐市场50周年的纪念日子,格莱美向两名仅存成员:保罗麦卡尼及灵高史达(RingoStarr)颁发终身成就奖,显得别具意义。为了隆重其事,大会请来金像影后茱莉亚••罗伯茨(JuliaRoberts)负责介绍二人出场,保罗在拍档的鼓声和应下,先献唱新歌《QueenieEye》,然后轮到后者演绎旧作《Photograph》,带领歌迷重温昔日的美好情怀。",
+    "diff": [
+      "replace   text[15:16] --> decoded_text[15:16]      '，' --> ','",
+      "replace   text[39:40] --> decoded_text[39:40]      '，' --> ','",
+      "replace   text[50:51] --> decoded_text[50:51]      '：' --> ':'",
+      "replace   text[80:81] --> decoded_text[80:81]      '，' --> ','",
+      "replace   text[94:95] --> decoded_text[94:95]      '，' --> ','",
+      "replace   text[133:134] --> decoded_text[133:134]      '，' --> ','",
+      "replace   text[145:146] --> decoded_text[145:146]      '，' --> ','",
+      "replace   text[163:164] --> decoded_text[163:164]      '，' --> ','",
+      "replace   text[186:187] --> decoded_text[186:187]      '，' --> ','"
+    ],
+    "n_oov_chars": 9,
+    "oov_ratio": 0.04477611940298507,
+    "oov_charset": "[\"，\", \"：\"]"
+  },
+  {
+    "text": "佛牌绳哪里有卖到达目的地后，记者全程的总车费是14元，但司机到账21元，因此，司机给记者7元，除去之前支付的1元，记者净赚6元，还免费乘了本应支付14元的车。",
+    "decoded_text": "佛牌绳哪里有卖到达目的地后,记者全程的总车费是14元,但司机到账21元,因此,司机给记者7元,除去之前支付的1元,记者净赚6元,还免费乘了本应支付14元的车。",
+    "diff": [
+      "replace   text[13:14] --> decoded_text[13:14]      '，' --> ','",
+      "replace   text[26:27] --> decoded_text[26:27]      '，' --> ','",
+      "replace   text[35:36] --> decoded_text[35:36]      '，' --> ','",
+      "replace   text[38:39] --> decoded_text[38:39]      '，' --> ','",
+      "replace   text[46:47] --> decoded_text[46:47]      '，' --> ','",
+      "replace   text[56:57] --> decoded_text[56:57]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.08860759493670886,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的副总裁，上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。(方赵春)",
+    "decoded_text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职,并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生,曾任通用汽车在中国合资公司的副总裁,上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。(方赵春)",
+    "diff": [
+      "replace   text[27:28] --> decoded_text[27:28]      '，' --> ','",
+      "replace   text[65:66] --> decoded_text[65:66]      '，' --> ','",
+      "replace   text[83:84] --> decoded_text[83:84]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.02608695652173913,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "大腕导演不可能每部作品都是你喜欢的东西，如果他一时控制不住情绪，就让他骂吧。他也是人，不是神，人就有自己的脾气。他这次执导春晚，对我也开骂：“老毕，我跟你说了这么长时间，让你走2号位，你非要走1号位，你想跟我较死劲是不是？”这也是骂人。但因为你非常了解他，他也不一定有恶意。",
+    "decoded_text": "大腕导演不可能每部作品都是你喜欢的东西,如果他一时控制不住情绪,就让他骂吧。他也是人,不是神,人就有自己的脾气。他这次执导春晚,对我也开骂:“老毕,我跟你说了这么长时间,让你走2号位,你非要走1号位,你想跟我较死劲是不是?”这也是骂人。但因为你非常了解他,他也不一定有恶意。",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:20]      '，' --> ','",
+      "replace   text[31:32] --> decoded_text[31:32]      '，' --> ','",
+      "replace   text[42:43] --> decoded_text[42:43]      '，' --> ','",
+      "replace   text[46:47] --> decoded_text[46:47]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','",
+      "replace   text[69:70] --> decoded_text[69:70]      '：' --> ':'",
+      "replace   text[73:74] --> decoded_text[73:74]      '，' --> ','",
+      "replace   text[84:85] --> decoded_text[84:85]      '，' --> ','",
+      "replace   text[91:92] --> decoded_text[91:92]      '，' --> ','",
+      "replace   text[99:100] --> decoded_text[99:100]      '，' --> ','",
+      "replace   text[110:111] --> decoded_text[110:111]      '？' --> '?'",
+      "replace   text[127:128] --> decoded_text[127:128]      '，' --> ','"
+    ],
+    "n_oov_chars": 12,
+    "oov_ratio": 0.08759124087591241,
+    "oov_charset": "[\"，\", \"：\", \"？\"]"
+  },
+  {
+    "text": "招财带什么佛牌不过挣得多，娜姐也花得多。有媒体报道，教练卡洛斯的年薪高达360万元人民币，李娜每年的花费是600多万元。用一个形象的比喻，娜姐每天一睁眼，将近2万元就出去了。",
+    "decoded_text": "招财带什么佛牌不过挣得多,娜姐也花得多。有媒体报道,教练卡洛斯的年薪高达360万元人民币,李娜每年的花费是600多万元。用一个形象的比喻,娜姐每天一睁眼,将近2万元就出去了。",
+    "diff": [
+      "replace   text[12:13] --> decoded_text[12:13]      '，' --> ','",
+      "replace   text[25:26] --> decoded_text[25:26]      '，' --> ','",
+      "replace   text[44:45] --> decoded_text[44:45]      '，' --> ','",
+      "replace   text[68:69] --> decoded_text[68:69]      '，' --> ','",
+      "replace   text[76:77] --> decoded_text[76:77]      '，' --> ','"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.05747126436781609,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "“金庸的小说《连城诀》里有一个反派人物‘血刀老祖’，一般的坏人做坏事都是心虚的，但是这个人物却做得心安理得，理直气壮，我遇到的这个的哥就是这样。”王先生向记者描述经过时第一句话便这样说。原来，昨日王先生在搭出租车时，遇到的的哥不仅“拾金而昧”，还“昧”得理直气壮。",
+    "decoded_text": "“金庸的小说《连城诀》里有一个反派人物‘血刀老祖’,一般的坏人做坏事都是心虚的,但是这个人物却做得心安理得,理直气壮,我遇到的这个的哥就是这样。”王先生向记者描述经过时第一句话便这样说。原来,昨日王先生在搭出租车时,遇到的的哥不仅“拾金而昧”,还“昧”得理直气壮。",
+    "diff": [
+      "replace   text[25:26] --> decoded_text[25:26]      '，' --> ','",
+      "replace   text[39:40] --> decoded_text[39:40]      '，' --> ','",
+      "replace   text[53:54] --> decoded_text[53:54]      '，' --> ','",
+      "replace   text[58:59] --> decoded_text[58:59]      '，' --> ','",
+      "replace   text[95:96] --> decoded_text[95:96]      '，' --> ','",
+      "replace   text[107:108] --> decoded_text[107:108]      '，' --> ','",
+      "replace   text[121:122] --> decoded_text[121:122]      '，' --> ','"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.05303030303030303,
+    "oov_charset": "[\"，\"]"
+  }
+]

stats/compression_rate/CohereForAI.aya-101 @ cc100.ar.diff.json

@@ -0,0 +1,103 @@
+[
+  {
+    "text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة .. ( 1)",
+    "decoded_text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة.. ( 1)",
+    "diff": [
+      "delete    text[42:43] --> decoded_text[42:42]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "الهدف من دراسة التاريخ هو لنتعرف احوال الشعوب , نتخذ عبرا ودروسا تساعدنا على بناء مستقبل لنا.",
+    "decoded_text": "الهدف من دراسة التاريخ هو لنتعرف احوال الشعوب, نتخذ عبرا ودروسا تساعدنا على بناء مستقبل لنا.",
+    "diff": [
+      "delete    text[45:46] --> decoded_text[45:45]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "الحضارة هي مجموعة من الانجازات التي حققتها الامة من خلال تاريخها في جميع المجالات .",
+    "decoded_text": "الحضارة هي مجموعة من الانجازات التي حققتها الامة من خلال تاريخها في جميع المجالات.",
+    "diff": [
+      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يعود الكاتب محمد الشريف زرقين صاحب كتاب \" ربيب الدولة، الخوف من المجهول \" مرة أخرى لقضية الأطفال مجهولي الهوية في كتاب جديد اختار هذه المرة أن يعالج فيه وضعيتهم من الجانب القانوني و الديني، بهدف حث علماء الدين و المشرعين القانونيين لإعادة النظر في فتاويهم و القوانين المجحفة التي تتحكم في مصائر هذه الفئة الضعيفة في المجتمع ، كما اخبرنا في هذا الحوار الخاص ، مصرحا انه لو كان الخيار بيده لاختار البقاء مع أمه البيولوجية التي اضطرت للتخلي عنه عند ولادته. الكتاب الذي عرف أيضا مساهمة كل من مليكة بن عراب آتو عضوة في البرلمان الأوربي ، المحامية بن براهم فطيمة و رئيس جامعة الأمير عبد القادر بقسنطينة السيد عبد الله بوخلخال في بعض أجزائه بمداخلات حول الموضوع، يطرح تساؤلات مبرهنة موجهة لكل من المشرعين و المفتيين كما قال لنا السيد زرقين مشيرا أنه يتوقع أن تحفز هذه الأخيرة على الاجتهاد لتحسين وضعية الأطفال المسعفين و ضمان حقوقهم . حاورته: أمينة جنان",
+    "decoded_text": "يعود الكاتب محمد الشريف زرقين صاحب كتاب \" ربيب الدولة، الخوف من المجهول \" مرة أخرى لقضية الأطفال مجهولي الهوية في كتاب جديد اختار هذه المرة أن يعالج فيه وضعيتهم من الجانب القانوني و الديني، بهدف حث علماء الدين و المشرعين القانونيين لإعادة النظر في فتاويهم و القوانين المجحفة التي تتحكم في مصائر هذه الفئة الضعيفة في المجتمع ، كما اخبرنا في هذا الحوار الخاص ، مصرحا انه لو كان الخيار بيده لاختار البقاء مع أمه البيولوجية التي اضطرت للتخلي عنه عند ولادته. الكتاب الذي عرف أيضا مساهمة كل من مليكة بن عراب آتو عضوة في البرلمان الأوربي ، المحامية بن براهم فطيمة و رئيس جامعة الأمير عبد القادر بقسنطينة السيد عبد الله بوخلخال في بعض أجزائه بمداخلات حول الموضوع، يطرح تساؤلات مبرهنة موجهة لكل من المشرعين و المفتيين كما قال لنا السيد زرقين مشيرا أنه يتوقع أن تحفز هذه الأخيرة على الاجتهاد لتحسين وضعية الأطفال المسعفين و ضمان حقوقهم. حاورته: أمينة جنان",
+    "diff": [
+      "delete    text[825:826] --> decoded_text[825:825]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "\"مولودين باسم مجهول \" يطرح الكثير من التساؤلات الشجاعة التي تعيد النظر بعمق في هذه الفتاوي ، داعيا علماء الدين للاجتهاد حسب متطلبات عصر ال \"آ دي ان \" و أنا مستعد للجلوس على طاولة واحدة معهم لإجراء مناضرة أقدم فيها أدلة من القرآن لإبراز تناقضات فادحة و فتاويهم المغرضة التي تهدد مصائر الملايين من الأطفال في العالم ، فليس من حق المفتى أن يحرف آية أو حديث أو يتلاعب بتفسيرها لتتحول إلى قوانين مجحفة في حقهم لدرجة أن الطفل يشعر انه ما كان يجب أن يولد و أن يأتي لهذه الحياة . رغم أن الرسول عليه الصلاة و السلام يقول في أحد أحاديثه الصحيحة أن الله يرسل في اليوم الأربعين من تكون الجنين في بطن أمه ملكا ينفخ فيه الروح ، و هذا دليل على أن الحياة بإرادة من الله لجميع الناس أيا كانوا ، فبأي حق يتعدى البشر على حق غيرهم في الوجود .",
+    "decoded_text": "\"مولودين باسم مجهول \" يطرح الكثير من التساؤلات الشجاعة التي تعيد النظر بعمق في هذه الفتاوي ، داعيا علماء الدين للاجتهاد حسب متطلبات عصر ال \"آ دي ان \" و أنا مستعد للجلوس على طاولة واحدة معهم لإجراء مناضرة أقدم فيها أدلة من القرآن لإبراز تناقضات فادحة و فتاويهم المغرضة التي تهدد مصائر الملايين من الأطفال في العالم ، فليس من حق المفتى أن يحرف آية أو حديث أو يتلاعب بتفسيرها لتتحول إلى قوانين مجحفة في حقهم لدرجة أن الطفل يشعر انه ما كان يجب أن يولد و أن يأتي لهذه الحياة. رغم أن الرسول عليه الصلاة و السلام يقول في أحد أحاديثه الصحيحة أن الله يرسل في اليوم الأربعين من تكون الجنين في بطن أمه ملكا ينفخ فيه الروح ، و هذا دليل على أن الحياة بإرادة من الله لجميع الناس أيا كانوا ، فبأي حق يتعدى البشر على حق غيرهم في الوجود.",
+    "diff": [
+      "delete    text[469:470] --> decoded_text[469:469]      ' ' --> ''",
+      "delete    text[720:721] --> decoded_text[719:719]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يجب أن تتحرك الأمة الإسلامية في هذا السياق لأن المجتمع الذي لا يأخذ أطفاله المحرومين من يدهم ليعبر بهم بر الأمان لا يستحق العيش و ليست له أية كرامة .",
+    "decoded_text": "يجب أن تتحرك الأمة الإسلامية في هذا السياق لأن المجتمع الذي لا يأخذ أطفاله المحرومين من يدهم ليعبر بهم بر الأمان لا يستحق العيش و ليست له أية كرامة.",
+    "diff": [
+      "delete    text[147:148] --> decoded_text[147:147]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يستضيف راشد الفوزان في حلقة هذا الأسبوع من برنامج \"بموضوعية\" الرئيس التنفيذي للمجموعة السعودية للورق، حسان مريزن عسيري، للحديث عن نشأة المجموعة والمجالات التي تغطيها في السوق السعودي. ...",
+    "decoded_text": "يستضيف راشد الفوزان في حلقة هذا الأسبوع من برنامج \"بموضوعية\" الرئيس التنفيذي للمجموعة السعودية للورق، حسان مريزن عسيري، للحديث عن نشأة المجموعة والمجالات التي تغطيها في السوق السعودي....",
+    "diff": [
+      "delete    text[183:184] --> decoded_text[183:183]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يلتقي راشد الفوزان في برنامجه \"بموضوعية\" برئيس مجلس إدارة مجموعة \"القريان\" التجارية، محمد بن قريان القحطاني، والذي تناول عدة موضوعات أهمها أن المجموعة تهتم بعمليات إعادة تدوير المعادن خاصة الحديد والنحاس، وأن نشاط مجموعة \"القريان\" بدأ منذ 25 عاماً في السوق السعودي، واستعرض أيضاً ...",
+    "decoded_text": "يلتقي راشد الفوزان في برنامجه \"بموضوعية\" برئيس مجلس إدارة مجموعة \"القريان\" التجارية، محمد بن قريان القحطاني، والذي تناول عدة موضوعات أهمها أن المجموعة تهتم بعمليات إعادة تدوير المعادن خاصة الحديد والنحاس، وأن نشاط مجموعة \"القريان\" بدأ منذ 25 عاماً في السوق السعودي، واستعرض أيضاً...",
+    "diff": [
+      "delete    text[279:280] --> decoded_text[279:279]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "بمشاركة باحثين ومختصين , وتضمنت الدورة محاضرات علمية وعملية في قاعة قيادة شرطة البصرة",
+    "decoded_text": "بمشاركة باحثين ومختصين, وتضمنت الدورة محاضرات علمية وعملية في قاعة قيادة شرطة البصرة",
+    "diff": [
+      "delete    text[22:23] --> decoded_text[22:22]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "واقامة دورات لمنتسبي النجدة والمرور لانهم اقرب للناس وتماسهم مع المواطنين .",
+    "decoded_text": "واقامة دورات لمنتسبي النجدة والمرور لانهم اقرب للناس وتماسهم مع المواطنين.",
+    "diff": [
+      "delete    text[73:74] --> decoded_text[73:73]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/CohereForAI.aya-101 @ cc100.de.diff.json

@@ -0,0 +1,102 @@
+[
+  {
+    "text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen * !",
+    "decoded_text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen *!",
+    "diff": [
+      "delete    text[67:68] --> decoded_text[67:67]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Laut dieser Studie sind es ....",
+    "decoded_text": "Laut dieser Studie sind es....",
+    "diff": [
+      "delete    text[26:27] --> decoded_text[26:26]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "die Erbinformation für das Hormon Insulin aus menschlichen Zellen zu isolieren ...",
+    "decoded_text": "die Erbinformation für das Hormon Insulin aus menschlichen Zellen zu isolieren...",
+    "diff": [
+      "delete    text[78:79] --> decoded_text[78:78]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "decoded_text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "diff": [
+      "replace   text[134:136] --> decoded_text[134:135]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "decoded_text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "diff": [
+      "replace   text[488:490] --> decoded_text[488:489]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "decoded_text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "diff": [
+      "replace   text[193:195] --> decoded_text[193:194]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "E-Mountainbike: 75% vormontiert geliefert. Prüfung aller Schrauben auf Festigkeit ,",
+    "decoded_text": "E-Mountainbike: 75% vormontiert geliefert. Prüfung aller Schrauben auf Festigkeit,",
+    "diff": [
+      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Da sprach David: Ich will Barmherzigkeit tun an Hanun, dem Sohn Nahas, wie sein Vater an mir Barmherzigkeit getan hat. Und sandte hin und ließ ihn trösten durch seine Knechte über seinen Vater. Da nun die Knechte Davids ins Land der Kinder Ammon kamen,",
+    "decoded_text": "Da sprach David: Ich will Barmherzigkeit tun an Hanun, dem Sohn Nahas, wie sein Vater an mir Barmherzigkeit getan hat. Und sandte hin und ließ ihn trösten durch seine Knechte Ã1⁄4ber seinen Vater. Da nun die Knechte Davids ins Land der Kinder Ammon kamen,",
+    "diff": [
+      "replace   text[178:179] --> decoded_text[178:181]      '¼' --> '1⁄4'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.00392156862745098,
+    "oov_charset": "[\"¼\"]"
+  },
+  {
+    "text": "Da nahm Hanun die Knechte David und schor ihnen den Bart halb und schnitt ihnen die Kleider halb ab bis an den Gürtel und ließ sie gehen.",
+    "decoded_text": "Da nahm Hanun die Knechte David und schor ihnen den Bart halb und schnitt ihnen die Kleider halb ab bis an den GÃ1⁄4rtel und ließ sie gehen.",
+    "diff": [
+      "replace   text[113:114] --> decoded_text[113:116]      '¼' --> '1⁄4'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007194244604316547,
+    "oov_charset": "[\"¼\"]"
+  },
+  {
+    "text": "Und die Kinder Ammon zogen aus und rüsteten sich zum Streit vor dem Eingang des Tors. Die Syrer aber von Zoba, von Rehob, von Is-Tob und von Maacha waren allein im Felde.",
+    "decoded_text": "Und die Kinder Ammon zogen aus und rÃ1⁄4steten sich zum Streit vor dem Eingang des Tors. Die Syrer aber von Zoba, von Rehob, von Is-Tob und von Maacha waren allein im Felde.",
+    "diff": [
+      "replace   text[37:38] --> decoded_text[37:40]      '¼' --> '1⁄4'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005847953216374269,
+    "oov_charset": "[\"¼\"]"
+  }
+]

stats/compression_rate/CohereForAI.aya-101 @ cc100.en.diff.json

@@ -0,0 +1,103 @@
+[
+  {
+    "text": "and yeah im a boy,and no, im not g*y, im a nice guy. i dont love his songs or anything , but he's not that bad tbh.",
+    "decoded_text": "and yeah im a boy,and no, im not g*y, im a nice guy. i dont love his songs or anything, but he's not that bad tbh.",
+    "diff": [
+      "delete    text[86:87] --> decoded_text[86:86]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Justin serenaded wonderful or better than a great I like popular songs, particularly as it is talented. all those who hate Justin are g**s because they feel jealous of him because he is handsome at the same time a rising singer and a small age. I myself appreciate the wonderful artist with this beautiful and talented .",
+    "decoded_text": "Justin serenaded wonderful or better than a great I like popular songs, particularly as it is talented. all those who hate Justin are g**s because they feel jealous of him because he is handsome at the same time a rising singer and a small age. I myself appreciate the wonderful artist with this beautiful and talented.",
+    "diff": [
+      "delete    text[318:319] --> decoded_text[318:318]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Soften the landing zones with a pair of Rubber Mats , made from dyed rubber chips, heat compressed and available in dark green or brick red.",
+    "decoded_text": "Soften the landing zones with a pair of Rubber Mats, made from dyed rubber chips, heat compressed and available in dark green or brick red.",
+    "diff": [
+      "delete    text[51:52] --> decoded_text[51:51]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "​EEI Members have access to a wide range of reports, publications, communications, and other resources. In order to access the resources below, a member log in is required.",
+    "decoded_text": "EEI Members have access to a wide range of reports, publications, communications, and other resources. In order to access the resources below, a member log in is required.",
+    "diff": [
+      "delete    text[0:1] --> decoded_text[0:0] '\\u200b' --> ''"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005813953488372093,
+    "oov_charset": "[\"​\"]"
+  },
+  {
+    "text": "​Launched in 2017, AUPSE is a senior executive knowledge exchange and peer-to-peer networking platform created to accelerate operational excellence in the African electric power sector.",
+    "decoded_text": "Launched in 2017, AUPSE is a senior executive knowledge exchange and peer-to-peer networking platform created to accelerate operational excellence in the African electric power sector.",
+    "diff": [
+      "delete    text[0:1] --> decoded_text[0:0] '\\u200b' --> ''"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.005405405405405406,
+    "oov_charset": "[\"​\"]"
+  },
+  {
+    "text": "We're not so rough and over the top these days, so they miiiiight survive ._.",
+    "decoded_text": "We're not so rough and over the top these days, so they miiiiight survive._.",
+    "diff": [
+      "delete    text[73:74] --> decoded_text[73:73]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Just finished Hulse's \"Black River\" and simply adored the book. So pretty, overall, and much like the Kent Haruf novels, such as \"Plainsong\" that I've enjoyed over the years. \"Black River\" is surely one of the best five I've read this year. Solid Pulitzer choice, in my opinion. Side note: As I've mentioned before, I surely don't understand all of the hoopla surrounding \"The Sellout,\" with so many other worthy contenders. But, what do I know? I'm only a reader. :-) Read on ...",
+    "decoded_text": "Just finished Hulse's \"Black River\" and simply adored the book. So pretty, overall, and much like the Kent Haruf novels, such as \"Plainsong\" that I've enjoyed over the years. \"Black River\" is surely one of the best five I've read this year. Solid Pulitzer choice, in my opinion. Side note: As I've mentioned before, I surely don't understand all of the hoopla surrounding \"The Sellout,\" with so many other worthy contenders. But, what do I know? I'm only a reader. :-) Read on...",
+    "diff": [
+      "replace   text[476:480] --> decoded_text[476:479]   ' ...' --> '...'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "I really don't understand all of the hoopla over THE SELLOUT. Just a so-so book, in my opinion. Minor work. I struggled through it, and can never get back the time spent on that tome. EILEEN and HONEYDEW are sooooooo much better, not to mention THE TURNER HOUSE, TSAR, DID YOU EVER, and others. I'm reading DELICIOUS FOODS right now, and think it's a major-serious contender as well. BLACK RIVER is next on my list, and I can't wait. But, what do I know? :-) Read on ...",
+    "decoded_text": "I really don't understand all of the hoopla over THE SELLOUT. Just a so-so book, in my opinion. Minor work. I struggled through it, and can never get back the time spent on that tome. EILEEN and HONEYDEW are sooooooo much better, not to mention THE TURNER HOUSE, TSAR, DID YOU EVER, and others. I'm reading DELICIOUS FOODS right now, and think it's a major-serious contender as well. BLACK RIVER is next on my list, and I can't wait. But, what do I know? :-) Read on...",
+    "diff": [
+      "replace   text[466:470] --> decoded_text[466:469]   ' ...' --> '...'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "I have also read The Shore ,Alex, yes I agree its very good, maybe a chance. The last years I have just waited to last in the year to see who the genral public have been siding and gone for that, from a collectors point of view, it would be nice if something won which did not have a 100,000 in the first print run.",
+    "decoded_text": "I have also read The Shore,Alex, yes I agree its very good, maybe a chance. The last years I have just waited to last in the year to see who the genral public have been siding and gone for that, from a collectors point of view, it would be nice if something won which did not have a 100,000 in the first print run.",
+    "diff": [
+      "delete    text[26:27] --> decoded_text[26:26]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Moving to K-W can be confusing for anybody: how can you explain King Street, that runs north, south, east and west ?! Or streets like King and Weber, that are sometimes parallel, and yet cross each other in two places ? For someone new to the country, adjusting to life here can be even much more confusing.",
+    "decoded_text": "Moving to K-W can be confusing for anybody: how can you explain King Street, that runs north, south, east and west?! Or streets like King and Weber, that are sometimes parallel, and yet cross each other in two places? For someone new to the country, adjusting to life here can be even much more confusing.",
+    "diff": [
+      "delete    text[114:115] --> decoded_text[114:114]      ' ' --> ''",
+      "delete    text[217:218] --> decoded_text[216:216]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/CohereForAI.aya-101 @ cc100.es.diff.json

@@ -0,0 +1,106 @@
+[
+  {
+    "text": "- Mi primer consejo es el deporte, corre, anda, juega al padel, monta en bici…en definitiva…. MUÉVETE. No necesitas más de una o dos horas al día para activarte. Despejarás tu mente.",
+    "decoded_text": "- Mi primer consejo es el deporte, corre, anda, juega al padel, monta en bici...en definitiva.... MUÉVETE. No necesitas más de una o dos horas al día para activarte. Despejarás tu mente.",
+    "diff": [
+      "replace   text[77:78] --> decoded_text[77:80]      '…' --> '...'",
+      "replace   text[91:92] --> decoded_text[93:96]      '…' --> '...'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.01098901098901099,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "- Márcate dos o tres objetivos a conseguir. Pueden ser objetivos laborales, conseguir un ascenso o aumentar las ventas de la empresa; deportivos, correr 10 kms o terminar tu primera media maratón; familiares, pasar más tiempo con tus hijos, hermanos, amigos, planificar las próximas vacaciones… etc.",
+    "decoded_text": "- Márcate dos o tres objetivos a conseguir. Pueden ser objetivos laborales, conseguir un ascenso o aumentar las ventas de la empresa; deportivos, correr 10 kms o terminar tu primera media maratón; familiares, pasar más tiempo con tus hijos, hermanos, amigos, planificar las próximas vacaciones... etc.",
+    "diff": [
+      "replace   text[293:299] --> decoded_text[293:301] '… etc.' --> '... etc.'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0033444816053511705,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "- Visualiza lo que implica para ti conseguir dichos objetivos, obsérvate llegando al final de esa carrera, lo fabuloso que estás al haber perdido 10 o 15 kg, lo que podrás hacer con el dinero por tu ascenso…. ¡¡¡Imagínalo!!! La imagen mental que estés creando tiene que ser lo más clara posible, como cuando un niño pide determinado juguete y no te acepta las diferentes alternativas que le das (para hacerlo cambiar de idea) porque él tiene muy bien definido que es lo que quiere. La mente tiene poderes ilimitados, si le das las herramientas necesarias para lograr tu propósito, ella trabajará sin obstáculos. Nuestra falta de visión e indecisión suele ser una buena fuente de limitantes.",
+    "decoded_text": "- Visualiza lo que implica para ti conseguir dichos objetivos, obsérvate llegando al final de esa carrera, lo fabuloso que estás al haber perdido 10 o 15 kg, lo que podrás hacer con el dinero por tu ascenso.... ¡¡¡Imagínalo!!! La imagen mental que estés creando tiene que ser lo más clara posible, como cuando un niño pide determinado juguete y no te acepta las diferentes alternativas que le das (para hacerlo cambiar de idea) porque él tiene muy bien definido que es lo que quiere. La mente tiene poderes ilimitados, si le das las herramientas necesarias para lograr tu propósito, ella trabajará sin obstáculos. Nuestra falta de visión e indecisión suele ser una buena fuente de limitantes.",
+    "diff": [
+      "replace   text[206:207] --> decoded_text[206:209]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0014492753623188406,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "- Escribe, no importa el soporte (papel, smartphone, tablet, la palma de la mano…), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles…… Acabas de formalizar “un contrato” contigo mismo.",
+    "decoded_text": "- Escribe, no importa el soporte (papel, smartphone, tablet, la palma de la mano...), que cambios debes hacer en tu vida diaria para conseguir estas metas. No olvides que deberían ser metas a corto-medio plazo, metas reales y factibles...... Acabas de formalizar “un contrato” contigo mismo.",
+    "diff": [
+      "replace   text[80:81] --> decoded_text[80:83]      '…' --> '...'",
+      "replace   text[233:235] --> decoded_text[235:241]     '……' --> '......'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.010526315789473684,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "Ponerse metas es estar vivo, es la vida, todo es llegar, empezar, acabar, caer y levantarse. No caigas en tu sofá, no limites tu tiempo a ver la tele o estar en el bar…. un día es largo si lo aprovechas.",
+    "decoded_text": "Ponerse metas es estar vivo, es la vida, todo es llegar, empezar, acabar, caer y levantarse. No caigas en tu sofá, no limites tu tiempo a ver la tele o estar en el bar.... un día es largo si lo aprovechas.",
+    "diff": [
+      "replace   text[167:168] --> decoded_text[167:170]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.0049261083743842365,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "Seneca dijo: “no hay viento favorable para el que no sabe dónde ir…”; pon hoy mismo rumbo a tu vida.",
+    "decoded_text": "Seneca dijo: “no hay viento favorable para el que no sabe dónde ir...”; pon hoy mismo rumbo a tu vida.",
+    "diff": [
+      "replace   text[66:67] --> decoded_text[66:69]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.01,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "Actividad física , Deporte , Salud",
+    "decoded_text": "Actividad física, Deporte, Salud",
+    "diff": [
+      "delete    text[16:17] --> decoded_text[16:16]      ' ' --> ''",
+      "delete    text[26:27] --> decoded_text[25:25]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Súper! , necesito el numero 10 y 14, me haces un precio por ambos?. Gracias!",
+    "decoded_text": "Súper!, necesito el numero 10 y 14, me haces un precio por ambos?. Gracias!",
+    "diff": [
+      "delete    text[6:7] --> decoded_text[6:6]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Si compro uno de 10\" y otro de 14\" me podrías hacer precio ? La medida se toma en el diámetro del cuenco desde el exterior de la pared? O desde el interior ?",
+    "decoded_text": "Si compro uno de 10\" y otro de 14\" me podrías hacer precio? La medida se toma en el diámetro del cuenco desde el exterior de la pared? O desde el interior?",
+    "diff": [
+      "delete    text[58:59] --> decoded_text[58:58]      ' ' --> ''",
+      "delete    text[155:156] --> decoded_text[154:154]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Si , podría hacerte un precio. La medida va desde el exterior.",
+    "decoded_text": "Si, podría hacerte un precio. La medida va desde el exterior.",
+    "diff": [
+      "delete    text[2:3] --> decoded_text[2:2]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/CohereForAI.aya-101 @ cc100.fa.diff.json

@@ -0,0 +1,105 @@
+[
+  {
+    "text": "با رایانامه ارسال کنیداین را در وبلاگ بنویسید!‏در Twitter به اشتراک بگذارید‏در Facebook به اشتراک بگذارید‏اشتراک‌گذاری در Pinterest",
+    "decoded_text": "با رایانامه ارسال کنیداین را در وبلاگ بنویسید! در Twitter به اشتراک بگذارید در Facebook به اشتراک بگذارید اشتراک گذاری در Pinterest",
+    "diff": [
+      "replace   text[46:47] --> decoded_text[46:47] '\\u200f' --> ' '",
+      "replace   text[75:76] --> decoded_text[75:76] '\\u200f' --> ' '",
+      "replace   text[105:106] --> decoded_text[105:106] '\\u200f' --> ' '",
+      "replace   text[112:113] --> decoded_text[112:113] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 4,
+    "oov_ratio": 0.030534351145038167,
+    "oov_charset": "[\"‏\", \"‌\"]"
+  },
+  {
+    "text": "برچسب‌ها: شیرینی ها",
+    "decoded_text": "برچسب ها: شیرینی ها",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.05263157894736842,
+    "oov_charset": "[\"‌\"]"
+  },
+  {
+    "text": "برچسب‌ها: امریکایی, انجیر, شیرینی ها, کوکی ها",
+    "decoded_text": "برچسب ها: امریکایی, انجیر, شیرینی ها, کوکی ها",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.022222222222222223,
+    "oov_charset": "[\"‌\"]"
+  },
+  {
+    "text": "( کره از شیر درست میشه. وقتی کره رو از شیر جدا میکنن باقی مانده شیر میشه باتر میلک . اگر دسترسی به باتر میلک ندارید میتونید خودتون درستش کنید",
+    "decoded_text": "( کره از شیر درست میشه. وقتی کره رو از شیر جدا میکنن باقی مانده شیر میشه باتر میلک. اگر دسترسی به باتر میلک ندارید میتونید خودتون درستش کنید",
+    "diff": [
+      "delete    text[82:83] --> decoded_text[82:82]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "برچسب‌ها: توت فرنگی, کیک ها",
+    "decoded_text": "برچسب ها: توت فرنگی, کیک ها",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.037037037037037035,
+    "oov_charset": "[\"‌\"]"
+  },
+  {
+    "text": "برچسب‌ها: انواع سوپ و اش, جو",
+    "decoded_text": "برچسب ها: انواع سوپ و اش, جو",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.03571428571428571,
+    "oov_charset": "[\"‌\"]"
+  },
+  {
+    "text": "بادمجانها رو بشورید و سرشون رو برش بدید و داخل بادمجانها رو خالی کنید با هر چیزی که میتونید مثل قاشق بستنی و ..",
+    "decoded_text": "بادمجانها رو بشورید و سرشون رو برش بدید و داخل بادمجانها رو خالی کنید با هر چیزی که میتونید مثل قاشق بستنی و..",
+    "diff": [
+      "delete    text[108:109] --> decoded_text[108:108]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "برچسب‌ها: بادمجان, پیش غذا, دلمه ها, غذاهای ترکی",
+    "decoded_text": "برچسب ها: بادمجان, پیش غذا, دلمه ها, غذاهای ترکی",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.020833333333333332,
+    "oov_charset": "[\"‌\"]"
+  },
+  {
+    "text": "برچسب‌ها: شکلات, کیک ها",
+    "decoded_text": "برچسب ها: شکلات, کیک ها",
+    "diff": [
+      "replace   text[5:6] --> decoded_text[5:6] '\\u200c' --> ' '"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.043478260869565216,
+    "oov_charset": "[\"‌\"]"
+  },
+  {
+    "text": "بعد مقداری نمک اضافه کنید و اب بریزید \" این سوپ با اب مرغ درست میشه اما چون من گیاه خوار هستم به جاش از پودر سبزیجات استفاده کردم .. اینجـــــــــــــــا میتونید دستورش رو ببینید. (روی کلمه اینجا کیک کنید)",
+    "decoded_text": "بعد مقداری نمک اضافه کنید و اب بریزید \" این سوپ با اب مرغ درست میشه اما چون من گیاه خوار هستم به جاش از پودر سبزیجات استفاده کردم.. اینجـــــــــــــــا میتونید دستورش رو ببینید. (روی کلمه اینجا کیک کنید)",
+    "diff": [
+      "delete    text[129:130] --> decoded_text[129:129]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/CohereForAI.aya-101 @ cc100.fr.diff.json

@@ -0,0 +1,102 @@
+[
+  {
+    "text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée ?\" le matin, il y a de fortes chances que j'oublie",
+    "decoded_text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée?\" le matin, il y a de fortes chances que j'oublie",
+    "diff": [
+      "delete    text[193:194] --> decoded_text[193:193]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis !), je sais reconnaître quand j'ai tort",
+    "decoded_text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis!), je sais reconnaître quand j'ai tort",
+    "diff": [
+      "delete    text[150:151] --> decoded_text[150:150]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non ?)",
+    "decoded_text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non?)",
+    "diff": [
+      "delete    text[100:101] --> decoded_text[100:100]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Vive la non-moutonnerie !!! mais je comprends ce que tu veux dire ^^",
+    "decoded_text": "Vive la non-moutonnerie!!! mais je comprends ce que tu veux dire ^^",
+    "diff": [
+      "delete    text[23:24] --> decoded_text[23:23]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime !\")",
+    "decoded_text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime!\")",
+    "diff": [
+      "delete    text[277:278] --> decoded_text[277:277]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Quand les élus se réunissent-ils ?",
+    "decoded_text": "Quand les élus se réunissent-ils?",
+    "diff": [
+      "delete    text[32:33] --> decoded_text[32:32]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- Dans la vie, quel est ton surnom ? Insérez votre réponse ici",
+    "decoded_text": "- Dans la vie, quel est ton surnom? Insérez votre réponse ici",
+    "diff": [
+      "delete    text[34:35] --> decoded_text[34:34]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- Si tu étais une couleur, tu serais… Insérez votre réponse ici",
+    "decoded_text": "- Si tu étais une couleur, tu serais... Insérez votre réponse ici",
+    "diff": [
+      "replace   text[36:37] --> decoded_text[36:39]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015873015873015872,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "- Si tu étais une plante, tu serais… Insérez votre réponse ici",
+    "decoded_text": "- Si tu étais une plante, tu serais... Insérez votre réponse ici",
+    "diff": [
+      "replace   text[35:36] --> decoded_text[35:38]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.016129032258064516,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "- Si tu étais un aliment, tu serais… Insérez votre réponse ici",
+    "decoded_text": "- Si tu étais un aliment, tu serais... Insérez votre réponse ici",
+    "diff": [
+      "replace   text[35:36] --> decoded_text[35:38]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.016129032258064516,
+    "oov_charset": "[\"…\"]"
+  }
+]

stats/compression_rate/CohereForAI.aya-101 @ cc100.ja.diff.json

@@ -0,0 +1,103 @@
+[
+  {
+    "text": "午後から雨が心配だったので遠出はせず、『ふれあいロード』を走って来ました！",
+    "decoded_text": "午後から雨が心配だったので遠出はせず、『ふれあいロード』を走って来ました!",
+    "diff": [
+      "replace   text[36:37] --> decoded_text[36:37]      '！' --> '!'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.02702702702702703,
+    "oov_charset": "[\"！\"]"
+  },
+  {
+    "text": "実は、１年程前にエルモサの右目の黒目の端によ〜く見ないと分からない程の小さな斑を見つけてたんです。",
+    "decoded_text": "実は、1年程前にエルモサの右目の黒目の端によ〜く見ないと分からない程の小さな斑を見つけてたんです。",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      '１' --> '1'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.02040816326530612,
+    "oov_charset": "[\"１\"]"
+  },
+  {
+    "text": "なので、エルディとのお散歩でも訪れたことがありません。 カタクリの花が５分咲きとの情報から今回コースの１つに取り入れてみました。",
+    "decoded_text": "なので、エルディとのお散歩でも訪れたことがありません。 カタクリの花が5分咲きとの情報から今回コースの1つに取り入れてみました。",
+    "diff": [
+      "replace   text[35:36] --> decoded_text[35:36]      '５' --> '5'",
+      "replace   text[51:52] --> decoded_text[51:52]      '１' --> '1'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.03125,
+    "oov_charset": "[\"５\", \"１\"]"
+  },
+  {
+    "text": "今日の天気予報は雨じゃなかったはず。結野アナ言っていたもん。……でもゲリラ豪雨にはご注意とも言っていた。気がする。はい、そうですね、傘持ってこなかった俺が悪いですね。",
+    "decoded_text": "今日の天気予報は雨じゃなかったはず。結野アナ言っていたもん。......でもゲリラ豪雨にはご注意とも言っていた。気がする。はい、そうですね、傘持ってこなかった俺が悪いですね。",
+    "diff": [
+      "replace   text[30:32] --> decoded_text[30:36]     '……' --> '......'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.024096385542168676,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "何故こんなものを……と首を傾げて、ふと見覚えがあることに気付いた。どんなものだったのかは曖昧だが、それをどうしたかだけはよく覚えている。",
+    "decoded_text": "何故こんなものを......と首を傾げて、ふと見覚えがあることに気付いた。どんなものだったのかは曖昧だが、それをどうしたかだけはよく覚えている。",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:14]     '……' --> '......'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.029411764705882353,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "戦時中、敵が「桂を討ち取った！」と声高々に喚くのを何度も聞いたことがある。桂に限らず、四天王のメンツは大体白羽の矢が立っていたが。",
+    "decoded_text": "戦時中、敵が「桂を討ち取った!」と声高々に喚くのを何度も聞いたことがある。桂に限らず、四天王のメンツは大体白羽の矢が立っていたが。",
+    "diff": [
+      "replace   text[14:15] --> decoded_text[14:15]      '！' --> '!'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015384615384615385,
+    "oov_charset": "[\"！\"]"
+  },
+  {
+    "text": "自分１人ではどうしようもならないのが、借金返済・多重債務の問題です。",
+    "decoded_text": "自分1人ではどうしようもならないのが、借金返済・多重債務の問題です。",
+    "diff": [
+      "replace   text[2:3] --> decoded_text[2:3]      '１' --> '1'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.029411764705882353,
+    "oov_charset": "[\"１\"]"
+  },
+  {
+    "text": "潟上市の人も、まずインターネットの無料相談で、弁護士・司法書士に相談してみませんか？",
+    "decoded_text": "潟上市の人も、まずインターネットの無料相談で、弁護士・司法書士に相談してみませんか?",
+    "diff": [
+      "replace   text[41:42] --> decoded_text[41:42]      '？' --> '?'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.023809523809523808,
+    "oov_charset": "[\"？\"]"
+  },
+  {
+    "text": "１人で悩むより、まず弁護士・司法書士に相談することが、借金問題解決への第一歩です。",
+    "decoded_text": "1人で悩むより、まず弁護士・司法書士に相談することが、借金問題解決への第一歩です。",
+    "diff": [
+      "replace   text[0:1] --> decoded_text[0:1]      '１' --> '1'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.024390243902439025,
+    "oov_charset": "[\"１\"]"
+  },
+  {
+    "text": "潟上市で任意整理や債務整理について、弁護士・司法書士へ無料相談してみては？365日・24時間受付可能な相談事務所を紹介しています。",
+    "decoded_text": "潟上市で任意整理や債務整理について、弁護士・司法書士へ無料相談してみては?365日・24時間受付可能な相談事務所を紹介しています。",
+    "diff": [
+      "replace   text[36:37] --> decoded_text[36:37]      '？' --> '?'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.015384615384615385,
+    "oov_charset": "[\"？\"]"
+  }
+]

stats/compression_rate/CohereForAI.aya-101 @ cc100.ko.diff.json

@@ -0,0 +1,106 @@
+[
+  {
+    "text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246 .270 .508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
+    "decoded_text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246.270.508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
+    "diff": [
+      "delete    text[59:60] --> decoded_text[59:59]      ' ' --> ''",
+      "delete    text[64:65] --> decoded_text[63:63]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "언제나 좋은 글 감사합니다ㅡㅡ",
+    "decoded_text": "언제나 좋은 글 감사합니다ᅳᅳ",
+    "diff": [
+      "replace   text[14:16] --> decoded_text[14:16]     'ㅡㅡ' --> 'ᅳᅳ'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.125,
+    "oov_charset": "[\"ㅡ\"]"
+  },
+  {
+    "text": "그러나저지의 통산 펜웨이파크 안전공원 성적은 9경기 .083(36타수3안타) 1홈런 2타점으로 좋지 않다.",
+    "decoded_text": "그러나저지의 통산 펜웨이파크 안전공원 성적은 9경기.083(36타수3안타) 1홈런 2타점으로 좋지 않다.",
+    "diff": [
+      "delete    text[28:29] --> decoded_text[28:28]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 안전공원 피안타율이 .228인 반면 그 안으로 들어온 공의 피안타율은 .318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 피치를 던지는 능력은 커맨드다.",
+    "decoded_text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 안전공원 피안타율이.228인 반면 그 안으로 들어온 공의 피안타율은.318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 피치를 던지는 능력은 커맨드다.",
+    "diff": [
+      "delete    text[58:59] --> decoded_text[58:58]      ' ' --> ''",
+      "delete    text[86:87] --> decoded_text[85:85]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "좋은 자료 감사합니다ㅡ0ㅡ",
+    "decoded_text": "좋은 자료 감사합니다ᅳ0ᅳ",
+    "diff": [
+      "replace   text[11:12] --> decoded_text[11:12]      'ㅡ' --> 'ᅳ'",
+      "replace   text[13:14] --> decoded_text[13:14]      'ㅡ' --> 'ᅳ'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.14285714285714285,
+    "oov_charset": "[\"ㅡ\"]"
+  },
+  {
+    "text": "코리시거는 3타수3안타 1홈런(4호) 1타점 1볼넷(.337 .425 .561). 매팅리 감독은 빠르게 적응한 시거에 대한 입장을 이미 바꾼 상태다(당초 매팅리는 시거의 역할은 롤린스가 돌아올 때까지라고 축구일정 선을 그었다).",
+    "decoded_text": "코리시거는 3타수3안타 1홈런(4호) 1타점 1볼넷(.337.425.561). 매팅리 감독은 빠르게 적응한 시거에 대한 입장을 이미 바꾼 상태다(당초 매팅리는 시거의 역할은 롤린스가 돌아올 때까지라고 축구일정 선을 그었다).",
+    "diff": [
+      "delete    text[33:34] --> decoded_text[33:33]      ' ' --> ''",
+      "delete    text[38:39] --> decoded_text[37:37]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "*⁴시즌 백투백일정 이틀째 14경기 전승. 골든스테이트는 같은 부문 16경기 15승 1패다.(밀워키에게 일격을 당해 개막 축구일정 24연승 행진이 중단되었다)",
+    "decoded_text": "*4시즌 백투백일정 이틀째 14경기 전승. 골든스테이트는 같은 부문 16경기 15승 1패다.(밀워키에게 일격을 당해 개막 축구일정 24연승 행진이 중단되었다)",
+    "diff": [
+      "replace   text[1:2] --> decoded_text[1:2]      '⁴' --> '4'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.011363636363636364,
+    "oov_charset": "[\"⁴\"]"
+  },
+  {
+    "text": "*¹이번 시즌을 끝으로 5년 6,000만 달러 계약이 앰파이어카지노 마감된다.",
+    "decoded_text": "*1이번 시즌을 끝으로 5년 6,000만 달러 계약이 앰파이어카지노 마감된다.",
+    "diff": [
+      "replace   text[1:2] --> decoded_text[1:2]      '¹' --> '1'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.023255813953488372,
+    "oov_charset": "[\"¹\"]"
+  },
+  {
+    "text": "◇오승환 앰파이어카지노 vs 강정호…내셔널리그 중부지구 흥행요소 = 올해 시범경기에서 한국인 투수와 타자가 동시에 등장하는 장면을 더는 볼 수 없다.",
+    "decoded_text": "◇오승환 앰파이어카지노 vs 강정호...내셔널리그 중부지구 흥행요소 = 올해 시범경기에서 한국인 투수와 타자가 동시에 등장하는 장면을 더는 볼 수 없다.",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:22]      '…' --> '...'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.012048192771084338,
+    "oov_charset": "[\"…\"]"
+  },
+  {
+    "text": "등도4쿼터초중반 달아나는 과정에서 높은 생산력을 자랑한다. *¹토론토는 여러 차례 언급했듯이 2017-18시즌 이견의 여지가 없는 벤치전력 앰파이어카지노 1위 팀이다.",
+    "decoded_text": "등도4쿼터초중반 달아나는 과정에서 높은 생산력을 자랑한다. *1토론토는 여러 차례 언급했듯이 2017-18시즌 이견의 여지가 없는 벤치전력 앰파이어카지노 1위 팀이다.",
+    "diff": [
+      "replace   text[34:35] --> decoded_text[34:35]      '¹' --> '1'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.010752688172043012,
+    "oov_charset": "[\"¹\"]"
+  }
+]

stats/compression_rate/CohereForAI.aya-101 @ cc100.zh-Hans.diff.json

@@ -0,0 +1,155 @@
+[
+  {
+    "text": "卍招财带什么佛牌卍(www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的。近日，编辑专门联系到山西传奇北京现代汽车4S店得知，店内朗动车型有现车供应，现阶段购车可享受最高6000元优惠幅度，具体的车型和价格情况请见下表，同时感兴趣的朋友还可致电4008112233转3456详询：",
+    "decoded_text": "卍招财带什么佛牌卍(www.suzastampin.com)卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职,并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生,曾任通用汽车在中国合资公司的。近日,编辑专门联系到山西传奇北京现代汽车4S店得知,店内朗动车型有现车供应,现阶段购车可享受最高6000元优惠幅度,具体的车型和价格情况请见下表,同时感兴趣的朋友还可致电4008112233转3456详询:",
+    "diff": [
+      "replace   text[57:58] --> decoded_text[57:58]      '，' --> ','",
+      "replace   text[95:96] --> decoded_text[95:96]      '，' --> ','",
+      "replace   text[113:114] --> decoded_text[113:114]      '，' --> ','",
+      "replace   text[136:137] --> decoded_text[136:137]      '，' --> ','",
+      "replace   text[148:149] --> decoded_text[148:149]      '，' --> ','",
+      "replace   text[168:169] --> decoded_text[168:169]      '，' --> ','",
+      "replace   text[183:184] --> decoded_text[183:184]      '，' --> ','",
+      "replace   text[213:214] --> decoded_text[213:214]      '：' --> ':'"
+    ],
+    "n_oov_chars": 8,
+    "oov_ratio": 0.037383177570093455,
+    "oov_charset": "[\"，\", \"：\"]"
+  },
+  {
+    "text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期，一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下，这对夫妇经历了惊心动魄的３小时，终于在飞机起飞前５分钟，登上返程的航班。",
+    "decoded_text": "一个类似美国大片《幸福终点站》的案例令中国驻圣彼得堡领事官胡滨印象深刻。由于行前未能仔细核对签证有效期,一对赴俄罗斯旅游的中国夫妇因为签证过期差点被困在俄罗斯。在胡滨的协助下,这对夫妇经历了惊心动魄的3小时,终于在飞机起飞前5分钟,登上返程的航班。",
+    "diff": [
+      "replace   text[51:52] --> decoded_text[51:52]      '，' --> ','",
+      "replace   text[87:88] --> decoded_text[87:88]      '，' --> ','",
+      "replace   text[100:101] --> decoded_text[100:101]      '３' --> '3'",
+      "replace   text[103:104] --> decoded_text[103:104]      '，' --> ','",
+      "replace   text[112:113] --> decoded_text[112:113]      '５' --> '5'",
+      "replace   text[115:116] --> decoded_text[115:116]      '，' --> ','"
+    ],
+    "n_oov_chars": 6,
+    "oov_ratio": 0.04838709677419355,
+    "oov_charset": "[\"，\", \"３\", \"５\"]"
+  },
+  {
+    "text": "招财带什么佛牌张德江在致辞中表示，中法建交开启了中法两个伟大国家友好关系的新纪元，树立了不同社会制度国家和平共处的新典范，对国际战略格局产生了重大而深远的影响。",
+    "decoded_text": "招财带什么佛牌张德江在致辞中表示,中法建交开启了中法两个伟大国家友好关系的新纪元,树立了不同社会制度国家和平共处的新典范,对国际战略格局产生了重大而深远的影响。",
+    "diff": [
+      "replace   text[16:17] --> decoded_text[16:17]      '，' --> ','",
+      "replace   text[40:41] --> decoded_text[40:41]      '，' --> ','",
+      "replace   text[60:61] --> decoded_text[60:61]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.0375,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "招财带什么佛牌科斯格罗夫一直供职于军队，曾被派往马来西亚、越南、英国、印度、美国工作。1999年，他成为联合国驻东帝汶部队司令，监督东帝汶向独立国家的过渡。",
+    "decoded_text": "招财带什么佛牌科斯格罗夫一直供职于军队,曾被派往马来西亚、越南、英国、印度、美国工作。1999年,他成为联合国驻东帝汶部队司令,监督东帝汶向独立国家的过渡。",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:20]      '，' --> ','",
+      "replace   text[48:49] --> decoded_text[48:49]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.038461538461538464,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "1月28日电据香港《明报》消息，在庆��披头士进军美国音乐市场50周年的纪念日子，格莱美向两名仅存成员：保罗麦卡尼及灵高史达(RingoStarr)颁发终身成就奖，显得别具意义。为了隆重其事，大会请来金像影后茱莉亚••罗伯茨(JuliaRoberts)负责介绍二人出场，保罗在拍档的鼓声和应下，先献唱新歌《QueenieEye》，然后轮到后者演绎旧作《Photograph》，带领歌迷重温昔日的美好情怀。",
+    "decoded_text": "1月28日电据香港《明报》消息,在庆祝披头士进军美国音乐市场50周年的纪念日子,格莱美向两名仅存成员:保罗麦卡尼及灵高史达(RingoStarr)颁发终身成就奖,显得别具意义。为了隆重其事,大会请来金像影后茱莉亚••罗伯茨(JuliaRoberts)负责介绍二人出场,保罗在拍档的鼓声和应下,先献唱新歌《QueenieEye》,然后轮到后者演绎旧作《Photograph》,带领歌迷重温昔日的美好情怀。",
+    "diff": [
+      "replace   text[15:16] --> decoded_text[15:16]      '，' --> ','",
+      "replace   text[39:40] --> decoded_text[39:40]      '，' --> ','",
+      "replace   text[50:51] --> decoded_text[50:51]      '：' --> ':'",
+      "replace   text[80:81] --> decoded_text[80:81]      '，' --> ','",
+      "replace   text[94:95] --> decoded_text[94:95]      '，' --> ','",
+      "replace   text[133:134] --> decoded_text[133:134]      '，' --> ','",
+      "replace   text[145:146] --> decoded_text[145:146]      '，' --> ','",
+      "replace   text[163:164] --> decoded_text[163:164]      '，' --> ','",
+      "replace   text[186:187] --> decoded_text[186:187]      '，' --> ','"
+    ],
+    "n_oov_chars": 9,
+    "oov_ratio": 0.04477611940298507,
+    "oov_charset": "[\"，\", \"：\"]"
+  },
+  {
+    "text": "佛牌绳哪里有卖到达目的地后，记者全程的总车费是14元，但司机到账21元，因此，司机给记者7元，除去之前支付的1元，记者净赚6元，还免费乘了本应支付14元的车。",
+    "decoded_text": "佛牌绳哪里有卖到达目的地后,记者全程的总车费是14元,但司机到账21元,因此,司机给记者7元,除去之前支付的1元,记者净赚6元,还免费乘了本应支付14元的车。",
+    "diff": [
+      "replace   text[13:14] --> decoded_text[13:14]      '，' --> ','",
+      "replace   text[26:27] --> decoded_text[26:27]      '，' --> ','",
+      "replace   text[35:36] --> decoded_text[35:36]      '，' --> ','",
+      "replace   text[38:39] --> decoded_text[38:39]      '，' --> ','",
+      "replace   text[46:47] --> decoded_text[46:47]      '，' --> ','",
+      "replace   text[56:57] --> decoded_text[56:57]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.08860759493670886,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职，并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生，曾任通用汽车在中国合资公司的副总裁，上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。(方赵春)",
+    "decoded_text": "卡尔・斯利姆于2012年加入塔塔汽车公司担任总经理一职,并负责公司在印度及国际市场上除捷豹和路虎以外的业务。这位斯坦福大学的毕业生,曾任通用汽车在中国合资公司的副总裁,上汽通用五菱公司的副总裁以及通用汽车印度公司的总裁。(方赵春)",
+    "diff": [
+      "replace   text[27:28] --> decoded_text[27:28]      '，' --> ','",
+      "replace   text[65:66] --> decoded_text[65:66]      '，' --> ','",
+      "replace   text[83:84] --> decoded_text[83:84]      '，' --> ','"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.02608695652173913,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "大腕导演不可能每部作品都是你喜欢的东西，如果他一时控制不住情绪，就让他骂吧。他也是人，不是神，人就有自己的脾气。他这次执导春晚，对我也开骂：“老毕，我跟你说了这么长时间，让你走2号位，你非要走1号位，你想跟我较死劲是不是？”这也是骂人。但因为你非常了解他，他也不一定有恶意。",
+    "decoded_text": "大腕导演不可能每部作品都是你喜欢的东西,如果他一时控制不住情绪,就让他骂吧。他也是人,不是神,人就有自己的脾气。他这次执导春晚,对我也开骂:“老毕,我跟你说了这么长时间,让你走2号位,你非要走1号位,你想跟我较死劲是不是?”这也是骂人。但因为你非常了解他,他也不一定有恶意。",
+    "diff": [
+      "replace   text[19:20] --> decoded_text[19:20]      '，' --> ','",
+      "replace   text[31:32] --> decoded_text[31:32]      '，' --> ','",
+      "replace   text[42:43] --> decoded_text[42:43]      '，' --> ','",
+      "replace   text[46:47] --> decoded_text[46:47]      '，' --> ','",
+      "replace   text[63:64] --> decoded_text[63:64]      '，' --> ','",
+      "replace   text[69:70] --> decoded_text[69:70]      '：' --> ':'",
+      "replace   text[73:74] --> decoded_text[73:74]      '，' --> ','",
+      "replace   text[84:85] --> decoded_text[84:85]      '，' --> ','",
+      "replace   text[91:92] --> decoded_text[91:92]      '，' --> ','",
+      "replace   text[99:100] --> decoded_text[99:100]      '，' --> ','",
+      "replace   text[110:111] --> decoded_text[110:111]      '？' --> '?'",
+      "replace   text[127:128] --> decoded_text[127:128]      '，' --> ','"
+    ],
+    "n_oov_chars": 12,
+    "oov_ratio": 0.08759124087591241,
+    "oov_charset": "[\"，\", \"：\", \"？\"]"
+  },
+  {
+    "text": "招财带什么佛牌不过挣得多，娜姐也花得多。有媒体报道，教练卡洛斯的年薪高达360万元人民币，李娜每年的花费是600多万元。用一个形象的比喻，娜姐每天一睁眼，将近2万元就出去了。",
+    "decoded_text": "招财带什么佛牌不过挣得多,娜姐也花得多。有媒体报道,教练卡洛斯的年薪高达360万元人民币,李娜每年的花费是600多万元。用一个形象的比喻,娜姐每天一睁眼,将近2万元就出去了。",
+    "diff": [
+      "replace   text[12:13] --> decoded_text[12:13]      '，' --> ','",
+      "replace   text[25:26] --> decoded_text[25:26]      '，' --> ','",
+      "replace   text[44:45] --> decoded_text[44:45]      '，' --> ','",
+      "replace   text[68:69] --> decoded_text[68:69]      '，' --> ','",
+      "replace   text[76:77] --> decoded_text[76:77]      '，' --> ','"
+    ],
+    "n_oov_chars": 5,
+    "oov_ratio": 0.05747126436781609,
+    "oov_charset": "[\"，\"]"
+  },
+  {
+    "text": "“金庸的小说《连城诀》里有一个反派人物‘血刀老祖’，一般的坏人做坏事都是心虚的，但是这个人物却做得心安理得，理直气壮，我遇到的这个的哥就是这样。”王先生向记者描述经过时第一句话便这样说。原来，昨日王先生在搭出租车时，遇到的的哥不仅“拾金而昧”，还“昧”得理直气壮。",
+    "decoded_text": "“金庸的小说《连城诀》里有一个反派人物‘血刀老祖’,一般的坏人做坏事都是心虚的,但是这个人物却做得心安理得,理直气壮,我遇到的这个的哥就是这样。”王先生向记者描述经过时第一句话便这样说。原来,昨日王先生在搭出租车时,遇到的的哥不仅“拾金而昧”,还“昧”得理直气壮。",
+    "diff": [
+      "replace   text[25:26] --> decoded_text[25:26]      '，' --> ','",
+      "replace   text[39:40] --> decoded_text[39:40]      '，' --> ','",
+      "replace   text[53:54] --> decoded_text[53:54]      '，' --> ','",
+      "replace   text[58:59] --> decoded_text[58:59]      '，' --> ','",
+      "replace   text[95:96] --> decoded_text[95:96]      '，' --> ','",
+      "replace   text[107:108] --> decoded_text[107:108]      '，' --> ','",
+      "replace   text[121:122] --> decoded_text[121:122]      '，' --> ','"
+    ],
+    "n_oov_chars": 7,
+    "oov_ratio": 0.05303030303030303,
+    "oov_charset": "[\"，\"]"
+  }
+]

stats/compression_rate/EleutherAI.gpt-neox-20b @ cc100.ar.diff.json

@@ -0,0 +1,104 @@
+[
+  {
+    "text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة .. ( 1)",
+    "decoded_text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة.. ( 1)",
+    "diff": [
+      "delete    text[42:43] --> decoded_text[42:42]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "decoded_text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "diff": [
+      "insert    text[97:97] --> decoded_text[97:98]       '' --> 'َ'",
+      "delete    text[98:99] --> decoded_text[99:99]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "الهدف من دراسة التاريخ هو لنتعرف احوال الشعوب , نتخذ عبرا ودروسا تساعدنا على بناء مستقبل لنا.",
+    "decoded_text": "الهدف من دراسة التاريخ هو لنتعرف احوال الشعوب, نتخذ عبرا ودروسا تساعدنا على بناء مستقبل لنا.",
+    "diff": [
+      "delete    text[45:46] --> decoded_text[45:45]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "الحضارة هي مجموعة من الانجازات التي حققتها الامة من خلال تاريخها في جميع المجالات .",
+    "decoded_text": "الحضارة هي مجموعة من الانجازات التي حققتها الامة من خلال تاريخها في جميع المجالات.",
+    "diff": [
+      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يعود الكاتب محمد الشريف زرقين صاحب كتاب \" ربيب الدولة، الخوف من المجهول \" مرة أخرى لقضية الأطفال مجهولي الهوية في كتاب جديد اختار هذه المرة أن يعالج فيه وضعيتهم من الجانب القانوني و الديني، بهدف حث علماء الدين و المشرعين القانونيين لإعادة النظر في فتاويهم و القوانين المجحفة التي تتحكم في مصائر هذه الفئة الضعيفة في المجتمع ، كما اخبرنا في هذا الحوار الخاص ، مصرحا انه لو كان الخيار بيده لاختار البقاء مع أمه البيولوجية التي اضطرت للتخلي عنه عند ولادته. الكتاب الذي عرف أيضا مساهمة كل من مليكة بن عراب آتو عضوة في البرلمان الأوربي ، المحامية بن براهم فطيمة و رئيس جامعة الأمير عبد القادر بقسنطينة السيد عبد الله بوخلخال في بعض أجزائه بمداخلات حول الموضوع، يطرح تساؤلات مبرهنة موجهة لكل من المشرعين و المفتيين كما قال لنا السيد زرقين مشيرا أنه يتوقع أن تحفز هذه الأخيرة على الاجتهاد لتحسين وضعية الأطفال المسعفين و ضمان حقوقهم . حاورته: أمينة جنان",
+    "decoded_text": "يعود الكاتب محمد الشريف زرقين صاحب كتاب \" ربيب الدولة، الخوف من المجهول \" مرة أخرى لقضية الأطفال مجهولي الهوية في كتاب جديد اختار هذه المرة أن يعالج فيه وضعيتهم من الجانب القانوني و الديني، بهدف حث علماء الدين و المشرعين القانونيين لإعادة النظر في فتاويهم و القوانين المجحفة التي تتحكم في مصائر هذه الفئة الضعيفة في المجتمع ، كما اخبرنا في هذا الحوار الخاص ، مصرحا انه لو كان الخيار بيده لاختار البقاء مع أمه البيولوجية التي اضطرت للتخلي عنه عند ولادته. الكتاب الذي عرف أيضا مساهمة كل من مليكة بن عراب آتو عضوة ��ي البرلمان الأوربي ، المحامية بن براهم فطيمة و رئيس جامعة الأمير عبد القادر بقسنطينة السيد عبد الله بوخلخال في بعض أجزائه بمداخلات حول الموضوع، يطرح تساؤلات مبرهنة موجهة لكل من المشرعين و المفتيين كما قال لنا السيد زرقين مشيرا أنه يتوقع أن تحفز هذه الأخيرة على الاجتهاد لتحسين وضعية الأطفال المسعفين و ضمان حقوقهم. حاورته: أمينة جنان",
+    "diff": [
+      "delete    text[825:826] --> decoded_text[825:825]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "\"مولودين باسم مجهول \" يطرح الكثير من التساؤلات الشجاعة التي تعيد النظر بعمق في هذه الفتاوي ، داعيا علماء الدين للاجتهاد حسب متطلبات عصر ال \"آ دي ان \" و أنا مستعد للجلوس على طاولة واحدة معهم لإجراء مناضرة أقدم فيها أدلة من القرآن لإبراز تناقضات فادحة و فتاويهم المغرضة التي تهدد مصائر الملايين من الأطفال في العالم ، فليس من حق المفتى أن يحرف آية أو حديث أو يتلاعب بتفسيرها لتتحول إلى قوانين مجحفة في حقهم لدرجة أن الطفل يشعر انه ما كان يجب أن يولد و أن يأتي لهذه الحياة . رغم أن الرسول عليه الصلاة و السلام يقول في أحد أحاديثه الصحيحة أن الله يرسل في اليوم الأربعين من تكون الجنين في بطن أمه ملكا ينفخ فيه الروح ، و هذا دليل على أن الحياة بإرادة من الله لجميع الناس أيا كانوا ، فبأي حق يتعدى البشر على حق غيرهم في الوجود .",
+    "decoded_text": "\"مولودين باسم مجهول \" يطرح الكثير من التساؤلات الشجاعة التي تعيد النظر بعمق في هذه الفتاوي ، داعيا علماء الدين للاجتهاد حسب متطلبات عصر ال \"آ دي ان \" و أنا مستعد للجلوس على طاولة واحدة معهم لإجراء مناضرة أقدم فيها أدلة من القرآن لإبراز تناقضات فادحة و فتاويهم المغرضة التي تهدد مصائر الملايين من الأطفال في العالم ، فليس من حق المفتى أن يحرف آية أو حديث أو يتلاعب بتفسيرها لتتحول إلى قوانين مجحفة في حقهم لدرجة أن الطفل يشعر انه ما كان يجب أن يولد و أن يأتي لهذه الحياة. رغم أن الرسول عليه الصلاة و السلام يقول في أحد أحاديثه الصحيحة أن الله يرسل في اليوم الأربعين من تكون الجنين في بطن أمه ملكا ينفخ فيه الروح ، و هذا دليل على أن الحياة بإرادة من الله لجميع الناس أيا كانوا ، فبأي حق يتعدى البشر على حق غيرهم في الوجود.",
+    "diff": [
+      "delete    text[469:470] --> decoded_text[469:469]      ' ' --> ''",
+      "delete    text[720:721] --> decoded_text[719:719]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يجب أن تتحرك الأمة الإسلامية في هذا السياق لأن المجتمع الذي لا يأخذ أطفاله المحرومين من يدهم ليعبر بهم بر الأمان لا يستحق العيش و ليست له أية كرامة .",
+    "decoded_text": "يجب أن تتحرك الأمة الإسلامية في هذا السياق لأن المجتمع الذي لا يأخذ أطفاله المحرومين من يدهم ليعبر بهم بر الأمان لا يستحق العيش و ليست له أية كرامة.",
+    "diff": [
+      "delete    text[147:148] --> decoded_text[147:147]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يستضيف راشد الفوزان في حلقة هذا الأسبوع من برنامج \"بموضوعية\" الرئيس التنفيذي للمجموعة السعودية للورق، حسان مريزن عسيري، للحديث عن نشأة المجموعة والمجالات التي تغطيها في السوق السعودي. ...",
+    "decoded_text": "يستضيف راشد الفوزان في حلقة هذا الأسبوع من برنامج \"بموضوعية\" الرئيس التنفيذي للمجموعة السعودية للورق، حسان مريزن عسيري، للحديث عن نشأة المجموعة والمجالات التي تغطيها في السوق السعودي....",
+    "diff": [
+      "delete    text[183:184] --> decoded_text[183:183]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يلتقي راشد الفوزان في برنامجه \"بموضوعية\" برئيس مجلس إدارة مجموعة \"القريان\" التجارية، محمد بن قريان القحطاني، والذي تناول عدة موضوعات أهمها أن المجموعة تهتم بعمليات إعادة تدوير المعادن خاصة الحديد والنحاس، وأن نشاط مجموعة \"القريان\" بدأ منذ 25 عاماً في السوق السعودي، واستعرض أيضاً ...",
+    "decoded_text": "يلتقي راشد الفوزان في برنامجه \"بموضوعية\" برئيس مجلس إدارة مجموعة \"القريان\" التجارية، محمد بن قريان القحطاني، والذي تناول عدة موضوعات أهمها أن المجموعة تهتم بعمليات إعادة تدوير المعادن خاصة الحديد والنحاس، وأن نشاط مجموعة \"القريان\" بدأ منذ 25 عاماً في السوق السعودي، واستعرض أيضاً...",
+    "diff": [
+      "delete    text[279:280] --> decoded_text[279:279]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "بمشاركة باحثين ومختصين , وتضمنت الدورة محاضرات علمية وعملية في قاعة قيادة شرطة البصرة",
+    "decoded_text": "بمشاركة باحثين ومختصين, وتضمنت الدورة محاضرات علمية وعملية في قاعة قيادة شرطة البصرة",
+    "diff": [
+      "delete    text[22:23] --> decoded_text[22:22]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]