Added weights

README.md

@@ -0,0 +1,226 @@
+---
+library_name: transformers
+license: apache-2.0
+tags:
+- finnish
+- llama
+inference: true
+pipeline_tag: text-generation
+---
+This is an EXL2 quantized model in 4bpw of [Finnish-NLP/llama-7b-finnish-instruct-v0.1](https://huggingface.co/Finnish-NLP/llama-7b-finnish-instruct-v0.1) using the default calibration dataset.
+
+Prompt format is custom (it seems to be kinda broken):
+
+```
+<|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.
+<|ihminen|> Kysymys/Tehtävä:
+{}
+<|avustaja|> Vastauksesi:
+<|loppu|>
+```
+
+# Original Model card:
+
+# Llama-7b-instruct-v0.1 for Finnish
+
+
+- This is an early v0.1 version release of our Instruct finetuned model from https://huggingface.co/Finnish-NLP/llama-7b-finnish 
+- Model was trained for 2 epochs using 11014 samples and for this release we chose checkpoint at 2500/4048 steps. 
+- Future DPO/SFT+DPO variants are in the pipeline.
+
+For finetuning we used mix of the following datasets: 
+ - LIMA from https://github.com/TurkuNLP/finnish-instructions 
+ - Dolly from https://github.com/TurkuNLP/finnish-instructions 
+ - OASST from https://github.com/TurkuNLP/finnish-instructions 
+ - Heavily filtered version of Ultrachat https://huggingface.co/datasets/HuggingFaceH4/ultrafeedback_binarized/viewer/default/train_sft + deepl translations by writing 
+samples to file and uploading to deepl.com to filetranslation and then parsinig the translated files back to samples
+
+
+
+### How to use
+
+Here is an example of using this model with Unsloth with some generation arguments you can modify:
+
+```python
+import torch
+from unsloth import FastLlamaModel
+
+max_seq_length = 2048
+dtype = None # None for auto detection. Float16 for Tesla T4, V100, Bfloat16 for Ampere+
+load_in_4bit = True # Use 4bit quantization to reduce memory usage. Can be False.
+
+
+use_unsloth = True
+# use_transformers = True
+
+# LOADING MODEL USIINIG TRANSFORMERS assumes at least 16GB of memory. Tested with this configuration
+# If you have less memory use load_in_4bit or load_in_8_bit as needed
+if use_transformers:
+  major_version, minor_version = torch.cuda.get_device_capability()
+  model = AutoModelForCausalLM.from_pretrained("Finnish-NLP/llama-7b-finnish-instruct-v0.1", device_map='cuda:0', torch_dtype = torch.bfloat16 if major_version >=8 else torch.float16)
+  tokenizer = AutoTokenizer.from_pretrained("Finnish-NLP/llama-7b-finnish-instruct-v0.1")
+
+# USING UNSLOTH, tested with load_in_4bit
+if use_unsloth:
+  model, tokenizer = FastLlamaModel.from_pretrained(
+      model_name = "Finnish-NLP/llama-7b-finnish-instruct-v0.1"
+      max_seq_length = max_seq_length,
+      dtype = dtype,
+      load_in_4bit = load_in_4bit
+  )
+
+alpaca_prompt = """<|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.
+<|ihminen|> Kysymys/Tehtävä:
+{}
+<|avustaja|> Vastauksesi:
+"""
+
+sample_questions = ["Ketkä ovat Aku Ankan luona asuvat kolme ankanpoikaa?",\
+"Mikä on Suomen korkein tunturi?",\
+"Suomi soti Neuvostoliittoa vastaan talvisodan 1939-1940. Kuinka monta päivää sota kesti?",\
+"Luettele viisi yleistä Suomessa yleisesti käytettyä pojan nimeä. Nimet:",\
+"Luettele lyhyt, maksimissaan 50 sanan mittainen runo Suomesta. Runo:",\
+]
+
+from transformers import GenerationConfig
+
+generation_config = GenerationConfig(
+    pad_token_id=tokenizer.eos_token_id,
+    eos_token_id=tokenizer.convert_tokens_to_ids("<|loppu|>"),
+)
+
+
+for sample_question in sample_questions:
+
+  model.eval()
+  
+  inputs = tokenizer(
+[
+    alpaca_prompt.format(
+        sample_question, # instruction
+    )
+]*1, return_tensors = "pt").to("cuda")
+  
+  with torch.no_grad():
+      generated_ids = model.generate(
+      input_ids=inputs["input_ids"], 
+      attention_mask=inputs["attention_mask"], 
+      generation_config=generation_config, **{
+        "temperature": 0.1,
+        "penalty_alpha": 0.6,
+        "top_k": 3,
+        "do_sample": True,
+        "repetition_penalty": 1.28,
+        "min_length": 10,
+        "max_new_tokens": 200
+      })
+  
+  generated_text = tokenizer.batch_decode(generated_ids, skip_special_tokens=True, clean_up_tokenization_spaces=True)[0]
+  print(len(generated_ids[0]))
+  print("KYSYMYS:")
+  print(generated_text.split('<|avustaja|>')[0])
+  print("VASTAUS:")
+  print(generated_text.split('<|avustaja|> Vastauksesi:')[1])
+  print('##################################')
+
+'''
+-->
+79
+KYSYMYS:
+<|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.<|ihminen|> Kysymys/Tehtävä: Aku Ankan luona asuu kolme ankanpoikaa. He ovat nimeltään: 
+VASTAUS:
+ Ankkalinnan asukkaat ovat Aku Ankka, hänen vaimonsa Iines ja heidän lapsensa Tupu, Hupu ja Lupu 
+##################################
+65
+KYSYMYS:
+<|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.<|ihminen|> Kysymys/Tehtävä: Mikä on Suomen korkein tunturi?
+VASTAUS:
+ Suomen korkeimmat tunturit ovat Halti (1 324 metriä) ja Saana (1 029 metriä). 
+##################################
+80
+KYSYMYS:
+<|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.<|ihminen|> Kysymys/Tehtävä: Suomi soti Neuvostoliittoa vastaan talvisodan 1939-1940. Kuinka monta päivää sota kesti?
+VASTAUS:
+ Talvisodan aikana Neuvostoliitto hyökkäsi Suomeen 30. marraskuuta ja 13. maaliskuuta välisenä aikana. Tämä oli lyhyt sota, joka kesti 105 päivää. 
+##################################
+87
+KYSYMYS:
+<|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.<|ihminen|> Kysymys/Tehtävä: Luettele viisi yleistä Suomessa yleisesti käytettyä pojan nimeä. Nimet:
+VASTAUS:
+ Suomessa on monia yleisiä poikien nimiä, mutta tässä on muutamia suosittuja: 1. Eemeli 2 Onni 3 Eino 4 Väinö 5 Artturi 
+##################################
+63
+KYSYMYS:
+<|alku|> Olet tekoälyavustaja. Seuraavaksi saat kysymyksen tai tehtävän. Kirjoita vastaus parhaasi mukaan siten että se täyttää kysymyksen tai tehtävän vaatimukset.<|ihminen|> Kysymys/Tehtävä: Luettele lyhyt, maksimissaan 50 sanan mittainen runo Suomesta. Runo:
+VASTAUS:
+ Suomen talvi on kylmä, kesä on lyhyt, mutta luonto on kaunis.
+'''
+
+```
+
+### Limitations and bias
+
+The training data used for this model contains a lot of content from the internet, which is far from neutral. 
+Therefore, the model can have biased predictions. This bias will also affect all fine-tuned versions of this model.
+To reduce toxic content, the pretrained version of thiis model was trained with dataset filtered with a toxicity classifier but it cannot truly eliminate all toxic text.
+
+### Finetuning
+
+Training was conducted on RTX 4080 using Unsloth framework https://github.com/unslothai/unsloth \
+Training script is available in this repo.
+
+
+## Evaluation results
+
+This model was evaluated using [FIN-bench by TurkuNLP](https://github.com/TurkuNLP/FIN-bench) with zero-shot setting, but \
+the evaluation script had some problems running succesfully, so the results reported below should perhaps be viewed with some caution.
+
+[llama-7b-finnish-instruct-v0.1](https://huggingface.co/Finnish-NLP/llama-7b-finnish-instruct-v0.1):
+
+|                      Task                      |Version|       Metric        |Value |   |Stderr|
+|------------------------------------------------|------:|---------------------|-----:|---|-----:|
+|bigbench_analogies                              |      0|multiple_choice_grade|0.5000|±  |0.0440|
+|bigbench_arithmetic_1_digit_addition            |      0|multiple_choice_grade|0.4800|±  |0.0502|
+|bigbench_arithmetic_1_digit_division            |      0|multiple_choice_grade|0.5652|±  |0.1057|
+|bigbench_arithmetic_1_digit_multiplication      |      0|multiple_choice_grade|0.5000|±  |0.0503|
+|bigbench_arithmetic_1_digit_subtraction         |      0|multiple_choice_grade|0.6700|±  |0.0473|
+|bigbench_arithmetic_2_digit_addition            |      0|multiple_choice_grade|0.4000|±  |0.0492|
+|bigbench_arithmetic_2_digit_division            |      0|multiple_choice_grade|0.5400|±  |0.0501|
+|bigbench_arithmetic_2_digit_multiplication      |      0|multiple_choice_grade|0.2700|±  |0.0446|
+|bigbench_arithmetic_2_digit_subtraction         |      0|multiple_choice_grade|0.4800|±  |0.0502|
+|bigbench_arithmetic_3_digit_addition            |      0|multiple_choice_grade|0.4100|±  |0.0494|
+|bigbench_arithmetic_3_digit_division            |      0|multiple_choice_grade|0.2800|±  |0.0451|
+|bigbench_arithmetic_3_digit_multiplication      |      0|multiple_choice_grade|0.2600|±  |0.0441|
+|bigbench_arithmetic_3_digit_subtraction         |      0|multiple_choice_grade|0.5300|±  |0.0502|
+|bigbench_arithmetic_4_digit_addition            |      0|multiple_choice_grade|0.3400|±  |0.0476|
+|bigbench_arithmetic_4_digit_division            |      0|multiple_choice_grade|0.3300|±  |0.0473|
+|bigbench_arithmetic_4_digit_multiplication      |      0|multiple_choice_grade|0.2100|±  |0.0409|
+|bigbench_arithmetic_4_digit_subtraction         |      0|multiple_choice_grade|0.6000|±  |0.0492|
+|bigbench_arithmetic_5_digit_addition            |      0|multiple_choice_grade|0.5600|±  |0.0499|
+|bigbench_arithmetic_5_digit_division            |      0|multiple_choice_grade|0.2300|±  |0.0423|
+|bigbench_arithmetic_5_digit_multiplication      |      0|multiple_choice_grade|0.2500|±  |0.0435|
+|bigbench_arithmetic_5_digit_subtraction         |      0|multiple_choice_grade|0.5600|±  |0.0499|
+|bigbench_cause_and_effect_one_sentence          |      0|multiple_choice_grade|0.4902|±  |0.0707|
+|bigbench_cause_and_effect_one_sentence_no_prompt|      0|multiple_choice_grade|0.9020|±  |0.0421|
+|bigbench_cause_and_effect_two_sentences         |      0|multiple_choice_grade|0.3922|±  |0.0690|
+|bigbench_emotions                               |      0|multiple_choice_grade|0.2313|±  |0.0334|
+|bigbench_empirical_judgments                    |      0|multiple_choice_grade|0.3535|±  |0.0483|
+|bigbench_general_knowledge                      |      0|multiple_choice_grade|0.3857|±  |0.0586|
+|bigbench_hhh_alignment_harmless                 |      0|multiple_choice_grade|0.3966|±  |0.0648|
+|bigbench_hhh_alignment_helpful                  |      0|multiple_choice_grade|0.3220|±  |0.0614|
+|bigbench_hhh_alignment_honest                   |      0|multiple_choice_grade|0.3898|±  |0.0640|
+|bigbench_hhh_alignment_other                    |      0|multiple_choice_grade|0.5814|±  |0.0761|
+|bigbench_intent_recognition                     |      0|multiple_choice_grade|0.2211|±  |0.0158|
+|bigbench_misconceptions                         |      0|multiple_choice_grade|0.5149|±  |0.0433|
+|bigbench_paraphrase                             |      0|multiple_choice_grade|0.5400|±  |0.0353|
+|bigbench_sentence_ambiguity                     |      0|multiple_choice_grade|0.4500|±  |0.0648|
+|bigbench_similarities_abstraction               |      0|multiple_choice_grade|0.5789|±  |0.0570|
+
+
+
+## Team Members
+
+- Aapo Tanskanen, [Hugging Face profile](https://huggingface.co/aapot), [LinkedIn profile](https://www.linkedin.com/in/aapotanskanen/)
+- Rasmus Toivanen, [Hugging Face profile](https://huggingface.co/RASMUS), [LinkedIn profile](https://www.linkedin.com/in/rasmustoivanen/)
+
+Feel free to contact us for more details 🤗

config.json

@@ -0,0 +1,39 @@
+{
+    "_name_or_path": "new_model_merged_vitun_hyva_2",
+    "architectures": [
+        "LlamaForCausalLM"
+    ],
+    "attention_bias": false,
+    "attention_dropout": 0.0,
+    "bos_token_id": 1,
+    "eos_token_id": 64260,
+    "hidden_act": "silu",
+    "hidden_size": 4096,
+    "initializer_range": 0.02,
+    "intermediate_size": 11008,
+    "max_position_embeddings": 2048,
+    "model_type": "llama",
+    "num_attention_heads": 32,
+    "num_hidden_layers": 32,
+    "num_key_value_heads": 32,
+    "pretraining_tp": 1,
+    "rms_norm_eps": 1e-06,
+    "rope_scaling": null,
+    "rope_theta": 10000.0,
+    "tie_word_embeddings": false,
+    "torch_dtype": "float16",
+    "transformers_version": "4.37.1",
+    "use_cache": true,
+    "vocab_size": 64262,
+    "quantization_config": {
+        "quant_method": "exl2",
+        "version": "0.0.15",
+        "bits": 4.0,
+        "head_bits": 6,
+        "calibration": {
+            "rows": 100,
+            "length": 2048,
+            "dataset": "(default)"
+        }
+    }
+}

generation_config.json

@@ -0,0 +1,6 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 1,
+  "eos_token_id": 2,
+  "transformers_version": "4.37.1"
+}

output.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:4e883256daa658041efa335e555a5d39749893b06b11683fff6961c47eb86df3
+size 3973591240

special_tokens_map.json

@@ -0,0 +1,30 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "<|loppu|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<PAD>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,87 @@
+{
+  "add_bos_token": true,
+  "add_eos_token": false,
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "64256": {
+      "content": "<|alku|>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "64257": {
+      "content": "<PAD>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "64258": {
+      "content": "<|ihminen|>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "64259": {
+      "content": "<|avustaja|>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    },
+    "64260": {
+      "content": "<|loppu|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "64261": {
+      "content": "\n",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "eos_token": "<|loppu|>",
+  "model_max_length": 2048,
+  "pad_token": "<PAD>",
+  "sp_model_kwargs": {},
+  "tokenizer_class": "LlamaTokenizer",
+  "unk_token": "<unk>",
+  "use_default_system_prompt": false
+}