recogna commited on
Commit
bd1c146
1 Parent(s): 5351f1c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +15 -8
README.md CHANGED
@@ -4,16 +4,23 @@ license: apache-2.0
4
 
5
  # phibode-3-mini-4k-ultraalpaca
6
 
7
- phibode-3-mini-4k-ultraalpaca is an SFT fine-tuned version of microsoft/Phi-3-mini-4k-instruct using a custom training dataset.
8
- This model was made with [Phinetune]()
 
 
9
 
10
- ## Process
11
- - Learning Rate: 1.41e-05
12
- - Maximum Sequence Length: 2048
13
- - Dataset: recogna-nlp/ultra-alpaca-ptbr
14
- - Split: train
 
 
 
 
 
 
15
 
16
- ## 💻 Usage
17
  ```python
18
  !pip install -qU transformers
19
  from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline
 
4
 
5
  # phibode-3-mini-4k-ultraalpaca
6
 
7
+ <!--- PROJECT LOGO -->
8
+ <p align="center">
9
+ <img src="https://huggingface.co/recogna-nlp/Phi-Bode/resolve/main/phi-bode.jpg" alt="Phi-Bode Logo" width="400" style="margin-left:'auto' margin-right:'auto' display:'block'"/>
10
+ </p>
11
 
12
+ Phi-Bode é um modelo de linguagem ajustado para o idioma português, desenvolvido a partir do modelo base Phi-3-mini-4k-instruct fornecido pela [Microsoft](https://huggingface.co/microsoft/Phi-3-mini-4k-instruct). Este modelo foi refinado através do processo de fine-tuning utilizando o dataset Alpaca traduzido para o português. O principal objetivo deste modelo é ser viável para pessoas
13
+ que não possuem recursos computacionais disponíveis para o uso de LLMs (Large Language Models). Ressalta-se que este é um trabalho em andamento e o modelo ainda apresenta problemas na geração de texto em português.
14
+
15
+ ## Características Principais
16
+
17
+ - **Modelo Base:** Phi-3-mini-4k-instruct, criado pela Microsoft, com 3.8 bilhões de parâmetros.
18
+ - **Dataset para Fine-tuning:** [UltraAlpaca](https://huggingface.co/datasets/recogna-nlp/ultra-alpaca-ptbr)
19
+ - **Treinamento:** O treinamento foi realizado utilizando o método LoRa, visando eficiência computacional e otimização de recursos.
20
+
21
+
22
+ ## 💻 Como utilizar o Phibode-3-mini-4k-ultraalpaca
23
 
 
24
  ```python
25
  !pip install -qU transformers
26
  from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline