Update README.md
Browse files
README.md
CHANGED
@@ -72,14 +72,17 @@ json_arr = [{"name": "order_dinner", "description": "Ordina una cena al ristoran
|
|
72 |
]
|
73 |
json_string = ' '.join([json.dumps(json_obj) for json_obj in json_arr])
|
74 |
system_prompt = 'Tu sei un assistenze utile che ha accesso alle seguenti funzioni. Usa le funzioni solo se necessario - \n ' + json_string + ' \n '
|
75 |
-
system_prompt
|
|
|
|
|
|
|
76 |
```
|
77 |
|
78 |
4. Call the model
|
79 |
|
80 |
```python
|
81 |
def generate_text():
|
82 |
-
prompt = tokenizer.apply_chat_template(
|
83 |
model_inputs = tokenizer([prompt], return_tensors="pt").to("cuda")
|
84 |
generated_ids = model.generate(**model_inputs, max_new_tokens=1024)
|
85 |
return tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
|
|
|
72 |
]
|
73 |
json_string = ' '.join([json.dumps(json_obj) for json_obj in json_arr])
|
74 |
system_prompt = 'Tu sei un assistenze utile che ha accesso alle seguenti funzioni. Usa le funzioni solo se necessario - \n ' + json_string + ' \n '
|
75 |
+
print(system_prompt)
|
76 |
+
|
77 |
+
test_message = [{'role' : 'system' , 'content' : system_prompt2},
|
78 |
+
{'role' : 'user' ,'content' : 'Crea un prodotto di nome AIR size L price 100'}]
|
79 |
```
|
80 |
|
81 |
4. Call the model
|
82 |
|
83 |
```python
|
84 |
def generate_text():
|
85 |
+
prompt = tokenizer.apply_chat_template(test_message, tokenize=False)
|
86 |
model_inputs = tokenizer([prompt], return_tensors="pt").to("cuda")
|
87 |
generated_ids = model.generate(**model_inputs, max_new_tokens=1024)
|
88 |
return tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
|