Update README.md
Browse files
README.md
CHANGED
@@ -17,19 +17,17 @@ Example run inference in colab.
|
|
17 |
# Download GUFF model from file and version.
|
18 |
!git clone https://github.com/ggerganov/llama.cpp.git
|
19 |
!pip install -r llama.cpp/requirements.txt
|
20 |
-
!./llama.cpp/main -m openthaigpt-1.0.0-beta-7b-chat-ckpt-hf.gguf.Q4_0.bin -p "ยกตัวอย่างอาหารไทย สัก 5 ตัวอย่าง" -n
|
21 |
|
22 |
#Result example
|
23 |
#ยกตัวอย่างอาหารไทย สัก 5 ตัวอย่างมาแนะนำ
|
24 |
-
|
25 |
-
|
26 |
-
|
27 |
-
|
28 |
-
|
29 |
-
|
30 |
-
#llama_print_timings:
|
31 |
-
#llama_print_timings:
|
32 |
-
#
|
33 |
-
#llama_print_timings: eval time = 338178.42 ms / 399 runs ( 847.56 ms per token, 1.18 tokens per second)
|
34 |
-
#llama_print_timings: total time = 345091.08 ms
|
35 |
```
|
|
|
17 |
# Download GUFF model from file and version.
|
18 |
!git clone https://github.com/ggerganov/llama.cpp.git
|
19 |
!pip install -r llama.cpp/requirements.txt
|
20 |
+
!./llama.cpp/main -m openthaigpt-1.0.0-beta-7b-chat-ckpt-hf.gguf.Q4_0.bin -p "ยกตัวอย่างอาหารไทย สัก 5 ตัวอย่าง" -n 100 -e
|
21 |
|
22 |
#Result example
|
23 |
#ยกตัวอย่างอาหารไทย สัก 5 ตัวอย่างมาแนะนำ
|
24 |
+
#ยกตัวอย่างอาหารไทย สัก 5 ตัวอย่างที่คุณต้องลอง!
|
25 |
+
#➖➖➖- - - - - - 1. ผัดไทย 2. ส้มตำ 3. ลาบ 4. ต้มยำรวมมิตร 5. แกงส้มตำ
|
26 |
+
#1. ผัดไทย อาหารไทยในยุคปัจจุบันอย่างหนึ่งที่ได้รับความนิยมสูงสุดและแพร่หลายที่สุดผัดไทย เป็นอาหารประเภทผัดชนิดหนึ่งที่มีน้ำมันลอยอยู่ในกระทะ ซึ่งส่วนประกอบหลักของจานนี้ประกอบด้วยข้าวเหนียวหรือข้าวสวย ข้าวเหนียวเป็นวัตถุดิบหลักที่นำมาต้มในหม้อเพื่อทำให้สุก โดยใส่น้ำตาลมะพร้าว
|
27 |
+
#llama_print_timings: load time = 1575.70 ms
|
28 |
+
#llama_print_timings: sample time = 95.51 ms / 100 runs ( 0.96 ms per token, 1047.02 tokens per second)
|
29 |
+
#llama_print_timings: prompt eval time = 6624.56 ms / 7 tokens ( 946.37 ms per token, 1.06 tokens per second)
|
30 |
+
#llama_print_timings: eval time = 79716.26 ms / 99 runs ( 805.21 ms per token, 1.24 tokens per second)
|
31 |
+
#llama_print_timings: total time = 86498.58 ms
|
32 |
+
#Log end
|
|
|
|
|
33 |
```
|