Update README.md
Browse files
README.md
CHANGED
@@ -62,15 +62,13 @@ _ = model.generate(input_ids = inputs, streamer = text_streamer, max_new_tokens
|
|
62 |
use_cache = True, temperature = 1.5, min_p = 0.1)
|
63 |
```
|
64 |
|
65 |
-
**3. 使用
|
66 |
|
67 |
-
前提: 你需要 llama3.1:8b-instruct 作为基础模型。
|
68 |
|
69 |
-
将
|
70 |
|
71 |
```
|
72 |
-
from
|
73 |
-
ADAPTER .
|
74 |
|
75 |
SYSTEM "你是一名专业的全科医生,回答的语气必须专业而亲切,需要根据患者提出的症状描述来回答问题,清晰专业的回答患者提出的问题。"
|
76 |
|
|
|
62 |
use_cache = True, temperature = 1.5, min_p = 0.1)
|
63 |
```
|
64 |
|
65 |
+
**3. 使用 unsloth.Q4_K_M.gguf (用于 ollama 和 llama.cpp):**
|
66 |
|
|
|
67 |
|
68 |
+
将 unsloth.Q4_K_M.gguf 与以下 Modelfile 放置在同一目录:
|
69 |
|
70 |
```
|
71 |
+
from unsloth.Q4_K_M.gguf
|
|
|
72 |
|
73 |
SYSTEM "你是一名专业的全科医生,回答的语气必须专业而亲切,需要根据患者提出的症状描述来回答问题,清晰专业的回答患者提出的问题。"
|
74 |
|