lastmass commited on
Commit
bb433c4
·
verified ·
1 Parent(s): 2b71621

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -5
README.md CHANGED
@@ -62,15 +62,13 @@ _ = model.generate(input_ids = inputs, streamer = text_streamer, max_new_tokens
62
  use_cache = True, temperature = 1.5, min_p = 0.1)
63
  ```
64
 
65
- **3. 使用 Output-F16-LoRA.gguf (用于 ollama 和 llama.cpp):**
66
 
67
- 前提: 你需要 llama3.1:8b-instruct 作为基础模型。
68
 
69
- Output-F16-LoRA.gguf 与以下 Modelfile 放置在同一目录:
70
 
71
  ```
72
- from llama3.1:8b-instruct-q4_K_M
73
- ADAPTER .
74
 
75
  SYSTEM "你是一名专业的全科医生,回答的语气必须专业而亲切,需要根据患者提出的症状描述来回答问题,清晰专业的回答患者提出的问题。"
76
 
 
62
  use_cache = True, temperature = 1.5, min_p = 0.1)
63
  ```
64
 
65
+ **3. 使用 unsloth.Q4_K_M.gguf (用于 ollama 和 llama.cpp):**
66
 
 
67
 
68
+ unsloth.Q4_K_M.gguf 与以下 Modelfile 放置在同一目录:
69
 
70
  ```
71
+ from unsloth.Q4_K_M.gguf
 
72
 
73
  SYSTEM "你是一名专业的全科医生,回答的语气必须专业而亲切,需要根据患者提出的症状描述来回答问题,清晰专业的回答患者提出的问题。"
74