kl commited on
Commit
65dcb42
·
verified ·
1 Parent(s): 7424cfb

Update README_CN.md

Browse files
Files changed (1) hide show
  1. README_CN.md +53 -2
README_CN.md CHANGED
@@ -3,7 +3,7 @@
3
 
4
  [English](README.md) | [中文](README_CN.md)
5
 
6
- ## 1. 模型介绍
7
 
8
  我们推出了全新的大语言模型系列 **MindLink**,由**昆仑万维** 开发。我们使用了最新的后训练(post-training)技术来改进了 **Qwen** 模型的效果,在多个通用基准测试中,MindLink 展现了较强的性能,能够广泛应用于多种 AI 场景。我们欢迎各方反馈,以帮助我们不断优化和改进模型。
9
 
@@ -34,7 +34,58 @@
34
 
35
  * MindLink模型,是基于Qwen3-32B和Qwen2.5-72B,进行了后训练,提高了原本模型能力,未来会开源更多尺寸模型。
36
 
37
- ## 2. API 接入
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
38
 
39
  📢 我们为开发者提供了一个月的免费 API 调用额度来探索与测试我们的模型。同时如需申请 Open WebUI 的账户( https://sd1svahsfo0m61h76e190.apigateway-cn-beijing.volceapi.com ), 请发送邮件联系我们~ **[mindlink@skywork.ai](mailto:mindlink@skywork.ai)**。
40
 
 
3
 
4
  [English](README.md) | [中文](README_CN.md)
5
 
6
+ ## 模型介绍
7
 
8
  我们推出了全新的大语言模型系列 **MindLink**,由**昆仑万维** 开发。我们使用了最新的后训练(post-training)技术来改进了 **Qwen** 模型的效果,在多个通用基准测试中,MindLink 展现了较强的性能,能够广泛应用于多种 AI 场景。我们欢迎各方反馈,以帮助我们不断优化和改进模型。
9
 
 
34
 
35
  * MindLink模型,是基于Qwen3-32B和Qwen2.5-72B,进行了后训练,提高了原本模型能力,未来会开源更多尺寸模型。
36
 
37
+ ---
38
+
39
+ ## 快速开始
40
+
41
+ 以下示例代码展示了如何使用 `apply_chat_template` 来加载分词器和模型,并生成内容。
42
+
43
+ > ⚠️ 请确保已安装 `transformers>=4.51.0`,不支持更低版本。
44
+
45
+ ```python
46
+ from transformers import AutoModelForCausalLM, AutoTokenizer
47
+
48
+ model_name = "Skywork/MindLink-32B-0801"
49
+
50
+ model = AutoModelForCausalLM.from_pretrained(
51
+ model_name,
52
+ torch_dtype="auto",
53
+ device_map="auto"
54
+ )
55
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
56
+
57
+ prompt = "中国的首都是哪里?"
58
+ messages = [
59
+ {"role": "user", "content": prompt}
60
+ ]
61
+ text = tokenizer.apply_chat_template(
62
+ messages,
63
+ tokenize=False,
64
+ add_generation_prompt=True
65
+ )
66
+ model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
67
+
68
+ generated_ids = model.generate(
69
+ **model_inputs,
70
+ max_new_tokens=512
71
+ )
72
+ generated_ids = [
73
+ output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
74
+ ]
75
+
76
+ response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
77
+ ```
78
+
79
+ 部署时,可以使用 `sglang>=0.4.6.post1` 创建一个兼容 OpenAI 的 API 接口:
80
+
81
+ * SGLang:
82
+
83
+ ```shell
84
+ python -m sglang.launch_server --model-path Skywork/MindLink-32B-0801
85
+ ```
86
+
87
+
88
+ ## API 接入
89
 
90
  📢 我们为开发者提供了一个月的免费 API 调用额度来探索与测试我们的模型。同时如需申请 Open WebUI 的账户( https://sd1svahsfo0m61h76e190.apigateway-cn-beijing.volceapi.com ), 请发送邮件联系我们~ **[mindlink@skywork.ai](mailto:mindlink@skywork.ai)**。
91