Update README.md
Browse files
README.md
CHANGED
|
@@ -10,7 +10,14 @@ base_model:
|
|
| 10 |
# 介绍
|
| 11 |
本模型是基于[deepseek-ai/DeepSeek-R1-Distill-Qwen-7B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B)转换成rkllm格式的模型的。
|
| 12 |
|
| 13 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 14 |
|
| 15 |
# 运行环境
|
| 16 |
RKNPU Version: 0.9.8
|
|
@@ -45,13 +52,11 @@ vi src/llm_demo.cpp
|
|
| 45 |
|
| 46 |
将第24 25行修改为
|
| 47 |
```c
|
| 48 |
-
#define PROMPT_TEXT_PREFIX "
|
| 49 |
-
#define PROMPT_TEXT_POSTFIX "
|
| 50 |
```
|
| 51 |
|
| 52 |
-
你可以根据自己的需求自定义上面的提示词内容,只要修改PROMPT_TEXT_PREFIX的
|
| 53 |
-
|
| 54 |
-
或PROMPT_TEXT_POSTFIX里的`<|im_end|>\n`到结尾的`\n`之间的内容即可。
|
| 55 |
|
| 56 |
将第184行取消注释
|
| 57 |
```c
|
|
|
|
| 10 |
# 介绍
|
| 11 |
本模型是基于[deepseek-ai/DeepSeek-R1-Distill-Qwen-7B](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B)转换成rkllm格式的模型的。
|
| 12 |
|
| 13 |
+
|
| 14 |
+
在香橙派5上的部署教程:[RKLLM部署语言大模型教程](https://wiki.vrxiaojie.top/Deepseek-R1-RK3588-OrangePi5/)
|
| 15 |
+
|
| 16 |
+
|模型|内存占用|模型大小|量化类型|
|
| 17 |
+
|---|---|---|---|
|
| 18 |
+
|DeepSeek-R1-Distill-Qwen-7B-RK3588S-RKLLM1.1.4|>8GB,无法测试|7.63GB|w8a8|
|
| 19 |
+
|
| 20 |
+
**因手上的开发板只有8G内存,无法完整加载模型运行,该模型的可用性有待验证。欢迎持有16GB开发板的同学验证反馈~**
|
| 21 |
|
| 22 |
# 运行环境
|
| 23 |
RKNPU Version: 0.9.8
|
|
|
|
| 52 |
|
| 53 |
将第24 25行修改为
|
| 54 |
```c
|
| 55 |
+
#define PROMPT_TEXT_PREFIX "<|begin▁of▁sentence|>system 你是一名专业AI助手请遵循:1.用简体中文回答;2.中文翻译成英文时,需使用英文回答;3.展示思考过程 <|User|>"
|
| 56 |
+
#define PROMPT_TEXT_POSTFIX "<|Assistant|>"
|
| 57 |
```
|
| 58 |
|
| 59 |
+
你可以根据自己的需求自定义上面的提示词内容,只要修改PROMPT_TEXT_PREFIX的 `<|begin▁of▁sentence|>system`到`<|User|>`之间的内容。
|
|
|
|
|
|
|
| 60 |
|
| 61 |
将第184行取消注释
|
| 62 |
```c
|