github
/
ChatGLM-6B
mirror of https://github.com/THUDM/ChatGLM-6B
1
0
Fork 0
Code Issues Projects Releases Wiki Activity

Merge branch 'main' of github.com:THUDM/ChatGLM-6B

pull/41/head
duzx16 2023-03-14 20:30:41 +08:00
parent 584be64161 abef3b2519
commit 076ea97423
1 changed files with 7 additions and 1 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

8
README.md
View File

@ -46,7 +46,7 @@ ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于
如果这些方法无法帮助你入睡,你可以考虑咨询医生或睡眠专家,寻求进一步的建议。
```
完整的模型实现可以在 [HuggingFace Hub](https://huggingface.co/THUDM/chatglm-6b) 上查看。
完整的模型实现可以在 [Hugging Face Hub](https://huggingface.co/THUDM/chatglm-6b) 上查看。
### Demo
@ -101,6 +101,12 @@ model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).fl
```
CPU上推理速度可能会比较慢。
以上方法需要32G内存。如果你只有16G内存，可以尝试
```python
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).bfloat16()
```
需保证空闲内存接近16G，并且推理速度会很慢。
## ChatGLM-6B示例
以下是一些使用`web_demo.py`得到的示例截图。更多ChatGLM-6B的可能，等待你来探索发现！