Merge pull request #15 from THUDM/dev

Add CPU support with less than 16G memory
pull/20/head
Song 2 years ago committed by GitHub
commit 6a5a6326f9
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23

@ -101,6 +101,12 @@ model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).fl
``` ```
CPU上推理速度可能会比较慢。 CPU上推理速度可能会比较慢。
以上方法需要32G内存。如果你只有16G内存可以尝试
```python
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).bfloat16()
```
需保证空闲内存接近16G并且推理速度会很慢。
## ChatGLM-6B示例 ## ChatGLM-6B示例
以下是一些使用`web_demo.py`得到的示例截图。更多ChatGLM-6B的可能等待你来探索发现 以下是一些使用`web_demo.py`得到的示例截图。更多ChatGLM-6B的可能等待你来探索发现

Loading…
Cancel
Save