diff --git a/README.md b/README.md index 9350de7..92239e4 100644 --- a/README.md +++ b/README.md @@ -101,6 +101,12 @@ model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).fl ``` CPU上推理速度可能会比较慢。 +以上方法需要32G内存。如果你只有16G内存,可以尝试 +```python +model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).bfloat16() +``` +需保证空闲内存接近16G,并且推理速度会很慢。 + ## ChatGLM-6B示例 以下是一些使用`web_demo.py`得到的示例截图。更多ChatGLM-6B的可能,等待你来探索发现!