清华开源模型ChatGLM-6B可本地

### ChatGLM-6B 简介

**ChatGLM-6B**是一个开源的、支持中英双语的对话语言模型，基于General Language Model （GLM） 架构，具有62亿参数。该模型由清华大学开发，支持本地部署，最低仅需6GB显存（INT4量化级别）。

**主要特点**：
1.**中英双语预训练**：在1:1比例的中英数据上进行了1T token的训练，具备双语能力。
2.**优化架构**：修正二维RoPE位置编码，实现传统FFN结构，参数量为62亿。
3.**低部署门槛**：FP16半精度下需要13GB显存，INT8量化下需10GB显存，INT4量化下需6GB显存，适合消费级显卡。
4.**更长序列长度**：支持2048长度的序列，适用于更长对话和应用。
5.**人类意图对齐训练**：使用监督微调、反馈自助和人类反馈强化学习，提升模型对人类指令的理解能力。

**已知局限性**：
-可能出现事实性/数学逻辑错误
-生成有害/有偏见内容的风险
-较弱的上下文能力
-自我认知混乱
-中英文指示生成内容可能矛盾

**GitHub开源链接**:https://github.com/THUDM/ChatGLM-6B

**更多信息和资源**：
– [视频介绍]（https://www.bilibili.com/video/BV1E24y1u7Go/）
– [微信文章]​ChatGLM：千亿基座的对话模型启动内测，单卡版模型已全面开源 (qq.com)