GLM-4-9B（arXiv 2406.12793）： - 26 种语言、128K 上下文，另有 1M 长文模型 - modelscope 下载约 36G（删 .git 后 18G） - 32K 版（ChatGLM3-6B-32K）特性：32K 上下文、原生 Function Call / Code Interpreter / Agent 能力 - 多轮对话 API：`model.chat(tokenizer, "你好", history=[])`

chatglm.cpp：纯 C++ 实现（ARM NEON / Metal / AVX 优化，支持 2-8bit 量化）——低配机器的福音： ```bash # 转 GGML q4_0 量化 python convert.py -i /path/to/glm-4-9b -o glm4-9b-ggml.bin -t q4_0 # cmake 构建 + web demo cmake -B build && cmake --build build -j ./build/bin/chatglm_demo -m glm4-9b-ggml.bin ```

vLLM 部署 glm-4-9b-chat： ```bash vllm serve /path/glm-4-9b-chat --port 8000 --max-model-len 8192 ``` - 权重 17.56G，加载后共占约 20G 显存（RTX4090 可跑） - composite_demo 默认 8K 上下文（对应约 24G 显存档位） - 注意点：vllm 的 stop id 设置；**微调用 BF16（FP16 会精度溢出）**

- 2019 年成立，清华 KEG 实验室技术转化 - 技术脉络：GLM 预训练架构（自回归空白填充）→ GLM-130B（开源双语百亿级）→ ChatGLM 系列 → GLM-4/4.5/5（MoE + Agent 优化） - 提出 MaaS（Model as a Service）理念：开放平台 open.bigmodel.cn 提供API - 产品线：智谱清言（C端对话）、CodeGeeX（代码）、CogView（文生图）、CogVideoX（视频） - 2023 年融资超 25 亿元，估值约 100 亿——国内大模型"五虎"之一 GLM 架构的独特起点：把自编码（BERT 式）与自回归（GPT 式）统一为"自回归空白填充"预训练目标，兼顾理解与生成。

| 基准 | 考什么 | |------|--------| | AlignBench-v2 | 中文对齐（多任务真实场景） | | MT-Bench | 多轮对话能力 | | IFEval | 指令遵循（格式约束） | | MMLU / C-Eval | 中英通识知识 | | GSM8K / MATH | 数学推理 | | HumanEval | 代码生成 | | NCB | 中文词条解释 |

**NCB（Net Corrected Bias）指标**——用 TPR/TNR 校正的偏差度量： $$NCB = \frac{TPR - TNR}{1 - TNR}, \quad \text{取值 } [-1, 1]$$ - TPR（真阳率）：该答对的答对比例；TNR（真阴率）：该拒答的拒答比例 - NCB>0 偏向"乱答"，NCB<0 偏向"过度拒答"——比单看准确率更能暴露模型的"性格偏差"