# B-文档改写

**提示词**

把下面这段改写成给非技术同事看的 5 条要点，每条不超过 25 字：三值量化把模型权重限制在 -1、0、+1 三个值上，每 128 个权重共享一个 FP16 缩放因子；权重在 Hadamard 旋转基下存储，推理时对激活做匹配变换；这样 27B 模型只需 5.95GB。

**思考模式**: False

---

## 正文

1. 模型参数只保留三个值，大幅减少存储占用
2. 每百多个参数共享一个缩放值，提升压缩效率
3. 数据转换存储，推理时自动匹配还原
4. 27B大模型体积缩至5.95GB
5. 部署更轻量，加载速度显著加快

---

## 思考链(reasoning_content, 前 800 字)



---

## 指标

- 墙钟耗时: 2.2s
- usage: `{"completion_tokens": 73, "prompt_tokens": 106, "total_tokens": 179, "prompt_tokens_details": {"cached_tokens": 0}}`
- timings: `{"prompt_ms": 383.057, "predicted_ms": 1650.81, "prompt_per_second": 276.72121903528716, "predicted_per_second": 43.61495265960347}`