B-文档改写

提示词

把下面这段改写成给非技术同事看的 5 条要点，每条不超过 25 字：三值量化把模型权重限制在 -1、0、+1 三个值上，每 128 个权重共享一个 FP16 缩放因子；权重在 Hadamard 旋转基下存储，推理时对激活做匹配变换；这样 27B 模型只需 5.95GB。

思考模式: False

正文

1. 模型参数只保留三个值，大幅减少存储占用
2. 每百多个参数共享一个缩放值，提升压缩效率
3. 数据采用特殊旋转方式存储，确保计算准确
4. 推理时自动调整匹配数据，无需额外处理步骤
5. 大模型体积缩小至约6GB，加载速度显著提升

思考链(reasoning_content, 前 800 字)

指标

• 墙钟耗时: 1.9s
• usage: {"completion_tokens": 76, "prompt_tokens": 106, "total_tokens": 182, "prompt_tokens_details": {"cached_tokens": 0}}
• timings: {"prompt_ms": 196.773, "predicted_ms": 1565.981, "prompt_per_second": 538.6917920649682, "predicted_per_second": 47.89330138743701}