第八章 · 生成式人工智能
主页
/
第一节课
/
1.12
Slide 1.12
预训练：猜下一个词
🧩 预训练 = 完形填空
机制：
给定上文，预测下文。数十亿次猜词 → 学会语法、事实、推理模式。
示例：
「斑马是黑白的还是____」
模型学到的概率：条纹的 (85%)，有颜色的 (5%)……
⚠️ 关键认知：
模型学的是
概率分布
，不是
真理判断
。
它不知道「北京是首都」是事实，只知道这句话在训练数据中频率很高。
知识缺口 → 编造 → AI 幻觉根源
模型不是在撒谎——它只是在「填词」。
◀
互动——快速投票
1.12 / 51
人类调教：RLHF
▶
键盘
←
→
或鼠标滚轮翻页
第八章 · 生成式人工智能