LM

LM是什么

• 用于学习 文本序列 概率分布 的模型。
  • 模型
    • 现实世界某些规律的抽象
      • 具体抽象了什么
        • 概率分布
          • [ / P(\text{我，喜欢，猫}) / = / P(\text{我}) / \times P(\text{喜欢}\mid\text{我}) / \times P(\text{猫}\mid\text{我，喜欢}) / ] / 代入： / [ / =0.5\times0.8\times0.6=0.24 / ]
        • 文本序列
          • 有顺序的token
          • 文本可以拆分成token

LM的单位

• token：词元
  • 为什么使用词元而不是单个字符或者单词
    • 词元能涵盖多种变化
    • Subtopic 2
  • token的集合：Vocabulary 词表

LM的类型

• 掩码语言模型
  • BERT
  • 根据上下文恢复被遮盖的 Token
  • 上下文：通常双向
  • 举例
    • 原始文本：我喜欢学习编程 / 掩码训练： / 输入：我喜欢[MASK]编程 / 目标：学习
• 自回归语言模型
  • GPT？
  • 根据已有 Token 预测下一个 Token
  • 上下文：单向（因果）
  • 举例
    • 原始文本：我喜欢学习编程 / 自回归训练： / 输入：我喜欢学习 / 目标：编程