用户输入 User Input 分词处理 Tokenization 词嵌入 Embedding Transformer 架构 多头注意力 Multi-Head Attention 前馈网络 Feed Forward 层归一化 Layer Norm 残差连接 Add & Norm 文本生成 Text Generation / Output * 架构图展示了 LLM 从输入到输出的完整处理流程

架构说明

  • 用户输入:接收用户的文本输入,可以是问题、指令或对话内容
  • 分词处理:将输入文本分解为模型可以理解的 token(词元)
  • 词嵌入:将 token 转换为高维向量表示,捕获语义信息
  • Transformer 架构:核心处理层,包括多头注意力机制、前馈网络、层归一化和残差连接
  • 文本生成:基于处理后的特征向量生成相应的文本输出