Nerv Lab
Home
Blog
News
About
Go to Astro's GitHub repo
用户输入
User Input
分词处理
Tokenization
词嵌入
Embedding
Transformer 架构
多头注意力
Multi-Head Attention
前馈网络
Feed Forward
层归一化
Layer Norm
残差连接
Add & Norm
文本生成
Text Generation / Output
* 架构图展示了 LLM 从输入到输出的完整处理流程
架构说明
用户输入
:接收用户的文本输入,可以是问题、指令或对话内容
分词处理
:将输入文本分解为模型可以理解的 token(词元)
词嵌入
:将 token 转换为高维向量表示,捕获语义信息
Transformer 架构
:核心处理层,包括多头注意力机制、前馈网络、层归一化和残差连接
文本生成
:基于处理后的特征向量生成相应的文本输出