GLM-Explained

GLM-Explained 这个项目主要是LLM原理。若是想弄大模型的应用，那么来错地方，建议看ChatGLM2-Explained

此外，大模型还基于两个非常重要的基础库，那便是transformers，和pytorch，同样这两个库也有关键代码的逐行解析版本。

• /model/
  • modeling_glm.py
    • class EncoderDecoder(nn.Module):
• /mpu/ 并行处理单元
  • _init_.py
  • transformer.py
    • class PositionalEmbedding(torch.nn.Module):
    • class ParallelCrossAttention(torch.nn.Module):
    • class ParallelSelfAttention(torch.nn.Module):
    • class ParallelMLP(torch.nn.Module):
    • class ParallelDecoderLayer(torch.nn.Module):
    • class ParallelTransformerLayer(torch.nn.Module):
    • class GPT2ParallelTransformer(torch.nn.Module):