tranformers-code-explained--line-by-line

转载至Hugging Face transformer项目官方，是个人的理解编辑加工加上chatgpt4给出的代码解读版本。尽量做到逐行解释，小白友好。 欢迎大家提交pr，和star、fork，提交自己的源码理解。

注：xxxx表示伪目录，非有效。

• /src
  • xx.py
  • xx.py
  • /src/transformers
    • training_args.py（do_train、do_eval）
    • trainer_seq2seq.py
      • Seq2SeqTrainer(Trainer)
      • load_generation_config
      • evaluate()
      • predict()
    • trainer.py
      • class Trainer:
      • FP16 + model parallelism
      • add_callback()
    • deepspeed.py
      • class HfDeepSpeedConfig(DeepSpeedConfig)
      • class HfTrainerDeepSpeedConfig(HfDeepSpeedConfig):
      • trainer_config_process(self, args)
      • trainer_config_finalize(self, args, model, num_training_steps)
      • trainer_config_finalize(self, args, model, num_training_steps)
      • /src/transformers/tools/
        • agents.py（.from_pretrained()）
  • xx.py
• xx/
  • xx.md
• README.md

CSDN彩色博客版：

• xxxx/
  • xxxx/
    • xxxx.py
    • xxxx.py
      • CSDN彩色博客版/src/transformers/tools/agents.py（.from_pretrained）：agents.py
• README.md