在进行ppo训练时发生下面错误

[wanpengxyzz]

Reminder

• I have read the README and searched the existing issues.

Reproduction

具体的训练参数如下：
python src/train_bash.py --stage ppo --do_train True --model_name_or_path Qwen/Qwen1.5-0.5B-Chat --adapter_name_or_path saves\Qwen1.5-0.5B-Chat\lora\20240403_qianwen_sft --finetuning_type lora --template qwen --dataset_dir data --dataset alpaca_gpt4_zh --cutoff_len 1024 --learning_rate 5e-05 --num_train_epochs 3.0 --max_samples 100000 --per_device_train_batch_size 2 --gradient_accumulation_steps 8 --lr_scheduler_type cosine --max_grad_norm 1.0 --logging_steps 5 --save_steps 100 --warmup_steps 0 --optim adamw_torch --report_to none --output_dir saves\Qwen1.5-0.5B-Chat\lora\train_2024-04-03-13-59-00 --fp16 True --lora_rank 8 --lora_alpha 16 --lora_dropout 0.1 --lora_target q_proj,v_proj --reward_model saves\Qwen1.5-0.5B-Chat\lora\20240403_qianwen_rm --reward_model_type lora --plot_loss True

Expected behavior

No response

System Info

No response

Others

No response

[hiyouga]

fixed

[wanpengxyzz]

--report_to none 这个参数去掉就可以了，train_web.py生成的命令也需要做对应的调整

[hiyouga]

新版代码应该已经彻底修复了。