Slurm下多节点训练时提示FileExistsError: [Errno 17] File exists: ‘../trainer_log.jsonl'

[Rookie-Kai]

Reminder

• I have read the README and searched the existing issues.

Reproduction

我在两个节点上使用8*A800 80G对Qwen1.5-14B进行增量预训练时，提示FileExistsError: [Errno 17] File exists: ‘../trainer_log.jsonl'
参数信息
torchrun --nnodes $NNODES --master_addr $MASTER_ADDR --master_port $MASTER_PORT --node_rank $NODE_RANK --nproc_per_node 8 \ /mnt/afs/LLaMA-Factory/src/train_bash.py \ --deepspeed /mnt/afs/LLaMA-Factory/examples/deepspeed/ds_z3_config.json \ --stage pt \ --template qwen \ --model_name_or_path /mnt/afs/Model/Qwen1.5-14B \ --do_train --dataset_dir /mnt/afs/dataset \ --dataset test \ --finetuning_type full \ --output_dir /mnt/afs/Output/Qwen1.5-14B \ --overwrite_cache \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 1 \ --lr_scheduler_type cosine \ --logging_steps 10 \ --save_steps 1000 \ --warmup_ratio 0.1 \ --learning_rate 5e-5 \ --num_train_epochs 3.0 \ --plot_loss \ --bf16 \ --flash_attn \ --overwrite_output_dir \ --preprocessing_num_workers 128 \ --rope_scaling linear \ --cutoff_len 4096 \ --ddp_timeout 180000

报错信息：
FileExistsError: [Errno 17] File exists: '/mnt/afs/Output/Qwen1.5-14B/trainer_log.jsonl'
torch.distributed.elastic.multiprocessing.api: [ERROR] failed (exitcode: 1) local_rank: 0 (pid: 97) of binary: /mnt/afs/miniconda3/envs/qwen/bin/python

Expected behavior

我希望对Qwen1.5-14B在多节点进行增量预训练
但是提示FileExistsError，而且这个trainer_log.jsonl是开始训练后才出现的
我的两个节点共享存储空间

所以我想知道该如何解决这个问题，以及能否提供一个可以使用的deepspeed在Slurm多节点的DDP脚本示例，谢谢

System Info

No response

Others

No response

[hiyouga]

fixed