预训练 Running tokenizer on dataset 执行了两遍

[CanvaChen]

Running tokenizer on dataset (num_proc=48): 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1621781/1621781 [07:42<00:00, 3507.62 examples/s]

上面步骤执行完成后，又会执行：

Running tokenizer on dataset (num_proc=48): 37%|█████████████████████████████████████████████▋ | 607148/1621781 [00:14<00:06, 145837.70 examples/s]

两次数据集数量相同，耗时接近，感觉重复执行了。

[hiyouga]

fixed

[adumans]

fixed

@hiyouga 请问原因2次的原因是什么呢？我看改动里面主要是training_args.local_process_index这个吗？