llama-7b模型在mmlu上直接评估的效果不佳

[12aka12]

Reminder

• I have read the README and searched the existing issues.

Reproduction

python src/evaluate.py \
    --model_name_or_path llama-7b-hf \
    --template vanilla \
    --task mmlu \
    --split test \
    --lang en \
    --n_shot 5 \
    --batch_size 2 

Expected behavior

你好，我使用llama-7b的模型在mmlu上直接评估，请问为什么我的效果会这么差呀

System Info

Others

No response

[hiyouga]

能复现这个问题，但是 llama2 似乎正常，问题有待排查

[12aka12]

python src/evaluate.py    \
 --model_name_or_path llama2-7b \
 --template vanilla \
 --task mmlu \
 --split test \
 --lang en \
 --n_shot 5 \
 --batch_size 2

你好，关于llama2直接测试的效果，我的结果是这样的，请问可能是什么原因呢

[hiyouga]

现在 LLaMA-7B 的比较正常了，可能和官方结果有两三个点的偏差