[Bug] 部分数据集中对question进行增广时使用浅拷贝会导致选项与答案错位

[QuanWanLear]

先决条件

• 我已经搜索过 问题 和 讨论 但未得到预期的帮助。
• 错误在 最新版本 中尚未被修复。

问题类型

我正在使用官方支持的任务/模型/数据集进行评估。

环境

大部分数据集在对数据进行复制增广时使用类似data_list = data * n_repeats的语句对数据复制多份，这样得到的data_list是浅拷贝，改动其中一个元素会同步改动其他复制出来的元素。以下是一个例子

data_dict_list = [
    { "value": 1},
]

data_dict_list = data_dict_list * 4

# 改动第一个元素的“value”值
data_dict_list[0]["value"] = 2

print(data_dict_list)
# 打印结果后所有元素的"value"值均被改变
# --> [{'value': 2}, {'value': 2}, {'value': 2}, {'value': 2}]

比如gpqa数据集中直接使用 data_list = data * n_repeats 对数据进行复制增广后，下面的扰乱选项会导致只有1/4的数据正确评测，其余3/4的数据正确答案与选项错位，最终结果是模型在3/4的数据上等价于随机选答案

opencompass/opencompass/datasets/gpqa.py

Line 88 in 35ec307

data_list = data * n_repeats

一种正确的方式是直接使用copy库的deepcopy

data_repeats = [copy.deepcopy(item) for item in data for _ in range(n_repeats)]

重现问题 - 代码/配置示例

见上

重现问题 - 命令或脚本

见上

重现问题 - 错误信息

见上

其他信息

No response

[tonysy]

Thanks for the report, we will check this issue.