[Bug] 缺乏game24以及其他数据集

[nuochenpku]

先决条件

• 我已经搜索过 问题 和 讨论 但未得到预期的帮助。
• 错误在 最新版本 中尚未被修复。

问题类型

我正在使用官方支持的任务/模型/数据集进行评估。

环境

python run.py
--datasets korbench_mixed_gen_d00bdd bbh_gen TheoremQA_5shot_gen_6f0af8 NPHardEval_gen hellaswag_gen \

重现问题 - 代码/配置示例

python run.py
--datasets korbench_mixed_gen_d00bdd bbh_gen TheoremQA_5shot_gen_6f0af8 NPHardEval_gen hellaswag_gen \

重现问题 - 命令或脚本

python run.py
--datasets korbench_mixed_gen_d00bdd bbh_gen TheoremQA_5shot_gen_6f0af8 NPHardEval_gen hellaswag_gen \

重现问题 - 错误信息

Please make sure ./data/NPHardEval/GCP/ is correct

lack of some datasets like game24 and nphard

其他信息

缺乏一些数据集

[tonysy]

Thanks for the report. We are working on the dataset validity check and will update the dataset recently.

[small-noob]

Thanks for the report. We are working on the dataset validity check and will update the dataset recently.

@tonysy @liushz @nuochenpku @changlan @hzhwcmhf OpenFinData和FinanceIQ这两个数据集目前也出现了上述问题，问题应该在于opencompass/utils/datasets_info.py，里面缺失一些数据集的下载方式，请尽快上传缺失数据集至http://opencompass.oss-cn-shanghai.aliyuncs.com/datasets/data/并更新代码。谢谢你们的贡献！