[bug] OpenFunctions-v2: <Issue>CUDA_VISIBLE_DEVICES=1 bfcl evaluate --model Qwen/Qwen2.5-7B-Instruct --test-category simple 执行这条命令，score目录生成的指标文件没有具体的数据。

[belief888]

执行CUDA_VISIBLE_DEVICES=1 bfcl evaluate --model Qwen/Qwen2.5-7B-Instruct --test-category simple 命令，目录：/bfcl/gorilla/berkeley-function-call-leaderboard/score/ 下的data_overall.csv里面没有详细的指标数据，请问这是啥原因造成的？谢谢！

[HuanzhiMao]

You need to run bfcl generate xxx to obtain the model result first, before running the evaluation command. See here.

你需要先跑bfcl generate xxx拿到模型的输出，然后才能跑bfcl evaluate xxx

[HuanzhiMao]

score那个文件夹下有东西吗？应该有BFCL_v3_simple_score.json

[belief888]

score目录下有data_live.csv，data_non_live.csv，data_multi_turn.csv，data_overall.csv这四个文件，没有BFCL_v3_simple_score.json

[belief888]

BFCL_v3_simple_result.json 这个文件在另外一个文件夹result下

[HuanzhiMao]

我看你最一开始是用的 --model Qwen/Qwen2.5-7B-Instruct，为啥后来要换成--model /data/models/Qwen2___5-7B-Instruct

[belief888]

我本地电脑的模型是从huggingface下载来的，存入在/data/models/Qwen2___5-7B-Instruct目录下，想直接加载就行了，不想再下载

[belief888]

请问这个是啥回事？

[HuanzhiMao]

我本地电脑的模型是从huggingface下载来的，存入在/data/models/Qwen2___5-7B-Instruct目录下，想直接加载就行了，不想再下载

你应该改huggingface那边的路径，export HF_HOME=xxx。--model这个argument不管你本地存储的路径，它是用来决定使用哪个model handler的

[HuanzhiMao]

不是，export HF_HOME=xxx是输在terminal里的...
用--model Qwen/Qwen2.5-7B-Instruct，然后model_metadata那边你应该是不用改的

[belief888]

export HF_HOME=/data/models/Qwen2___5-7B-Instruct 输在terminal ？

[HuanzhiMao]

terminal里应该输的是export HF_HOME=/data/models

[belief888]

gorilla-openfunctions-v2 这个模型我己经下载好在/data/gcr/models里面了

[HuanzhiMao]

这个目前没法解决。gorilla-openfunctions-v2的hosted API endpoint最近有点问题；如果要换成local inference的话需要写新的model handler。可以考虑换个模型

[belief888]

我现在想评估eval一下gorilla-openfunctions-v2这个模型的指标，看输出结果是啥样的?

[belief888]

请问有好的解决方案吗？

[HuanzhiMao]

我可以发给你我们在 #748 里面跑出来的gorilla-openfunctions-v2的输出结果(不是最新的commit)。如果你想在你那边自己跑的话，现在解决不了(API掉线了)

[HuanzhiMao]

HTTPSConnectionPool(host='cdn-lfs-us-1.hf-mirror.com', port=443): Read timed out. 这个说的是你网络的问题吧？