最新的代码中，在API推理的时候在yaml文件中的参数不起作用

[SafeCool]

Reminder

• I have read the README and searched the existing issues.

System Info

• llamafactory version: 0.8.2.dev0
• Platform: Linux-5.4.119-19-0009.11-x86_64-with-glibc2.35
• Python version: 3.11.7
• PyTorch version: 2.3.0+cu121 (GPU)
• Transformers version: 4.41.2
• Datasets version: 2.19.2
• Accelerate version: 0.30.1
• PEFT version: 0.11.1
• TRL version: 0.8.6
• GPU type: NVIDIA Graphics Device
• DeepSpeed version: 0.14.0
• vLLM version: 0.4.3

Reproduction

部署API的yam文件
model_name_or_path: /mnt/sft_full_qwen2_7B_Instruct_v4/checkpoint-100
template: qwen
cutoff_len: 4096
do_sample: false
部署结果

Expected behavior

No response

Others

No response

[hiyouga]

api 需要在 curl 时候给出 do_sample

[SafeCool]

api 需要在 curl 时候给出 do_sample
通过这个命令部署的openai
CUDA_VISIBLE_DEVICES=0,1 API_PORT=8900 llamafactory-cli api /mnt/qwen2_7b_full_chat_v2.yaml
通过result = client.chat.completions.create(messages=messages, model="qwen", tools=tools,tool_choice="auto",top_p=0)
生成回复，中间哪里能设置do_sample 呢？

[hiyouga]

我们之后修复一下。

[SafeCool]

我们之后修复一下。
使用最新的代码，好像还是不起作用，我的yaml文件是这样的，请问是写的不对吗？
model_name_or_path: /mnt/qwen2_7B_Instruct_v4/checkpoint-250
template: qwen
cutoff_len: 4096
do_sample: false

[SafeCool]

我们之后修复一下。

result = client.chat.completions.create(messages=messages, model="qwen", tools=tools,tool_choice="auto",top_p=0.2,temperature=0,do_sample=False)
         ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

File "/root/anaconda3/lib/python3.11/site-packages/openai/_utils/_utils.py", line 277, in wrapper
return func(*args, **kwargs)
^^^^^^^^^^^^^^^^^^^^^
TypeError: Completions.create() got an unexpected keyword argument 'do_sample'