啥咱们这里使用vllm输入长度限制在2048token(千问原始支持32k的token)，而且显存也没有提供限制的参数

[sunjunlishi]

Reminder

• I have read the README and searched the existing issues.

Reproduction

python src/web_demo.py
--model_name_or_path ../../../workspace/Llama/Qwen-14B-Chat-Int4
--template qwen
--infer_backend vllm --enforce_eager

Expected behavior

System Info

ValueError: Some specified arguments are not used by the HfArgumentParser: ['--enforce_eager']
使用vllm的问题(确实速度提速)但是问题1 显存自适应参数 不能用 问题2 max_seq_len=2048 token参数，也不支持更改

Others

No response

[hiyouga]

使用 --vllm_maxlen 参数修改

[KelleyYin]

使用 --vllm_maxlen 参数修改

请问嗯vllm中支持NTK等方式动态扩展吗？

[sunjunlishi]

@hiyouga 那个参数也可以，更改代码也可以。还有显存的限制问题，直接改代码vllm_engine.py
require_version("vllm>=0.3.3", "To fix: pip install vllm>=0.3.3")
self.can_generate = finetuning_args.stage == "sft"
engine_args = AsyncEngineArgs(
model=model_args.model_name_or_path,
trust_remote_code=True,
max_model_len=model_args.vllm_maxlen,
tensor_parallel_size=get_device_count(),
disable_log_stats=True,
disable_log_requests=True,
enforce_eager=True,#add
gpu_memory_utilization=0.95#add
)

增加了 enforce_eager=True,#add
gpu_memory_utilization=0.95#add

[hiyouga]

现在加了这两个参数

[yecphaha]

现在加了这两个参数

请问用vllm如何添加这两个参数？