推理时使用多卡会报错

[MattMaBX]

无论是直接使用CUDA_VISIBLE_DEVICES=x,x python xxx还是使用accelerate launch来运行，均无法使用多卡推理，错误如下：
Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cuda:1

[MattMaBX]

使用的是src/cli_demo.py

[laputa-cici]

我也遇到了这个问题

[hiyouga]

请更新代码后重试

[microbenh]

今天更新了代码, 在使用 accelerate launch 多卡推理的时候, 加载模型完成后, 直接死机... 尝试多次都一样

[hiyouga]

@Benstime 多机推理请不要使用 Accelerate

[microbenh]

@Benstime 多机推理请不要使用 Accelerate

这边是多卡而不是多机.
单卡(4090 24G显存) 运行不了 llama2-13b的模型, 这么说多卡也没法解决这个问题?

[hiyouga]

@Benstime 多卡推理同样使用 python 启动，24G 理论上可以运行 13B

[microbenh]

单卡 llama2-7b 是可以推理的, 单卡 llama2-13b加载模型过程中报显存溢出
由于llama2-13b 无法加载, 先用 llama2-7b测试多卡推理
=======================问题1============================
系统: ubuntu
模型:llama2-7b
机器: 4*4090, 128G内存
启动方式: python web_demo.py
可见gpu: CUDA_VISIBLE_DEVICES=0,1,2,3

这种情况可以启动, 但推理出现这样的错误:
RuntimeError: CUDA error: device-side assert triggered
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
Compile with TORCH_USE_CUDA_DSA to enable device-side assertions.

===================问题2================================
使用上面的配置, 多卡加载 llama2-13b, 直接死机