src/api_demo以及web_demo输出乱码

[bxjxxyy]

用的baichuan-13B模型
启动命令分别用的
python api_demo.py --model_name_or_path baichuan-inc/Baichuan-13B-Chat --template default --quantization_bit 8
python web_demo.py --model_name_or_path baichuan-inc/Baichuan-13B-Chat --template default --quantization_bit 8
web_demo使用en和zh都是乱码

api_demo也是乱码

[franklyd]

qwen用了8bit后也是乱码。api日志有输出：Using bos_token, but it is not set yet.

[bxjxxyy]

发现如果不用quantization_bit 8，输出的就正常

[bxjxxyy]

怀疑乱码是quantization_bit时，使用的bitsandbytes的问题导致的。
如果把core里面的loader.py修改为下面如图。使用quantization_bit 8的时候，不再使用bitsandbytes
108-115行注释掉，然后添加
model = AutoModelForCausalLM.from_pretrained("baichuan-inc/Baichuan-13B-Chat", torch_dtype=torch.float16, trust_remote_code=True)
model = model.quantize(8).cuda()
就不会再出现乱码的情况。

但是这样会出现另外一个情况，当提问时content为你好或者你是什么之类的问题时

回答就会变成这种情况

如果content为一个更明确的问题，如：红烧肉怎么做，回答则是正常的

[hiyouga]

template 没选对。

[bxjxxyy]

template 没选对。

请问这是指的template 没选对导致的乱码还是导致的回答里带自问自答？template 应该选择什么？
另外我看到#170 这个问题比较类似，但是这个问题说的是要加prompt_template

[franklyd]

qwen用了8-bit出乱码，不用就正常输出。
!python ../src/api_demo.py \ --model_name_or_path Qwen/Qwen-7B-Chat \ --template chatml \ --quantization_bit 8
应该不是template的问题

[bxjxxyy]

template 没选对。

回答里面自问自答的根据你说的这个解决了。就是#170 的方案。
但是乱码的问题，应该如何处理？我感觉我的那个处理方式不太对。

[hiyouga]

乱码应该是显卡本身不支持 8bit

[bxjxxyy]

乱码应该是显卡本身不支持 8bit

不是，显卡是A6000。直接在baichuan-13b的项目里面的web_demo执行8bit是正常的。
这个项目按照我在4楼的方法就可以正常输出了，但是我总觉得那么改不太对。

[franklyd]

乱码应该是显卡本身不支持 8bit

我用的t4，用qwen官方的8bit代码是可以跑的；但用项目里的api就会出乱码。官方给的代码如下：

# quantization configuration for Int8 (8 bits)
quantization_config = BitsAndBytesConfig(load_in_8bit=True)

model = AutoModelForCausalLM.from_pretrained(
    args.checkpoint_path,
    device_map="cuda:0",
    quantization_config=quantization_config,
    max_memory=max_memory,
    trust_remote_code=True,
).eval()

[hiyouga]

@franklyd 更新一下代码试试

[xuanxuanzl]

我微调了baichuan13-B也出现了乱码这个问题，代码我用的是8.9日晚上20点左右的。
python src/web_demo.py
--model_name_or_path /mnt/d/model_center/Baichuan-13B-Base \ --------------------百川的基础模型
--template baichuan
--quantization_bit 8
--finetuning_type lora
--lora_target W_pack

说明： 开始有--checkpoint_dir path_to_checkpoint，也是乱码，去掉后还是乱码。

[hiyouga]

已修复，请更新代码。