Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

请问这个的效果和vicuna相比怎么样 #108

Closed
rayvzn119 opened this issue Apr 24, 2023 · 6 comments
Closed

请问这个的效果和vicuna相比怎么样 #108

rayvzn119 opened this issue Apr 24, 2023 · 6 comments

Comments

@rayvzn119
Copy link

和原版vicuna相比,这个的效果如何,尤其是中文方面

@fireice009
Copy link

@lmclmc
Copy link

lmclmc commented Apr 25, 2023

python都有语法错误,这都什么玩意

@Facico
Copy link
Owner

Facico commented Apr 26, 2023

@rayvzn119 standford的vicuna主要是全量微调+不开8bit+全长度(2048),他们之前的那个效果一般,不过在最近的V1.1版本效果挺好的,基底是13B模型。我们主要在7B上的模型+lora+8bit上进行训练,由于资源所限,我们目前的目标还是在小资源下如何提高中文能力。目前中文能力确实是不如他们的13B的V1.1版本。
@fireice009 可以参考这个issue

@Facico
Copy link
Owner

Facico commented Apr 26, 2023

@lmclmc 作为一个开源项目,如果你遇到了错误,欢迎提供给我们,我们做出即时的修改

@Eriice
Copy link

Eriice commented Apr 30, 2023

python都有语法错误,这都什么玩意

别人辛辛苦苦开源,耐心解答问题。

没有收你一毛钱,没有夸大项目秒天秒地,怎么到你口中就成了"什么玩意"?

好好说话有那么难么?

@ldfandian
Copy link

@rayvzn119 standford的vicuna主要是全量微调+不开8bit+全长度(2048),他们之前的那个效果一般,不过在最近的V1.1版本效果挺好的,基底是13B模型。我们主要在7B上的模型+lora+8bit上进行训练,由于资源所限,我们目前的目标还是在小资源下如何提高中文能力。目前中文能力确实是不如他们的13B的V1.1版本。
@fireice009 可以参考这个issue

期待基于13B做一个效果更好的~

@Facico Facico closed this as completed Jun 29, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

6 participants