-
Notifications
You must be signed in to change notification settings - Fork 1.9k
使用LlamaChat图形界面(macOS)
ymcui edited this page Jun 8, 2023
·
11 revisions
LlamaChat: https://github.com/alexrozanski/LlamaChat
LlamaChat提供了一种面向macOS系统的类LLaMA模型的交互图形界面。下面以中文Alpaca 7B模型为例介绍相应的启动步骤。
选择最新版的.dmg
文件即可。
链接:https://github.com/alexrozanski/LlamaChat/releases
只需将LlamaChat拖入Applications即可(其他文件夹亦可)。
![image](https://user-images.githubusercontent.com/16095339/232356480-f545f93e-23f1-4b44-97d9-14c2a4722eee.png)
按照向导配置模型即可。在本实例中,选择Alpaca模型。
给模型取一个名字,头像自行选择,下面的Format
下拉列表选择PyToch格式(.pth
扩展名)或者GGML格式(.bin
扩展名),指定模型路径和模型大小。其中GGML格式就是llama.cpp中转换得到的模型格式,具体参考llama.cpp转换。
![image](https://user-images.githubusercontent.com/16095339/232356838-1179e76c-e19d-4ffc-afdb-d2495eb5d657.png)
添加模型成功之后即可和模型进行交互。点击聊天框左侧的图标可以结束当前轮次的对话(清除上下文缓存,但不删除相应的聊天记录)。
(提示:生成第一句话时需要加载模型,之后速度就会恢复正常了)
![image](https://user-images.githubusercontent.com/16095339/232357193-c4f5b1ac-437c-4fb3-9eb4-9a62743775d3.png)
v1.2版本支持了自定义参数,提供了更加灵活的解码方式,可根据实际情况自行修改。
![image](https://user-images.githubusercontent.com/16095339/233646243-100ea9c5-8a59-4bca-a530-8afbf66ad98c.png)
- 模型合并与转换
- 模型量化、推理、部署
- 效果与评测
- 训练细节
- 常见问题
- Model Reconstruction
- Model Quantization, Inference and Deployment
- System Performance
- Training Details
- FAQ