Chatig 是一个高效、统一的推理网关,旨在为开发者和企业提供兼容OpenAI的API层,充当了智能应用与大模型服务之间的中介。通过Chatig,开发者能够更轻松地接入大模型服务,为智能应用赋能。
Chatig 集成租户管理、流量控制、模型调度、安全审计等模块,除了提供统一的API接口,还能够实现多模型灵活切换、模型管理、数据隐私保护及使用日志监控等功能,帮助开发者和企业更高效地管理和优化智能应用的部署与运行。
- 安装copilot或者chatchat大模型服务框架。
- 按照安装文档,安装pgsql。
- 修改chatig的配置文件(./src/configs/)与pgsql环境变量(./.env)。
- 直接运行:
cargo run
提供Api接口/v1/chat/completions
接口供AA-UI、cursor等应用使用。
- Fork 本仓库
- 新建 Feat_xxx 分支
- 提交代码
- 新建 Pull Request