feat: separate api key and upstream concurrency
This commit is contained in:
1 parent
281849ceb8
commit
f5f855c751
13 files changed
+74
-8
No files matched your search
@@ -8,6 +8,23 @@ API Key 权限窗口支持同时勾选多个模型,再选择各自的分组;
|
||||
|
||||
模型广场、管理端模型/渠道和 API Key 列表默认每页 12 项,可选 24/48 项。权限列表默认每页 8 个模型,可选 16/32 项。筛选或每页数量改变时回到首页;删除导致页数减少时自动回到有效页。
|
||||
|
||||
## 两层并发限制
|
||||
|
||||
一次同步模型调用要同时通过两层并发保护:
|
||||
|
||||
1. **平台 API Key 并发**:限制同一个用户 Key 同时进行中的请求数量。默认值为 4,可在服务端环境变量 `GATEWAY_DEFAULT_KEY_CONCURRENCY` 调整;每个 Key 独立计数,不会因为其他用户占满而互相阻塞。
|
||||
2. **上游分组并发**:限制同一个渠道分组向中转站发出的同时请求数量,供使用该分组的多个用户共享。管理员在模型与分组中填写“上游分组并发上限”;1 表示串行,4 表示最多同时处理 4 个请求。
|
||||
|
||||
两层限制会同时生效,任一层达到上限都会返回 429,并带有短暂重试提示。API Key 的每分钟请求频率和并发数是不同设置;异步任务另受任务队列上限控制。
|
||||
|
||||
## 用户操作指南
|
||||
|
||||
1. 在模型广场先按模型厂商筛选,再打开模型详情选择渠道分组;复制详情中的“调用模型 ID”。
|
||||
2. 在 API Keys 创建密钥时,可以一次勾选多个模型和多个分组。完整密钥只显示一次,请立即保存;停用的密钥可以重新启用。
|
||||
3. 在线调试选择已有的启用 API Key、模型和分组即可,不需要为每次测试重新创建密钥;请求和响应会保留到使用记录。
|
||||
4. 外部应用使用用户端显示的统一 Base URL,路径为 `/v1`,聊天接口为 `/v1/chat/completions`,通过 `Authorization: Bearer <API_KEY>` 认证。
|
||||
5. 使用记录查看模型、厂商、渠道分组、Token、费用、耗时和时间;任务中心查看异步任务进度与结果。余额、权限或并发不足时,按错误提示处理后再重试。
|
||||
|
||||
## 验证
|
||||
|
||||
- `cd prototype; npm test`:目录合并、无可用分组的模型、多模型授权集合和分页边界,以及既有流式响应测试。
|
||||
|
||||
Reference in new issue
Block a user