add queued gateway admission and finish admin monitoring

This commit is contained in:
wlx committed 2026-09-27 02:58:16 +08:00
1 parent 8f75ebdf96
commit 0e6fca81b3
12 files changed
+288 -35

No files matched your search

+1 -1
View File
@@ -60,7 +60,7 @@ MOYI 用户对外使用的统一 API Base URL 为 `https://moyi.soulofmodel.com/
| 输入价格、输出价格 | 待确定平台人民币售价后填写;新版计费会阻止未定价真实模型调用 |
| 价格单位 | `CNY / 1M tokens` |
| 优先级 | `100` |
| 并发上限 | `1` |
| 并发上限 | 以 MOYI 管理端该分组的“并发上限”为准;旧目录导入默认是 `1`,平台会在达到上限时排队等待,不代表中转站账号的真实并发额度 |
上游模型广场的价格可能包括折扣、缓存、动态阶梯。它是上游成本参考,不应未经确认直接作为本平台售价。美元金额也不能原样写入人民币报价。
+3 -1
View File
@@ -15,7 +15,9 @@ API Key 权限窗口支持同时勾选多个模型,再选择各自的分组;
1. **平台 API Key 并发**:限制同一个用户 Key 同时进行中的请求数量。默认值为 4,可在服务端环境变量 `GATEWAY_DEFAULT_KEY_CONCURRENCY` 调整;每个 Key 独立计数,不会因为其他用户占满而互相阻塞。
2. **上游分组并发**:限制同一个渠道分组向中转站发出的同时请求数量,供使用该分组的多个用户共享。管理员在模型与分组中填写“上游分组并发上限”;1 表示串行,4 表示最多同时处理 4 个请求。
两层限制会同时生效,任一层达到上限都会返回 429,并带有短暂重试提示。API Key 的每分钟请求频率和并发数是不同设置;异步任务另受任务队列上限控制。
两层限制会同时生效。同步/流式请求先尝试原子取得“模型分组 + 平台 Key”两个并发槽;若任一层满额,则在平台内进行有界等待,默认最多 30 秒(`GATEWAY_QUEUE_WAIT_MS`),每 100 毫秒重试一次(`GATEWAY_QUEUE_POLL_MS`)。等待时不会占着另一层资源;获得两个槽后才向上游发起请求,超时才返回 429 和 `Retry-After`。API Key 的每分钟请求频率和并发数是不同设置;异步任务另受任务队列上限控制。
这里的数值是 MOYI 配置的保护上限,不是性能压测上限,也不是中转站承诺的账号额度。上游账号可能还有跨模型共享的并发/RPM/TPM限制;需要用有效上游密钥做阶梯压测或由渠道方确认后,再提高 MOYI 分组上限。
## 用户操作指南