fix: scope provider model keys and pin async credentials
This commit is contained in:
1 parent
58dc904c98
commit
558c0dcdd5
8 files changed
+166
-55
No files matched your search
@@ -192,7 +192,7 @@ MOYI 用户对外使用的统一 API Base URL 为 `https://moyi.soulofmodel.com/
|
||||
|
||||
## 一个渠道配置多个上游 Key
|
||||
|
||||
可以。当前 OpenAI 兼容转发器支持为同一渠道配置多个上游 Key,并按请求轮换,适合把上游的单 Key 并发拆到多个 Key。新版还支持“按 MOYI 模型分组固定 Key 池”:路由分组 Key 优先,其次是上游模型 Key,再其次是渠道级 Key,最后才回退到管理端渠道里的单个加密凭据。这样 APIPro、ApiHub、TokenFoundryX 可以为每个上游分组分别配置一个或多个 Key,不会把某个分组的 Key 错轮到另一个分组。
|
||||
可以。当前 OpenAI 兼容转发器支持为同一渠道配置多个上游 Key,并按请求轮换,适合把上游的单 Key 并发拆到多个 Key。新版还支持“按 MOYI 模型分组固定 Key 池”:路由分组 Key 优先,其次是带渠道编码的上游模型 Key,再其次是渠道级 Key,最后才回退到管理端渠道里的单个加密凭据。模型 Key 必须带渠道编码,避免 APIPro、ApiHub、TokenFoundryX 的同名模型误用彼此的凭据。
|
||||
|
||||
服务器环境变量优先使用渠道编码(管理端渠道的 code),也兼容渠道 ID 转成大写下划线后的名字,Key 之间用 `|` 分隔。例如渠道编码为 `apipro` 时:
|
||||
|
||||
@@ -206,12 +206,14 @@ MOYI_UPSTREAM_API_KEYS_APIPRO='key_a|key_b|key_c'
|
||||
MOYI_UPSTREAM_API_KEYS_ROUTE_RELAY_ROUTE_044E37BB_AB61_4C6D_88A8_13ADDA55E4C0B='group_key'
|
||||
```
|
||||
|
||||
如果希望同一个上游模型的多个分组共用一个 Key 池,可以使用:
|
||||
如果希望同一个渠道中的上游模型的多个分组共用一个 Key 池,可以使用带渠道编码的变量。渠道编码为 `apipro`、上游模型为 `glm-4.7` 时:
|
||||
|
||||
```ini
|
||||
MOYI_UPSTREAM_API_KEYS_MODEL_GLM_4_7='model_key_a|model_key_b'
|
||||
MOYI_UPSTREAM_API_KEYS_MODEL_APIPRO_GLM_4_7='model_key_a|model_key_b'
|
||||
```
|
||||
|
||||
不再使用没有渠道编码的 `MOYI_UPSTREAM_API_KEYS_MODEL_GLM_4_7` 形式;它会被忽略,防止同名模型跨供应商串用 Key。
|
||||
|
||||
动态变量由 `docker-compose.cloud.yml` 的 API 服务 `env_file: .env.cloud` 注入容器;真实 Key 只能写服务器上的 `.env.cloud`,不能写 Git、迁移文件或聊天记录。每个分组创建一把 Key 时只填单个值。同步请求支持用竖线分隔多把 Key 轮换;异步任务建议每个分组只配置一把 Key,因为部分供应商要求用创建任务的同一凭据轮询任务状态。调用和异步创建/轮询都使用同一优先级规则。
|
||||
|
||||
保留管理端渠道中的单个凭据作为回退 Key。同步聊天和已接入的异步执行器都会在每个请求或轮询请求前轮换 Key。轮换只解决 Key 分摊,不能突破上游账户总并发、余额、模型授权或速率限制;平台自己的模型并发和单个 MOYI Key 并发仍由网关队列控制。多个 Key 应来自同一渠道、具有相同模型授权,并在服务器密钥文件中保存,不能提交到 Git。当前没有把这些 Key 明文放进管理端数据库的功能,避免把上游密钥暴露给前端;需要新增或撤销 Key 时修改服务器 `.env.cloud` 后重启 API 容器即可。
|
||||
Reference in new issue
Block a user