3.9 KiB
3.9 KiB
模型目录与多模型 Key 授权
用户端此前只使用 /api/models 的 models 字段(可用分组),未使用 logicalModels(已发布模型)。因此已导入但分组未启用的模型只出现在管理端。
现在模型广场按已发布模型展示,每个模型只显示一张卡片,详情中列出可调用分组、调用 ID 和价格。无可用分组的模型显示“待上线”,试用按钮禁用。管理员停用或删除的模型不会显示。模型列表和权限授予仍使用原有的渠道、模型、分组状态检查,本次没有新增数据库迁移,也没有批量启用或调整价格。
API Key 权限窗口支持同时勾选多个模型,再选择各自的分组;只有一个分组时自动选中。顶部显示全部已选分组,搜索与翻页不清空授权,可以逐项移除或清空。保存的是原有分组 ID 数组,旧 Key 无需重新创建。
模型广场、管理端模型/渠道和 API Key 列表默认每页 12 项,可选 24/48 项。权限列表默认每页 8 个模型,可选 16/32 项。筛选或每页数量改变时回到首页;删除导致页数减少时自动回到有效页。
两层并发限制
一次同步模型调用要同时通过两层并发保护:
- 平台 API Key 并发:限制同一个用户 Key 同时进行中的请求数量。默认值为 4,可在服务端环境变量
GATEWAY_DEFAULT_KEY_CONCURRENCY调整;每个 Key 独立计数,不会因为其他用户占满而互相阻塞。 - 上游分组并发:限制同一个渠道分组向中转站发出的同时请求数量,供使用该分组的多个用户共享。管理员在模型与分组中填写“上游分组并发上限”;1 表示串行,4 表示最多同时处理 4 个请求。
两层限制会同时生效,任一层达到上限都会返回 429,并带有短暂重试提示。API Key 的每分钟请求频率和并发数是不同设置;异步任务另受任务队列上限控制。
用户操作指南
- 在模型广场先按模型厂商筛选,再打开模型详情选择渠道分组;复制详情中的“调用模型 ID”。
- 在 API Keys 创建密钥时,可以一次勾选多个模型和多个分组。完整密钥只显示一次,请立即保存;停用的密钥可以重新启用。
- 在线调试选择已有的启用 API Key、模型和分组即可,不需要为每次测试重新创建密钥;请求和响应会保留到使用记录。
- 外部应用使用用户端显示的统一 Base URL,路径为
/v1,聊天接口为/v1/chat/completions,通过Authorization: Bearer <API_KEY>认证。 - 使用记录查看模型、厂商、渠道分组、Token、费用、耗时和时间;任务中心查看异步任务进度与结果。余额、权限或并发不足时,按错误提示处理后再重试。
验证
cd prototype; npm test:目录合并、无可用分组的模型、多模型授权集合和分页边界,以及既有流式响应测试。PlatformAdminPostgresTest#publicCatalogIncludesPendingModelsAndKeyCanKeepMultipleModelGrants:隔离 PostgreSQL 上读取用户目录,通过 HTTP 保存两个不同模型的授权、重新读取,再撤掉其中一个;确认不能授权未上线的模型定义 ID。cd prototype; npm run dev -- --host 127.0.0.1 --port 4178后打开/tests/catalog-preview.html:本地测试页提供 315 个模型、10 个有上线分组的模型和 14 个 Key。所有 fetch 请求由页面内存响应,不使用真实凭据、不调用中转站。测试页不进入生产构建。- 页面回归:模型目录第 27 页、筛选重置、待上线详情、跨页选两个模型共三个分组、保存重开、撤掉单个分组、管理端末页。
上线后刷新浏览器,在模型广场查看新目录。待上线条目需要管理员完成渠道凭据、分组人民币售价和启用配置后才能用于真实调用。