feat: bound async HTTP attempts and track remaining security work
This commit is contained in:
1 parent
d994ffb9a5
commit
926aa64ba3
13 files changed
+479
-8
No files matched your search
@@ -8,6 +8,8 @@
|
||||
- 更新时间:2026-08-20
|
||||
- 当前节点:D4,密钥与模型目录 Mock 闭环
|
||||
|
||||
> 本文为 2026-08-20 的历史设计基线,保留当时的选型与节点记录,不代表最新实施状态。当前 Java/PostgreSQL/Redis 实现、已验证范围及 CPR 差距请以 `README.md` 和 `24-security-and-cpr-task-tracker.md` 为准。
|
||||
|
||||
## 一、开源项目使用决策
|
||||
|
||||
模亦灵枢不直接修改某个中转站项目并把它整体作为产品,而采用“开源网关能力 + MOYI 自研控制面与双端控制台”的组合方式。这样可以复用成熟的模型代理、虚拟密钥和用量能力,同时保留多类型模型、异步 3D 任务、额度台账和未来 MaaS 能力的产品自主性。
|
||||
@@ -138,6 +140,6 @@ POST /v1/tasks
|
||||
| 邮件/短信 | 控制台验证码 | 服务商、模板、签名、发送限制和风控 |
|
||||
| 地区与合规 | 不对公网开放 | 服务地区、隐私政策、日志和内容安全要求 |
|
||||
|
||||
## 六、当前结论
|
||||
## 六、当时的阶段结论(历史记录)
|
||||
|
||||
当前 D3 已完成认证与权限基线。D4 已提供平台 Key 生命周期、统一模型目录、标准同步调用和异步 3D 任务接口,并完成首个 Tripo 真实 Provider Adapter 与文生 3D 验收。目录和真实任务归属当前仍使用内存仓库,PostgreSQL 表结构已准备;下一步进入 D5 调用计量,并在 D6 持久化异步任务、队列和结果文件。详见 [D4 密钥与模型目录实施计划](06-d4-integration-plan.md)。
|
||||
@@ -0,0 +1,38 @@
|
||||
# 安全与 CPR 差距任务追踪
|
||||
|
||||
审查日期:2026-10-21。对照用户粘贴的 CPR 比对报告与本地代码,不将建议清单视为已完成验收。
|
||||
|
||||
## 已交付基线
|
||||
|
||||
- `5533a48`:gateway.request 请求边界、风险策略接口、可信来源元数据、共享凭据解析、有界 SSE 与同步结算恢复。默认 shadow,没有实际规则就不代表风控拦截已上线。
|
||||
- `7626584`:异步创建用户级幂等、哈希身份、事务锁、唯一性约束。
|
||||
- `5be06a9`:上游受理未知不重发不退款,持久终态日志和本地结算恢复。
|
||||
- `c716ec7`:人工核账、共享任务结算、provider/model 绑定、幂等审计回执、Redis 同任务续期。221 项后端与 25 项前端测试的结果仅对应该提交,不代表整个建议清单完成。
|
||||
- `d994ffb`:本轮认证修复,包含共享登录窗口、统一新密码策略、会话撤销与竞态保护、首次管理员配置检查及隔离界面回归。
|
||||
|
||||
## 待补任务与当前证据
|
||||
|
||||
| ID | 工作项 | 对照结果 / 当前状态 | 验收依据 |
|
||||
| --- | --- | --- | --- |
|
||||
| SEC-01 | 登录防爆破与账号/IP 限速 | 本轮已实现并验证:独立提交的账号/IP 固定窗口,未知账号同样限制 | 真实数据库并发、限额持久化、429/Retry-After,见 25 号文档 |
|
||||
| SEC-02 | 所有角色统一新密码策略 | 本轮已实现并验证:所有角色新密码 8–256,保留既有有界哈希登录 | 各入口相同规则,KDF 参数上界,不静默截断 |
|
||||
| SEC-03 | 改密与会话撤销、登录竞态 | 本轮已实现并验证:撤销全部会话、清 Cookie、行锁与二次校验 | 改密两种锁顺序、MFA 失败计数及审计回滚 |
|
||||
| SEC-04 | 任务用户隔离与回执安全 | 已实现核心用户级查询/幂等/冻结/核账,并补跨用户读取回归;完整授权审计仍待继续 | 跨用户读取/列表不可见;核账拒绝普通用户 |
|
||||
| SEC-05 | Provider 有界 HTTP Transport | 部分完成:异步 JSON/multipart/音频/媒体已接有界读取和总期限;同步/SSE 生命周期尚未统一抽取 | 超大 chunk、慢响应体、已观察拒绝状态、取消、重定向及原适配器回归 |
|
||||
| SEC-06 | 媒体下载出站 / SSRF | 部分加固但未闭环:体积/期限/重定向有界,DNS 重绑定窗口和保留地址复核仍待补 | 私网/保留地址、DNS 绑定或可信出站代理尚待完整验证 |
|
||||
| SEC-07 | 整体安全审查与生产验收 | 未完成:管理接口、注册/重置原子性、默认配置、依赖、备份恢复需继续 | 独立用例、部署与恢复演练,禁止宣称“全仓库安全” |
|
||||
| COD-01 | Codex 协议能力及验收矩阵 | 未实现完整兼容;保留有限文本 Responses 的明确拒绝语义 | 指定客户端版本、模型、工具和计费联合验收 |
|
||||
| COD-02 | Responses WebSocket 与响应归属续接 | 未实现,不可宣传完整 Codex 支持 | 原账号/凭据版本归属、断线、取消、租约、费用一致性 |
|
||||
| COD-03 | 长请求连接/空闲/总期限与续租 | 未完成,不只修改 90 秒常量 | 并发租约、钱包预留恢复、长流/取消共同验证 |
|
||||
| SCH-01 | 独立上游账号生命周期与调度 | 仅共享 Key 轮换/冷却/指纹,非完整账号实体 | 凭据版本、额度、模型范围、权重及解释能力 |
|
||||
| SCH-02 | 公平排队 / 取消 / 共享等待预算 | 未完成,现有同步 Redis 竞争不保证 FIFO | 多客户端饥饿/FIFO/取消回收与横向并发验证 |
|
||||
| OPS-01 | request/attempt 诊断、配置版本、质量门禁 | 部分:已有最终审计/健康/部分快照;本轮加依赖方向测试、CI/Dependabot 配置,远端未运行;逐 attempt/完整配置版本仍缺 | 本地门禁不等于 GitHub CI、CVE 扫描或真实协议验收 |
|
||||
| OPS-02 | CPR 可选部署 / OAuth 账号池 | 未部署;属于可选方案,不默认新建生产基础设施 | 用户确认部署方式及授权来源后才接入;本地不发付费生成 |
|
||||
|
||||
## 实施边界
|
||||
|
||||
已补 SEC-01/02/03,下一优先级是 SEC-06 出站/DNS 绑定、同步 Transport 与完整 provider 配置版本,再处理 COD-01/02/03 的协议/续接/长请求合同。Codex WebSocket 与 OAuth 不是添加 URL 即可安全完成的能力,须连同状态归属、计量、预留续期和客户端验收逐步实施。未部署、未真实供应商验证或待设计的项必须保持未完成标记。
|
||||
|
||||
本轮设计与验证细节见 `25-auth-and-bounded-transport.md`。这份表按用户粘贴报告的锁定基线追踪本地实施,不把旧的 CPR 版本号冒充实时最新版,也没有重新部署 CPR。只做本地 Git commit,不 push,不修改业务数据库。
|
||||
|
||||
2026-10-21 本轮最终验证:247 项后端测试全部通过(含真实 PostgreSQL/Redis,0 跳过),前端构建与 25 项测试通过,另完成隔离改密界面交互检查。新增 GitHub 配置只保存本地,远端未执行。本轮没有把剩余 COD/SCH/出站/运营验收项目标为完成。
|
||||
@@ -0,0 +1,44 @@
|
||||
# 认证安全与有界 HTTP 增量
|
||||
|
||||
日期:2026-10-21。范围是补齐用户清单中的可独立验证安全底座,不代表完整 Codex 兼容或全部 CPR 能力已完成;总任务状态见 `24-security-and-cpr-task-tracker.md`。
|
||||
|
||||
## 认证边界
|
||||
|
||||
- `LoginAttemptLimiter` 在昂贵密码校验前,使用 PostgreSQL 共享固定窗口:同一规范化账号每 60 秒最多 10 次,同一来源每 60 秒最多 50 次,包括未知账号、成功与失败尝试。超过返回 429 / `AUTH_RATE_LIMITED` 和 `Retry-After`。
|
||||
- `V49` 仅存 scope+身份摘要、计数和期限,不保存原始账号、IP 或密码。摘要是伪名化,不等于抵抗字典反推的匿名化。过期数据在后续尝试中分批清理;这是应用防爆破,不替代 WAF/网关整体流量防护。
|
||||
- 限速计数独立事务提交,失败登录/外层回滚不能抹去次数;稳定的桶锁顺序防死锁。先完成限速再进入登录事务,不让所有请求各占一条连接后再争抢 REQUIRES_NEW 连接。
|
||||
- 已知和未知账号均执行有界 PBKDF2 验证;未知账号使用非用户凭据的固定摘要形状,降低明显的是否存在计时差异,不承诺严格恒定响应时长。
|
||||
- 登录、改密、密码重置通过用户行锁协调。先登录的会话会被随后改密撤销;先改密后,旧密码不能继续创建有效会话。MFA 失败计数、动态码重放标记和恢复码消费与会话签发保持事务语义。
|
||||
- 改密撤销所有浏览器会话,包括当前会话;Controller 清理 Cookie,界面回到登录入口。仅改显示名称不撤销会话。API Key 不自动撤销,泄露时仍需单独停用或轮换。
|
||||
- `PasswordPolicy` 统一注册、管理端创建、所有角色改密/重置以及新建初始管理员的新密码规则:8–256 个 UTF-16 code unit、不能仅为空白,不静默裁切/修剪。超级管理员不再豁免长度策略。8 位是兼容当前产品规则,不是声称达到所有部署的最佳口令强度;更强策略、泄露口令检测、强制 MFA 仍需按部署要求补齐。
|
||||
- 兼容既有哈希和有界旧密码登录,不自动重置已有管理员。匹配端拒绝超大输入、异常盐/密钥尺寸和不合理迭代数,防止损坏哈希控制无界 KDF 工作。新建管理员必须显式配置密码,默认 `admin123` 及示例环境文件中的占位密码被拒绝;已有管理员启动不因缺少新的初始密码配置被重置。
|
||||
|
||||
注册/验证码整体流程、重置发送的账号枚举侧信道、管理敏感动作二次验证、会话管理面板等仍在剩余审查中;不能把本增量描述为“认证系统已无漏洞”。
|
||||
|
||||
## 有界 HTTP 模块
|
||||
|
||||
`provider.transport.BoundedHttpTransport` 只执行一次非流式 HTTP 传输,不选择账号/渠道、不读写钱包、不决定重试、也不携带业务风险策略:
|
||||
|
||||
1. 强制调用方提供总期限,期限覆盖响应头和整个响应体;超时或线程中断时取消 future 和 body subscription,恢复中断标志。
|
||||
2. 使用限量 BodySubscriber,在继续累计之前检查 chunk 总量;声明 Content-Length 已超限时提前拒绝。错误体最多 64 KiB,不是“先读完整体再判断大小”。
|
||||
3. 禁止自动跟随重定向;返回已观察 HTTP 状态及字节,诊断对象不输出 URL、头、密钥或原始响应体。
|
||||
4. 异步 JSON、multipart、音频接入 8 MiB 上限;媒体输入也使用同一读取上限和 15 秒期限。媒体获取在生成发送前失败时不应被视为已发送生成请求。
|
||||
5. `AsyncProviderClient` 继续负责协议和受理语义:已观察到明确拒绝状态时保留该事实;成功响应超限、读取超时或接收结果未知时仍按 UNKNOWN 处理,不自动重发、不自动退款。原有 404/405 视频路径兼容边界不放宽。
|
||||
|
||||
这还不是全项目统一 Transport:同步/SSE 的现有有界读取和整体 deadline 仍在原 Provider 生命周期内;长请求续租、逐 attempt 交付状态、统一取消与跨路由共享预算未完成。
|
||||
|
||||
**媒体 SSRF 仍未闭环。** 本阶段约束了响应体、总期限和重定向,但旧 DNS 预检与 JDK HTTP 实际解析之间的重绑定窗口仍存在,保留地址范围也需完整复核。不得标记 SEC-06 完成;生产应通过可信出站代理/网络策略控制访问,后续实现可证明的 DNS 绑定或等价控制。没有擅自更改业务网络或把任意用户 URL 加入可信名单。
|
||||
|
||||
## 工程验证与限制
|
||||
|
||||
- 新增 3 项模块依赖方向测试:请求应用边界不直接持有 HTTP/JDBC/凭据;transport 不依赖风险/路由/钱包;结算模块不调用上游。它们是轻量源码门禁,不替代代码审查或沙箱。
|
||||
- 新增跨用户任务查询回归,其他用户不能读取任务结果或列出其任务。
|
||||
- `.github/workflows/verification.yml` 配置 Java 21、Node 22、锁文件安装、前后端构建与独立 PostgreSQL/Redis 测试;Actions 固定完整 commit SHA(2026-10-21 通过各上游 GitHub API 核对 v4 引用,pnpm 的 annotated tag 另行解引用),避免仅依赖可移动主版本标签。此项不等于审计了 Actions 全部源码。`.github/dependabot.yml` 配置 Maven/npm/Actions 更新检查。仅本地保存配置,未 push、未在 GitHub 运行,不能声称远端 CI 或依赖漏洞扫描已通过。
|
||||
- 本机 pnpm 包装器提示 esbuild 构建脚本待审批。没有全局关闭审批,也没有批准未知脚本;移除了本次自动生成的待审批占位配置。使用现有安装依赖执行 `npm run build` / `npm test`,前端构建与 25 项测试通过;CI 的锁文件安装仍需首次远端实际验证。
|
||||
- 使用 Browser 技能在全部 fetch 被拦截的隔离 fixture 中验证改密事件使设置页退回登录入口;密码是测试字符串,没有操作真实账号或浏览器会话。截图 `.tools/auth-security-ui-proof.png` 被忽略,不进入 Git。
|
||||
|
||||
最终全量验证于 2026-10-21 22:01(Asia/Shanghai)完成:Java 21 / Maven 3.9.9 的 `mvn -B -o clean verify`,**247 项测试,0 失败、0 错误、0 跳过**,Spring Boot JAR 成功构建。使用独立 PostgreSQL 15.18、Redis 7 容器和共享测试 network namespace,没有连接业务数据库。包含 9 项认证数据库安全回归、既有认证/角色/MFA/钱包/异步核账回归、8 项传输测试、2 项异步超限受理语义回归、3 项依赖方向门禁和跨用户任务读取回归。
|
||||
|
||||
前端 `npm run build`(vue-tsc + Vite)和 `npm test` 再次通过,25 项测试零失败;隔离界面验证通过。`git diff --check` 无错误。日志 `.tools/security-final-verify.log` 和截图被忽略,不进入提交。测试通过只证明本次本地已覆盖范围;CI 未远端执行,媒体 DNS 绑定、WebSocket/续接、长请求续租、公平调度、完整配置版本、依赖漏洞与备份恢复验收仍未完成。
|
||||
|
||||
不部署、不迁移业务数据库、不进行付费上游生成;只创建本地阶段性 Git commit,不 push。发布此版本前必须先迁移 V49,再启动新后端;首次启动须替换环境示例占位密码。不要将旧 TypeScript 参考服务当成与 Java 同时对外写账的第二套生产后端。
|
||||
Reference in new issue
Block a user