fix:"修复媒体下载DNS重绑定并隔离出站传输"
This commit is contained in:
1 parent
926aa64ba3
commit
32f6f67b9f
15 files changed
+791
-56
No files matched your search
@@ -19,7 +19,7 @@
|
||||
| SEC-03 | 改密与会话撤销、登录竞态 | 本轮已实现并验证:撤销全部会话、清 Cookie、行锁与二次校验 | 改密两种锁顺序、MFA 失败计数及审计回滚 |
|
||||
| SEC-04 | 任务用户隔离与回执安全 | 已实现核心用户级查询/幂等/冻结/核账,并补跨用户读取回归;完整授权审计仍待继续 | 跨用户读取/列表不可见;核账拒绝普通用户 |
|
||||
| SEC-05 | Provider 有界 HTTP Transport | 部分完成:异步 JSON/multipart/音频/媒体已接有界读取和总期限;同步/SSE 生命周期尚未统一抽取 | 超大 chunk、慢响应体、已观察拒绝状态、取消、重定向及原适配器回归 |
|
||||
| SEC-06 | 媒体下载出站 / SSRF | 部分加固但未闭环:体积/期限/重定向有界,DNS 重绑定窗口和保留地址复核仍待补 | 私网/保留地址、DNS 绑定或可信出站代理尚待完整验证 |
|
||||
| SEC-06 | 媒体下载出站 / SSRF | 服务端参考图下载的代码级 DNS 绑定已实现并通过本地回归;生产网络隔离与实际部署验收仍未完成 | 一次解析、整组地址校验、固定地址直连、原域名 TLS/SNI、禁代理与跳转;109 项新增回归,见 26 号文档 |
|
||||
| SEC-07 | 整体安全审查与生产验收 | 未完成:管理接口、注册/重置原子性、默认配置、依赖、备份恢复需继续 | 独立用例、部署与恢复演练,禁止宣称“全仓库安全” |
|
||||
| COD-01 | Codex 协议能力及验收矩阵 | 未实现完整兼容;保留有限文本 Responses 的明确拒绝语义 | 指定客户端版本、模型、工具和计费联合验收 |
|
||||
| COD-02 | Responses WebSocket 与响应归属续接 | 未实现,不可宣传完整 Codex 支持 | 原账号/凭据版本归属、断线、取消、租约、费用一致性 |
|
||||
@@ -31,8 +31,10 @@
|
||||
|
||||
## 实施边界
|
||||
|
||||
已补 SEC-01/02/03,下一优先级是 SEC-06 出站/DNS 绑定、同步 Transport 与完整 provider 配置版本,再处理 COD-01/02/03 的协议/续接/长请求合同。Codex WebSocket 与 OAuth 不是添加 URL 即可安全完成的能力,须连同状态归属、计量、预留续期和客户端验收逐步实施。未部署、未真实供应商验证或待设计的项必须保持未完成标记。
|
||||
已补 SEC-01/02/03 和 SEC-06 的本地下载代码边界,下一优先级是注册/密码重置事务审查、同步 Transport 与完整 provider 配置版本,再处理 COD-01/02/03 的协议/续接/长请求合同。SEC-06 的生产网络隔离仍属待验收。Codex WebSocket 与 OAuth 不是添加 URL 即可安全完成的能力,须连同状态归属、计量、预留续期和客户端验收逐步实施。未部署、未真实供应商验证或待设计的项必须保持未完成标记。
|
||||
|
||||
本轮设计与验证细节见 `25-auth-and-bounded-transport.md`。这份表按用户粘贴报告的锁定基线追踪本地实施,不把旧的 CPR 版本号冒充实时最新版,也没有重新部署 CPR。只做本地 Git commit,不 push,不修改业务数据库。
|
||||
|
||||
2026-10-21 本轮最终验证:247 项后端测试全部通过(含真实 PostgreSQL/Redis,0 跳过),前端构建与 25 项测试通过,另完成隔离改密界面交互检查。新增 GitHub 配置只保存本地,远端未执行。本轮没有把剩余 COD/SCH/出站/运营验收项目标为完成。
|
||||
|
||||
2026-10-21 媒体安全后续增量:使用 HttpClient 5.6.5 / HttpCore 5.4.4 重新执行 `mvn -B -o clean verify`,356 项后端测试通过(0 失败/错误/跳过),前端构建及 25 项测试通过。服务端本地下载不再使用 DNS 预检后交给 JDK 客户端二次解析的路径。用户指定的规格驱动验收尚未执行:`testingflow` 的 `.venv` 指向不存在的 Python,首个 `qa project list` 失败;没有绕过工具门禁,也没有自行批准规格。细节及下一步审阅范围见 `26-media-dns-binding-and-acceptance.md`。
|
||||
@@ -27,7 +27,7 @@
|
||||
|
||||
这还不是全项目统一 Transport:同步/SSE 的现有有界读取和整体 deadline 仍在原 Provider 生命周期内;长请求续租、逐 attempt 交付状态、统一取消与跨路由共享预算未完成。
|
||||
|
||||
**媒体 SSRF 仍未闭环。** 本阶段约束了响应体、总期限和重定向,但旧 DNS 预检与 JDK HTTP 实际解析之间的重绑定窗口仍存在,保留地址范围也需完整复核。不得标记 SEC-06 完成;生产应通过可信出站代理/网络策略控制访问,后续实现可证明的 DNS 绑定或等价控制。没有擅自更改业务网络或把任意用户 URL 加入可信名单。
|
||||
**该提交时的媒体 SSRF 尚未闭环。** 本阶段约束了响应体、总期限和重定向,但当时旧 DNS 预检与 JDK HTTP 实际解析之间的重绑定窗口仍存在。2026-10-21 的后续增量已用固定地址直连替换该路径,并补特殊地址范围回归,详见 `26-media-dns-binding-and-acceptance.md`;生产网络策略仍未验收。不能将本地下载修复扩大为全项目出站安全保证,也没有擅自更改业务网络或把任意用户 URL 加入可信名单。
|
||||
|
||||
## 工程验证与限制
|
||||
|
||||
|
||||
@@ -0,0 +1,46 @@
|
||||
# 媒体 DNS 绑定与功能验收状态
|
||||
|
||||
日期:2026-10-21。增量范围是服务端为 Gemini 图像输入、OpenAI 兼容图像编辑和视频参考图下载的 HTTPS 文件。不是完整生产安全审计,不涉及 CPR 部署、业务数据迁移或付费上游生成。
|
||||
|
||||
## 已实现边界
|
||||
|
||||
- `provider.media.PublicMediaAddressPolicy`:校验 HTTPS URI,拒绝 userinfo、fragment、zone ID 与非法端口。DNS 答案整组校验;只要存在非公开/特殊用途地址就全部拒绝,不选择其中的公网地址继续。答案为空、含 null 或超过 16 个地址同样拒绝。IPv4 覆盖本机、私网、共享地址、链路本地、基准测试、文档、组播、保留地址和平台虚拟地址;IPv6 仅接受原生 global-unicast 候选,排除特殊、文档、6to4、已退役 6bone 等前缀。策略采用保守拒绝,某些特殊用途的实际可达地址也可能被拒绝。
|
||||
- `provider.transport.PinnedHttpsTransport`:每次调用只向系统解析一次,经策略验证后使用这份不可变地址集合连接。HTTP 库自己的 DNS 回调只返回该集合,不调用系统 DNS,也不反向解析。URI 始终保留原域名,Host、TLS 证书链、主机名校验和 SNI 不替换为 IP;证书校验未放宽。
|
||||
- 路由层固定直连,底层 Socket 显式 `Proxy.NO_PROXY`,防止 JVM 的系统 SOCKS 代理绕过本地 DNS 绑定。没有自动跳转、HTTP 重试、Cookie 管理、认证缓存或跨下载连接复用;不接受任意请求头、上游 Key 或浏览器 Cookie。
|
||||
- 15 秒总期限覆盖 DNS、连接、TLS 和整个响应体;超时/中断取消 socket,调用方中断标志保留。DNS 原生实现可能不能及时中断,迟到的解析结果会检查取消状态,不能在超时后再发起 HTTP。最多 8 个后台工作线程、无等待队列;饱和直接安全失败,避免无限积压。
|
||||
- 成功体最多 8 MiB,错误体最多 64 KiB;声明超限提前拒绝,chunked 在读取过程中计数。HTTP/1 响应行最多 8192 字符、头数量最多 64。禁自动解压,拒绝非 identity 的 Content-Encoding。先取消再关闭,关闭时不排空超大/无限响应,清理异常不覆盖主要超限原因。
|
||||
- `provider.media.MediaDownloader` 只负责文件输入、MIME 类型及域错误映射;`AsyncProviderClient` 不再自行执行 DNS 策略。模块不依赖凭据、路由、风控、认证或账务,新增依赖方向检查。媒体下载失败仍是生成之前的 `NOT_SENT`,不制造“上游已受理未知”的结果。
|
||||
|
||||
## 依赖与本地验证
|
||||
|
||||
新模块使用 Apache HttpClient **5.6.5** 和配套 HttpCore **5.4.4**,在 POM 中固定属性,不沿用 Spring Boot 3.4.5 管理的旧组合,也不采用 5.7 alpha。版本在 2026-10-21 通过 Maven Central metadata/POM 与 Apache 官方发布记录核对;这不是完整依赖漏洞扫描或零漏洞承诺。参考资料:
|
||||
|
||||
- Apache 发布记录:`https://hc.apache.org/news.html`
|
||||
- HttpClient 父 POM:`https://repo.maven.apache.org/maven2/org/apache/httpcomponents/client5/httpclient5-parent/5.6.5/httpclient5-parent-5.6.5.pom`
|
||||
|
||||
最终后端命令为 `mvn -B -o clean verify`,Java 21 / Maven 3.9.9 容器,共享本机依赖缓存。**356 项测试,0 失败、0 错误、0 跳过,JAR 构建成功**;结束时间 2026-10-21 22:44:03(Asia/Shanghai)。相对前一基线增加 109 项:76 项 URI/地址策略、13 项下载域边界、16 项真实本地 HTTPS 传输、3 项适配器发送前语义,以及 1 项模块依赖方向检查。
|
||||
|
||||
TLS 测试用 keytool 临时生成 `.test` 证书,仅测试客户端信任该证书;默认客户端必须拒绝它,可信但域名不匹配同样拒绝。测试还验证原 Host/SNI、DNS 只查一次、后续下载重新校验、Cookie 不复用、系统 SOCKS 代理不被读取、重定向不跟随、超限/响应头/压缩/慢体/中断/DNS 迟到和无队列饱和。没有通过关闭证书校验来获得绿灯。
|
||||
|
||||
数据库测试使用本轮独立 PostgreSQL 15.18 和 Redis 7 容器,共享隔离 network namespace,未映射业务数据库端口、未连接业务库。前端 `npm run build` 和 `npm test` 也通过,25 项测试零失败。日志 `.tools/media-dns-final-verify.log` 与构建目录忽略,不进入 Git。提交前再执行 `git diff --check`、逐路径检查差异与暂存区,只本地提交,不 push。
|
||||
|
||||
## 尚未完成的安全边界
|
||||
|
||||
本增量只证明上述本地下载路径。传给供应商由其下载的 URL、同步聊天输入中的第三方 URL、浏览器展示结果文件、管理员配置的 Provider Base URL 不属于这条下载路径;不能将它们标成已通过该策略。未知 NAT64/自定义翻译前缀、透明代理、组织路由将公网 IP 引向内部服务等部署行为,需要网络 egress ACL/防火墙控制;地址表也要随地址分配变化维护。生产出站允许范围、部署连通性和真实供应商兼容性均未验收。
|
||||
|
||||
图片目前校验媒体类型和字节大小,不解码文件、扫描内容或限制解码后像素;MIME 声明不是内容真实性保证。并发数 8 是保守传输资源上限,不是租户公平队列;长请求续租、完整 Provider 配置版本、WebSocket 续接、公平调度与备份恢复仍在 24 号任务表中保持待完成。
|
||||
|
||||
## 规格驱动验收的真实状态
|
||||
|
||||
已按用户指定的 `spec-driven-acceptance-testing` 读取完整技能、方法决策表、字段格式、框架 README 和模板。技能记录的 `E:/PROJECT/xpp_dev_agent` 在当前主机不存在,实际框架位于 `D:/PROJECT/xpp_dev_agent/dev-test`,档案目录位于同级 `qa-projects`。
|
||||
|
||||
首先执行了框架规定的项目发现命令:
|
||||
|
||||
```powershell
|
||||
# 工作目录 D:\PROJECT\xpp_dev_agent\dev-test
|
||||
.\.venv\Scripts\python.exe -m qa project list
|
||||
```
|
||||
|
||||
退出码 **1**,提示 Python 路径 `C:/Users/xpp/.conda/envs/ctf/python.exe` 不存在;`.venv/pyvenv.cfg` 仍记录旧的 E 盘创建路径。因此尚未完成项目登记/体检,**未创建或批准业务规格、未执行 `qa run --project`,没有验收报告可交付**。没有手动读取档案代替项目命令、改写共享 Python 环境、绕过批准门禁,或把本轮 Maven/前端测试冒称规格驱动验收。
|
||||
|
||||
后续先确认并修复共享框架环境,成功运行项目发现/体检;项目不存在时按 `qa project init` 建档并只填写源码核实的事实。首批建议审阅范围是隔离环境下匿名访问拒绝、普通用户/管理员权限、任务跨用户隔离、改密撤销会话、错误响应不暴露凭据,以及媒体失败不发起生成。规格始终先 draft,必须向用户展示具体输入、预期与清理步骤,获明确批准后才记录批准并执行。变更真实账号、付费模型调用和生产环境测试不在当前授权范围。
|
||||
Reference in new issue
Block a user