fix:"统一媒体结果校验并补齐交付状态"
This commit is contained in:
1 parent
bb3baed095
commit
5d6253cbf1
14 files changed
+510
-106
No files matched your search
@@ -1,6 +1,6 @@
|
||||
# 安全与 CPR 差距任务追踪
|
||||
|
||||
最新增量审查日期:2026-10-22。对照用户粘贴的 CPR 比对报告与本地代码,不将建议清单视为已完成验收。比对结论与优化方案全文见 `29-cpr-gap-analysis-and-optimization-plan.md`。
|
||||
最新增量审查日期:2026-10-28。对照用户粘贴的 CPR 比对报告与本地代码,不将建议清单视为已完成验收。比对结论与优化方案全文见 `29-cpr-gap-analysis-and-optimization-plan.md`。
|
||||
|
||||
## 已交付基线
|
||||
|
||||
@@ -29,9 +29,9 @@
|
||||
| SCH-02 | 公平排队 / 取消 / 共享等待预算 | 部分完成:模型+Key 配对准入改为模型级 FIFO(到达顺序 ZSET,过期/超时/放弃即出队;仅因自身 Key 满而等待者不占模型队位),真实 Redis 回归证明旧脚本会被插队;跨路由共享等待预算、优先级与横向压测仍缺 | 多客户端饥饿/FIFO/取消回收与横向并发验证 |
|
||||
| OPS-01 | request/attempt 诊断、配置版本、质量门禁 | 部分:已有最终审计/健康/部分快照;本轮加依赖方向测试、CI/Dependabot 配置,远端未运行;逐 attempt/完整配置版本仍缺 | 本地门禁不等于 GitHub CI、CVE 扫描或真实协议验收 |
|
||||
| OPS-02 | CPR 可选部署 / OAuth 账号池 | 未部署;属于可选方案,不默认新建生产基础设施 | 用户确认部署方式及授权来源后才接入;本地不发付费生成 |
|
||||
| MED-01 | 音视频任务回执与结果规范化 | 本地已实现:独立 `AsyncTaskResponseNormalizer` 解析 `content`/`result`/嵌套 `data` 与 `{url}` 对象,仅白名单媒体字段;视频/音频完成但无文件时标记 `deliveryStatus=pending`,结算一次、不重发不退款。逐供应商实测未做 | 本地协议桩、结果回读与钱包只结算一次;逐供应商实测待授权 |
|
||||
| MED-01 | 音视频任务回执与结果规范化 | 本地已实现并继续收紧:`AsyncTaskResponseNormalizer` 只解析有界信封/列表,`provider.media.MediaAssetNormalizer` 为即时/轮询结果共用的纯媒体字段边界;拒绝无效/带凭据 URL、主动 SVG data 文档、错误媒体类型;所有媒体完成但无主文件均标记 `deliveryStatus=pending`,保留原结算语义、不重发不退款。逐供应商实测未做 | 本地协议桩、结果回读、缺文件/错类型和钱包只结算一次;详见 31 号文档 |
|
||||
| MED-02 | 音频协议与执行能力准确标识 | 本地已实现:目录与执行共用 `AsyncMediaSupport.supportsSpeech` 白名单;非 TTS 音频、专用渠道错配任务类型、非法文本/音色/格式/语速在发送前拒绝。转写/音乐/Realtime 仍未接入 | 目录与实际执行共享判定,错误协议在发送前拒绝;TTS/非 TTS 回归 |
|
||||
| MED-03 | 音视频结果展示与历史任务类型 | 本地已实现:任务响应返回持久 `taskType`/`completedAt`,前端以其优先于目录;补 opus/aac/flac MIME、签名 URL 后缀、尾帧预览与“结果未交付”提示 | 无目录历史任务、音频 base64、带签名视频 URL、错误响应前端回归 |
|
||||
| MED-03 | 音视频结果展示与历史任务类型 | 本地已实现并继续修复:持久任务类型优先于目录;补无格式 Base64 的 PNG/JPEG/GIF 签名识别、data URL 音频识别和单一主媒体类型;历史成功任务也检查主文件,预览帧不算视频成品,无文件不再提示可下载。真实浏览器生成/播放未验收 | 无目录任务、音频 base64、签名 URL、缺格式图片、无效别名/尾帧前端回归 |
|
||||
| MED-04 | 音视频用量计费及逐路由验收 | 未完成:音视频 Token/时长计费不可用固定单任务费代替,配置就绪不等于真实生成通过 | 每条路由分别核对协议、模型、用量、费用、播放;不猜报价,不自动发付费任务 |
|
||||
| MED-05 | 视频鉴权内容下载与不同渠道协议 | 未完成:返回任务元数据但无公开 URL 的供应商需要鉴权内容获取;不同渠道不能共用猜测接口 | 绑定原账号、受控内容下载、用户隔离、体积期限与安全存储联合验收 |
|
||||
|
||||
@@ -39,7 +39,7 @@
|
||||
|
||||
附件追踪确认(2026-10-22):用户再次提供的 CPR 比对文本已通过 SEC-01–07、COD-01–03、SCH-01–02、OPS-01–02 映射到本表,包含保留人民币钱包/凭据加密、不直接整体替换 CPR 的边界;附件中的版本是当次锁定基线,不是当前最新版声明。此前没有单列完整音视频验收任务,本轮新增 MED-01–05 并优先排查用户反馈,不能用安全回归通过替代音视频生成实测。
|
||||
|
||||
已补 SEC-01/02/03、SEC-06 的本地下载代码边界、验证码/账号事务,以及请求侧一致的验证码受理和加密异步投递。下一优先级是管理授权审查、同步 Transport 与完整 provider 配置版本,再处理 COD-01/02/03 的协议/续接/长请求合同。投递真实环境、残余时序与生产网络隔离仍属待验收。Codex WebSocket 与 OAuth 不是添加 URL 即可安全完成的能力,须连同状态归属、计量、预留续期和客户端验收逐步实施。未部署、未真实供应商验证或待设计的项必须保持未完成标记。
|
||||
已补 SEC-01/02/03、SEC-06 的本地下载代码边界、验证码/账号事务,以及请求侧一致的验证码受理和加密异步投递。后续优先推进媒体交付/计费的已知缺口、同步 Transport 与完整 provider 配置版本;COD-01/02 继续遵守用户的暂缓决定,不恢复会话存储或擅自拆分管理员权限。投递真实环境、残余时序与生产网络隔离仍属待验收。Codex WebSocket 与 OAuth 不是添加 URL 即可安全完成的能力,须连同状态归属、计量、预留续期和客户端验收逐步实施。未部署、未真实供应商验证或待设计的项必须保持未完成标记。
|
||||
|
||||
本轮设计与验证细节见 `25-auth-and-bounded-transport.md`。这份表按用户粘贴报告的锁定基线追踪本地实施,不把旧的 CPR 版本号冒充实时最新版,也没有重新部署 CPR。只做本地 Git commit,不 push,不修改业务数据库。
|
||||
|
||||
@@ -58,3 +58,5 @@
|
||||
2026-10-22 管理授权审查与公平准入增量(SEC-07 / SCH-02):只读审查全部控制器,未发现未鉴权端点、先副作用后校验或跨用户 IDOR。已修复:①修改渠道 Base URL 时必须重新填写凭据,阻止把已存密钥重定向到新主机,审计记录新旧地址;②普通用户 `/api/models` 只返回渠道 id/name/status,不再暴露 Base URL 与凭据掩码;③管理端用量 CSV 导出中和公式前缀。**用户 2026-10-22 确认不拆分**:`admin` 与 `super_admin` 在钱包加款(含给自己)、定价、渠道、成本核账、用量删除上保持相同权限,依靠审计记录追溯;以下其余项仍未改:邀请码明文对所有管理员可见;管理变更审计缺 IP/前后值;角色校验未在行锁事务内复核。后端 `mvn -B -o clean verify` **403 项,0 失败/错误/跳过**(2026-10-22 12:06)。
|
||||
|
||||
2026-10-22 长请求底座增量(COD-03):`OpenAiCompatibleProvider` 新增 `GATEWAY_UPSTREAM_FIRST_BYTE_TIMEOUT_SECONDS`/`GATEWAY_UPSTREAM_IDLE_TIMEOUT_SECONDS`,流式响应有字节到达即重置空闲窗口;`GatewayRequestExecutionService` 在调用期间续期 `chat_billing_requests.expires_at`(只延长不缩短,仅 pending)和全部 Redis 租约(仅续仍持有的 token)。默认值不变,部署后行为与之前一致。后端 `mvn -B -o clean verify` **409 项,0 失败/错误/跳过**(2026-10-22 15:23)。另在本机 Docker(`infra/moyi` + `docker-compose.local.override.yml`,仅监听 127.0.0.1:18088)完成启动冒烟:健康检查、超级管理员登录、目录字段收敛、Key 创建、Mock 同步与 SSE 调用和用量记录、401/403/协议拒绝;Tripo 3D 因本地无凭据按预期失败且预留归零。
|
||||
|
||||
2026-10-28 媒体交付边界增量(MED-01/03):前端先新增失败回归,复现缺格式 Base64 图片、纯 data URL 音频和带凭据 URL 问题;新增共享媒体结果模块,并将缺主文件标记覆盖到图片/3D 与即时结果。增补类型/后缀检查后的最终后端 `mvn -B -o clean verify` **430 项,0 失败/错误/跳过**(13:43:34 Asia/Shanghai),前端构建及 31 项测试通过,详见 31 号文档。验收框架现在可启动,MOYI 已登记为 draft,七项匿名只读规格 `qa validate` 通过,`qa project check moyi` 无 error、仅待核实实例版本/无需凭据/未人工批准等警告;未自行 approve 或 run,不生成验收通过报告。MED-04/05 仍未完成;没有付费调用、部署或业务数据迁移。
|
||||
@@ -0,0 +1,59 @@
|
||||
# 媒体结果交付边界与验收准备
|
||||
|
||||
状态:本地实现与回归;真实供应商生成/播放和规格驱动验收未完成。
|
||||
负责人:Codex。更新时间:2026-10-28(Asia/Shanghai)。
|
||||
关联任务:MED-01、MED-03;MED-04/05 保持未完成。
|
||||
|
||||
## 本轮接手基线
|
||||
|
||||
接手时工作区干净,HEAD 为 `bb3baed`;上一轮媒体实现已在 `2e53b1d` 提交。本轮不重复提交旧改动。保留后续公平排队、长请求续租,以及暂缓 COD-01/02、不存储对话、不拆分管理员权限的已记录决定。原 `moyi` 半小时自动化已取消,不重新创建。
|
||||
|
||||
## 已复现的问题
|
||||
|
||||
1. 前端读取 `b64_json` 但缺少 MIME/format 时没有可播放/展示的 data URL。新增回归使用 PNG/JPEG 文件头,原实现返回 undefined。
|
||||
2. 纯 `data:audio/...` 链接未参与媒体类型推断;无额外类型元数据时没有音频播放器地址。
|
||||
3. URL 校验允许 userinfo,且 data URL 接受 SVG。后者不是产品所需的栅格媒体结果,不应作为主动文档打开。
|
||||
4. 即时图片结果复制上游第一项的任意字段;与轮询白名单不一致。上游附加的 revised_prompt、错误细节或凭据字段可能随任务保存/回传。
|
||||
5. “有返回字段”不等于“有这个任务的主文件”:无效 URL、只有尾帧、错误媒体类型仍可能被看作已交付。原无结果标记仅覆盖轮询的音频/视频,图片、3D、即时结果和历史前端状态不一致。
|
||||
|
||||
前三项已先运行前端失败回归(8 项中 3 项失败、5 项通过),随后修复;不是用户现场故障的根因认定。当前尚缺其具体渠道、型号、任务 ID 或脱敏错误。
|
||||
|
||||
## 模块与行为
|
||||
|
||||
- `provider.media.MediaAssetNormalizer`:纯字段边界,不调用 HTTP、不读取密钥、不改路由或账务。只接收媒体 URL/Base64、格式/MIME、预览和用量/credits 白名单;拒绝带凭据、错误 scheme、控制字符、SVG data 文档,以及已知类型不匹配的主文件。嵌套引用有深度上限;Base64 有大小和字符边界。
|
||||
- `task.AsyncTaskResponseNormalizer`:只处理任务状态、进度与有界信封;信封深度最多 4,列表最多查看前 16 项,向共享媒体模块委托。不沿任意属性搜文件或向外取内容。保持原有外层用量优先级,避免无意改变已有计费选择。
|
||||
- `AsyncProviderClient`:即时兼容图片结果与轮询共用规范化,支持已知 `data` 对象/列表,不再把任意上游字段带入成品记录。Base64 缺格式只对可识别的 PNG/JPEG/GIF 签名推断,不把所有未知内容默认成 PNG。
|
||||
- `AsyncTaskService`:即时及轮询的所有媒体类型在成功但没有有效主文件时返回 `deliveryStatus=pending` / `TASK_RESULT_UNAVAILABLE`。沿用生成终态及现有结算:不再次生成、不因交付缺失自动退款,重复观测不重复扣费。任务用量仍可单独参与原有结算。
|
||||
- 前端 `services/media.ts`:类型、签名 URL、data URL、Base64 与显式媒体字段一致处理;已声明任务类型只有一个通用主媒体通道,预览不算主文件。`hasPrimaryMedia` 供详情与完成通知共用,历史成功任务也不会凭空声称文件可下载。
|
||||
|
||||
这里的有效性是结构/引用校验,不是对远端可达性、文件完整性、编解码器或浏览器实际播放的证明。没有到 CDN 抓取每份成品,也没有新增鉴权下载猜测路径、供应商参数或价格。本轮尝试按 OpenAI Docs 获取官方媒体文档,站点返回 403;不据此声称核实了当前官方协议,亦不使用未经核实的默认格式或成品接口。
|
||||
|
||||
## 验证记录
|
||||
|
||||
- Java 21 + Maven 3.9.9 的媒体定向测试:49 项,0 失败/错误/跳过。
|
||||
- 首轮 `mvn -B -o clean verify`:430 项,0 失败/错误/跳过;包含独立 PostgreSQL 15.18 和 Redis 7 的数据库/账务回归。后端基线原有 409 项,本轮增加 21 项。
|
||||
- 最终补充已知 URL 后缀/任务类型交叉检查后,再次运行 `mvn -B -o clean verify`:**430 项,0 失败/错误/跳过**,2026-10-28 13:43:34(Asia/Shanghai)结束,用时 4 分 29 秒,BUILD SUCCESS。
|
||||
- `npm --prefix prototype run build`:Vue 类型检查和 Vite 生产构建通过;`npm --prefix prototype test`:31 项,0 失败/跳过。
|
||||
- 无效媒体四类型数据库测试、即时错类型测试证明:生成成功保持终态,费用只结算一次、预留归零,无重新提交;保留历史结算失败恢复、未知受理不退款、用户隔离等回归。
|
||||
|
||||
测试容器均使用本轮 `codex.task=moyi-media-20261028` 标签;PostgreSQL 无网络、无宿主端口,使用临时内存数据目录;Redis/Maven 只共享该网络命名空间。不连接现有 MOYI 业务数据库、不重启本机已有实例。日志及构建产物在受忽略的 `.tools/`、`target/` 和 `dist/`,不提交。
|
||||
|
||||
## 规格驱动验收现状
|
||||
|
||||
本轮按 `spec-driven-acceptance-testing` 执行了准备流程:
|
||||
|
||||
1. 在 `D:\PROJECT\xpp_dev_agent\dev-test` 运行 `qa project list`,已能启动;过去不存在 Python 的阻塞不再复现。
|
||||
2. MOYI 尚未登记,已用 `qa project init moyi` 新建独立档案 `D:\PROJECT\xpp_dev_agent\qa-projects\moyi`;未修改框架代码或其他项目档案。
|
||||
3. 填写已核实的源代码、认证、测试范围与 loopback 入口,新增 `specs/media-access-readonly.yaml`,始终 `status: draft`。
|
||||
4. `qa validate --spec ..\qa-projects\moyi\specs\media-access-readonly.yaml` 退出 0;`qa project check moyi` 退出 1、无 error:实例版本待核实,匿名规格不需 `.env.local`,规格待人工批准。
|
||||
|
||||
七项待审预期:健康入口 200/status=ok;`/v1/tasks`、`/v1/tasks/qa-media-absent`、`/api/tasks`、`/v1/models`、`/api/models`、`/api/admin/providers` 无身份均为 401 / UNAUTHENTICATED,不回传相应任务/目录字段。全部只读,不登录、不建号、不生成、不付费。
|
||||
|
||||
**未执行 `qa approve` 或 `qa run --project moyi`**,因此没有 report.html、summary.json、JUnit 或浏览器证据,也没有规格驱动验收通过结论。用户明确审阅批准之后才执行;执行前还要核实本机实例版本。后续带身份的两用户任务隔离、媒体回读/播放需要专用测试账号、隔离任务与新的 draft,不复用真实用户凭证。
|
||||
|
||||
## 未完成项与下一步
|
||||
|
||||
- MED-04:音视频按 Token/时长计费和逐路由协议/费用/播放验收;没有报价或可核对用量时继续限制,不用固定单任务费替代。
|
||||
- MED-05:只有任务元数据的渠道要接绑定原账号的鉴权内容下载,涉及凭据版本、下载体积/期限、用户授权和安全存储。不能把媒体结果规范化当作已实现成品下载。
|
||||
- 用户实际失败需要具体渠道、型号、任务 ID 或脱敏错误来定位;本轮没有创建付费媒体任务,不能据本地桩认定真实生成已全部正常。
|
||||
- 仅经审查验证的本地 Git 提交;不 push、不部署、不迁移业务数据。
|
||||
Reference in new issue
Block a user