Files
moyi-model-intelligence-hub/docs/24-security-and-cpr-task-tracker.md
xpp aee5fe10b4
Repository verification / backend (push) Canceled after 0s
Repository verification / frontend (push) Canceled after 0s
test:"增加隔离Docker环境并记录功能验收结果"
2026-10-28 14:17:04 +08:00

66 lines
15 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# 安全与 CPR 差距任务追踪
最新增量审查日期:2026-10-28。对照用户粘贴的 CPR 比对报告与本地代码,不将建议清单视为已完成验收。比对结论与优化方案全文见 `29-cpr-gap-analysis-and-optimization-plan.md`。
## 已交付基线
- `5533a48`:gateway.request 请求边界、风险策略接口、可信来源元数据、共享凭据解析、有界 SSE 与同步结算恢复。默认 shadow,没有实际规则就不代表风控拦截已上线。
- `7626584`:异步创建用户级幂等、哈希身份、事务锁、唯一性约束。
- `5be06a9`:上游受理未知不重发不退款,持久终态日志和本地结算恢复。
- `c716ec7`:人工核账、共享任务结算、provider/model 绑定、幂等审计回执、Redis 同任务续期。221 项后端与 25 项前端测试的结果仅对应该提交,不代表整个建议清单完成。
- `d994ffb`:本轮认证修复,包含共享登录窗口、统一新密码策略、会话撤销与竞态保护、首次管理员配置检查及隔离界面回归。
- `32f6f67`:服务端参考图 DNS 绑定与无凭据直连传输,补齐媒体本地下载边界及 109 项回归,生产网络验收仍未完成。
## 待补任务与当前证据
| ID | 工作项 | 对照结果 / 当前状态 | 验收依据 |
| --- | --- | --- | --- |
| SEC-01 | 登录防爆破与账号/IP 限速 | 本轮已实现并验证:独立提交的账号/IP 固定窗口,未知账号同样限制 | 真实数据库并发、限额持久化、429/Retry-After,见 25 号文档 |
| SEC-02 | 所有角色统一新密码策略 | 本轮已实现并验证:所有角色新密码 8–256,保留既有有界哈希登录 | 各入口相同规则,KDF 参数上界,不静默截断 |
| SEC-03 | 改密与会话撤销、登录竞态 | 本轮已实现并验证:撤销全部会话、清 Cookie、行锁与二次校验 | 改密两种锁顺序、MFA 失败计数及审计回滚 |
| SEC-04 | 任务用户隔离与回执安全 | 已实现核心用户级查询/幂等/冻结/核账,并补跨用户读取回归;完整授权审计仍待继续 | 跨用户读取/列表不可见;核账拒绝普通用户 |
| SEC-05 | Provider 有界 HTTP Transport | 部分完成:异步 JSON/multipart/音频/媒体已接有界读取和总期限;同步/SSE 生命周期尚未统一抽取 | 超大 chunk、慢响应体、已观察拒绝状态、取消、重定向及原适配器回归 |
| SEC-06 | 媒体下载出站 / SSRF | 服务端参考图下载的代码级 DNS 绑定已实现并通过本地回归;生产网络隔离与实际部署验收仍未完成 | 一次解析、整组地址校验、固定地址直连、原域名 TLS/SNI、禁代理与跳转;109 项新增回归,见 26 号文档 |
| SEC-07 | 整体安全审查与生产验收 | 未完成:已补验证码/账号原子性;本轮进一步分离加密投递、统一已知/未知账号重置受理和限额,外部投递不再持 DB 事务;管理接口全审查、时序残余、默认配置、依赖与备份恢复仍需继续 | 本轮新增 22 项投递数据库回归,全量 390 项通过;真实邮件/短信与规格驱动验收未执行,禁止宣称“全仓库安全” |
| COD-01 | Codex 协议能力及验收矩阵 | 暂缓(2026-10-22 决定):不允许上游存储,HTTP 续接不可行;恢复时与 Sub2API 对齐,见 30 号文档第 0 节。保留有限文本 Responses 的明确拒绝语义 | 指定客户端版本、模型、工具和计费联合验收 |
| COD-02 | Responses WebSocket 与响应归属续接 | 暂缓(2026-10-22 决定):增量续接唯一途径是 WebSocket,须同时改 nginx 并补连接管理;对齐清单见 30 号文档第 0 节,不可宣传完整 Codex 支持 | 原账号/凭据版本归属、断线、取消、租约、费用一致性 |
| COD-03 | 长请求连接/空闲/总期限与续租 | 部分完成:同步/流式上游拆分首字节、空闲、总期限(总期限上限 3600 秒,默认仍 90 秒);执行期间每 60 秒续期钱包预留与 Redis 并发租约,结束即停,丢失的租约不会被重建。部署侧 nginx `proxy_read_timeout 120s` 与云端 Compose 未透传新变量,放宽前须同步调整;原生请求 256 KiB / 32K 输出上限未动 | 并发租约、钱包预留恢复、长流/取消共同验证 |
| SCH-01 | 独立上游账号生命周期与调度 | 仅共享 Key 轮换/冷却/指纹,非完整账号实体 | 凭据版本、额度、模型范围、权重及解释能力 |
| SCH-02 | 公平排队 / 取消 / 共享等待预算 | 部分完成:模型+Key 配对准入改为模型级 FIFO(到达顺序 ZSET,过期/超时/放弃即出队;仅因自身 Key 满而等待者不占模型队位),真实 Redis 回归证明旧脚本会被插队;跨路由共享等待预算、优先级与横向压测仍缺 | 多客户端饥饿/FIFO/取消回收与横向并发验证 |
| OPS-01 | request/attempt 诊断、配置版本、质量门禁 | 部分:已有最终审计/健康/部分快照;本轮加依赖方向测试、CI/Dependabot 配置,远端未运行;逐 attempt/完整配置版本仍缺 | 本地门禁不等于 GitHub CI、CVE 扫描或真实协议验收 |
| OPS-02 | CPR 可选部署 / OAuth 账号池 | 未部署;属于可选方案,不默认新建生产基础设施 | 用户确认部署方式及授权来源后才接入;本地不发付费生成 |
| MED-01 | 音视频任务回执与结果规范化 | 本地已实现并继续收紧:`AsyncTaskResponseNormalizer` 只解析有界信封/列表,`provider.media.MediaAssetNormalizer` 为即时/轮询结果共用的纯媒体字段边界;拒绝无效/带凭据 URL、主动 SVG data 文档、错误媒体类型;所有媒体完成但无主文件均标记 `deliveryStatus=pending`,保留原结算语义、不重发不退款。逐供应商实测未做 | 本地协议桩、结果回读、缺文件/错类型和钱包只结算一次;详见 31 号文档 |
| MED-02 | 音频协议与执行能力准确标识 | 本地已实现:目录与执行共用 `AsyncMediaSupport.supportsSpeech` 白名单;非 TTS 音频、专用渠道错配任务类型、非法文本/音色/格式/语速在发送前拒绝。转写/音乐/Realtime 仍未接入 | 目录与实际执行共享判定,错误协议在发送前拒绝;TTS/非 TTS 回归 |
| MED-03 | 音视频结果展示与历史任务类型 | 本地已实现并继续修复:持久任务类型优先于目录;补无格式 Base64 的 PNG/JPEG/GIF 签名识别、data URL 音频识别和单一主媒体类型;历史成功任务也检查主文件,预览帧不算视频成品,无文件不再提示可下载。真实浏览器生成/播放未验收 | 无目录任务、音频 base64、签名 URL、缺格式图片、无效别名/尾帧前端回归 |
| MED-04 | 音视频用量计费及逐路由验收 | 未完成:音视频 Token/时长计费不可用固定单任务费代替,配置就绪不等于真实生成通过 | 每条路由分别核对协议、模型、用量、费用、播放;不猜报价,不自动发付费任务 |
| MED-05 | 视频鉴权内容下载与不同渠道协议 | 未完成:返回任务元数据但无公开 URL 的供应商需要鉴权内容获取;不同渠道不能共用猜测接口 | 绑定原账号、受控内容下载、用户隔离、体积期限与安全存储联合验收 |
| QA-01 | 本地 Docker 功能与并发 skill 验收 | 部分完成:已启动独立 moyi-qa 栈,127.0.0.1:18089;spec-driven 七项匿名只读验收 passed,当前 qa 缺少 race,并发仅交付 draft/账号计划、未执行;不代表生成/播放或全业务验收 | 最终 run 20261028T061229-d13f404c,退出 0;并发执行器、专用账号/免费路由及残留方案仍待授权,见 32 号文档 |
## 实施边界
附件追踪确认(2026-10-22):用户再次提供的 CPR 比对文本已通过 SEC-01–07、COD-01–03、SCH-01–02、OPS-01–02 映射到本表,包含保留人民币钱包/凭据加密、不直接整体替换 CPR 的边界;附件中的版本是当次锁定基线,不是当前最新版声明。此前没有单列完整音视频验收任务,本轮新增 MED-01–05 并优先排查用户反馈,不能用安全回归通过替代音视频生成实测。
已补 SEC-01/02/03、SEC-06 的本地下载代码边界、验证码/账号事务,以及请求侧一致的验证码受理和加密异步投递。后续优先推进媒体交付/计费的已知缺口、同步 Transport 与完整 provider 配置版本;COD-01/02 继续遵守用户的暂缓决定,不恢复会话存储或擅自拆分管理员权限。投递真实环境、残余时序与生产网络隔离仍属待验收。Codex WebSocket 与 OAuth 不是添加 URL 即可安全完成的能力,须连同状态归属、计量、预留续期和客户端验收逐步实施。未部署、未真实供应商验证或待设计的项必须保持未完成标记。
本轮设计与验证细节见 `25-auth-and-bounded-transport.md`。这份表按用户粘贴报告的锁定基线追踪本地实施,不把旧的 CPR 版本号冒充实时最新版,也没有重新部署 CPR。只做本地 Git commit,不 push,不修改业务数据库。
2026-10-21 本轮最终验证:247 项后端测试全部通过(含真实 PostgreSQL/Redis,0 跳过),前端构建与 25 项测试通过,另完成隔离改密界面交互检查。新增 GitHub 配置只保存本地,远端未执行。本轮没有把剩余 COD/SCH/出站/运营验收项目标为完成。
2026-10-21 媒体安全后续增量:使用 HttpClient 5.6.5 / HttpCore 5.4.4 重新执行 `mvn -B -o clean verify`,356 项后端测试通过(0 失败/错误/跳过),前端构建及 25 项测试通过。服务端本地下载不再使用 DNS 预检后交给 JDK 客户端二次解析的路径。用户指定的规格驱动验收尚未执行:`testingflow` 的 `.venv` 指向不存在的 Python,首个 `qa project list` 失败;没有绕过工具门禁,也没有自行批准规格。细节及下一步审阅范围见 `26-media-dns-binding-and-acceptance.md`。
2026-10-21 验证码事务后续增量:新增 `VerifiedAccountService`,公开注册/重置不再在业务成功前永久消费有效验证码;错误验证码尝试仍提交,审计失败时成功消费、账号、邀请码和会话一起回滚。`mvn -B -o clean verify` 最终 368 项全部通过(0 失败/错误/跳过,2026-10-21 23:05:46 Asia/Shanghai),包含新增 12 项数据库验证;前端沿用本轮已通过的构建及 25 项测试,未修改前端代码。详见 `27-verified-account-transactions.md`。规格驱动验收环境阻塞未解除,没有生成通过报告。
2026-10-22 投递隔离增量:新建 V50 加密 outbox、`VerificationDispatchService` 与封闭目的枚举;发送请求与投递分离,未知/停用账号不触发真实发送,但参与完全相同的请求端限额与写入路径。错误重置码统一公开错误,后台最多双线程、无内存等待队列,旧代次失败不影响新码,投递结果不明不自动重发。后端 `mvn -B -o clean verify` **390 项,0 失败/错误/跳过**,2026-10-22 08:41:38(Asia/Shanghai)结束;前端构建与 25 项测试通过,并通过独立容器的完整 Spring Boot 启动/健康检查。见 `28-verification-delivery-isolation.md`。
用户于 2026-10-22 明确取消每半小时提交检查,聊天自动化 `moyi` 已删除,不再自动轮询或提交;不停止产品内部 worker。当前开发仍只做经审查验证的本地提交,不 push、不部署、不迁移业务数据库;规格驱动验收环境未修复,未自行批准或执行业务验收。
2026-10-22 音视频规范化增量(MED-01/02/03):审查时修复音频参数校验中重复的模式变量名(编译错误)与旧目录测试假设,并收紧裸字符串结果只接受 URL。新增结果规范化、音频发送前拒绝、无文件完成结算一次等回归。后端 `mvn -B -o clean verify` **399 项,0 失败/错误/跳过**(独立 PostgreSQL 15.18/Redis 7,2026-10-22 11:47);前端构建与 27 项测试通过。没有真实供应商音视频生成,MED-04/05 仍未完成。
2026-10-22 管理授权审查与公平准入增量(SEC-07 / SCH-02):只读审查全部控制器,未发现未鉴权端点、先副作用后校验或跨用户 IDOR。已修复:①修改渠道 Base URL 时必须重新填写凭据,阻止把已存密钥重定向到新主机,审计记录新旧地址;②普通用户 `/api/models` 只返回渠道 id/name/status,不再暴露 Base URL 与凭据掩码;③管理端用量 CSV 导出中和公式前缀。**用户 2026-10-22 确认不拆分**:`admin` 与 `super_admin` 在钱包加款(含给自己)、定价、渠道、成本核账、用量删除上保持相同权限,依靠审计记录追溯;以下其余项仍未改:邀请码明文对所有管理员可见;管理变更审计缺 IP/前后值;角色校验未在行锁事务内复核。后端 `mvn -B -o clean verify` **403 项,0 失败/错误/跳过**(2026-10-22 12:06)。
2026-10-22 长请求底座增量(COD-03):`OpenAiCompatibleProvider` 新增 `GATEWAY_UPSTREAM_FIRST_BYTE_TIMEOUT_SECONDS`/`GATEWAY_UPSTREAM_IDLE_TIMEOUT_SECONDS`,流式响应有字节到达即重置空闲窗口;`GatewayRequestExecutionService` 在调用期间续期 `chat_billing_requests.expires_at`(只延长不缩短,仅 pending)和全部 Redis 租约(仅续仍持有的 token)。默认值不变,部署后行为与之前一致。后端 `mvn -B -o clean verify` **409 项,0 失败/错误/跳过**(2026-10-22 15:23)。另在本机 Docker(`infra/moyi` + `docker-compose.local.override.yml`,仅监听 127.0.0.1:18088)完成启动冒烟:健康检查、超级管理员登录、目录字段收敛、Key 创建、Mock 同步与 SSE 调用和用量记录、401/403/协议拒绝;Tripo 3D 因本地无凭据按预期失败且预留归零。
2026-10-28 媒体交付边界增量(MED-01/03):前端先新增失败回归,复现缺格式 Base64 图片、纯 data URL 音频和带凭据 URL 问题;新增共享媒体结果模块,并将缺主文件标记覆盖到图片/3D 与即时结果。增补类型/后缀检查后的最终后端 `mvn -B -o clean verify` **430 项,0 失败/错误/跳过**(13:43:34 Asia/Shanghai),前端构建及 31 项测试通过,详见 31 号文档。验收框架现在可启动,MOYI 已登记为 draft,七项匿名只读规格 `qa validate` 通过,`qa project check moyi` 无 error、仅待核实实例版本/无需凭据/未人工批准等警告;未自行 approve 或 run,不生成验收通过报告。MED-04/05 仍未完成;没有付费调用、部署或业务数据迁移。
2026-10-28 Docker/测试后续(QA-01):用户明确要求本地启动及使用两种 skill。本轮以 5d6253c 应用产物创建独立 Compose、新库/Redis,仅发布 18089;原 18088 不变。七项预期按上轮已展示内容批准,首轮因入口未发布 blocked=7;qa explain 后仅调整前端网络,两次复跑均 passed=7,最后一次版本标记明确、退出 0。并发依据 qa --help 无 race 停止,没有写临时脚本替代;仅整理双管理员同名建号、跨用户幂等任务 draft 和账号/残留计划,未建号/授权/生成。详见 32 号文档及档案中的正式报告;MED-04/05 不因此转为完成。