docs: distinguish platform concurrency caps from provider limits

This commit is contained in:
wlx committed 2026-09-29 12:10:52 +08:00
1 parent 9b98de3efa
commit 25114ca6b8
1 file changed
+10
+10
View File
@@ -15,10 +15,20 @@ API Key 权限窗口支持同时勾选多个模型,再选择各自的分组;
1. **平台 API Key 并发**:限制同一个用户 Key 同时进行中的请求数量。默认值为 4,可在服务端环境变量 `GATEWAY_DEFAULT_KEY_CONCURRENCY` 调整;每个 Key 独立计数,不会因为其他用户占满而互相阻塞。
2. **上游分组并发**:限制同一个渠道分组向中转站发出的同时请求数量,供使用该分组的多个用户共享。管理员在模型与分组中填写“上游分组并发上限”;1 表示串行,4 表示最多同时处理 4 个请求。
> **注意:这个数字来自 MOYI,不是渠道商返回值。** 早期目录迁移为了防止未经验证的路由压垮上游,把新建分组的 `max_concurrency` 初始写成了 `1`;因此管理端看到的 `1` 不能证明 ApiHub、APIPro、TokenFoundryX 或 Tripo 只允许一个并发。渠道商的账户并发、RPM、TPM 和跨模型共享额度必须通过渠道文档或实测确认。若要做渠道容量压测,先为目标分组临时设置足够大的 MOYI 上限,并同步提高测试 API Key 的并发和 RPM,避免平台自身的保护层先返回 `MODEL_BUSY`、`KEY_BUSY` 或 `RATE_LIMITED`。
两层限制会同时生效。同步/流式请求先尝试原子取得“模型分组 + 平台 Key”两个并发槽;若任一层满额,则在平台内进行有界等待,默认最多 30 秒(`GATEWAY_QUEUE_WAIT_MS`),每 100 毫秒重试一次(`GATEWAY_QUEUE_POLL_MS`)。等待时不会占着另一层资源;获得两个槽后才向上游发起请求,超时才返回 429 和 `Retry-After`。API Key 的每分钟请求频率和并发数是不同设置;异步任务另受任务队列上限控制。
这里的数值是 MOYI 配置的保护上限,不是性能压测上限,也不是中转站承诺的账号额度。上游账号可能还有跨模型共享的并发/RPM/TPM限制;需要用有效上游密钥做阶梯压测或由渠道方确认后,再提高 MOYI 分组上限。
### 渠道最大并发的实测方法
1. 选定一个已授权、已计价且能稳定返回内容的模型分组,记录当前 `maxConcurrency`、测试 Key 的 `GATEWAY_DEFAULT_KEY_CONCURRENCY` 和 `GATEWAY_REQUESTS_PER_MINUTE`。
2. 暂时将该分组的 MOYI 并发上限设为高于预计阶梯的值(例如 100),并将测试 Key 的并发/RPM 设为高于测试阶梯;每次变更后重新读取管理端模型详情确认保存成功。
3. 用 `scripts/live-gateway-smoke.py --run-calls --max-concurrency N` 或等效压测脚本按 1、2、4、8、16…逐级发起短请求。每个阶梯应使用独立测试 Key,或在阶梯之间等待 RPM 窗口清空;否则累计请求会把平台自身的 RPM 限制误判为渠道限制。
4. 对每个阶梯记录成功数、HTTP 状态、错误码、首字节/总耗时,并区分 `MODEL_BUSY`/`KEY_BUSY`/`RATE_LIMITED`(MOYI 层)与上游返回的 429、限流或余额错误。第一个稳定出现的上游 429/限流阶梯才是该 Key/模型在当前账户和时段的观测上限。
5. 压测结束后恢复面向客户的并发、RPM 和 Key 限制。报告必须同时列出“观测上限”和“当前生产保护上限”,不能把任一数字写成渠道商的正式承诺。
## 用户操作指南
1. 在模型广场先按模型厂商筛选,再打开模型详情选择渠道分组;复制详情中的“调用模型 ID”。