feat: stream chat and settle metered CNY usage atomically
This commit is contained in:
1 parent
7360cf3ebe
commit
b46ee72f2d
28 files changed
+1098
-86
No files matched your search
@@ -78,7 +78,7 @@ Invoke-WebRequest http://localhost:8080/health
|
||||
本节点完成的是“控制面基础闭环 + 同步供应商转发 + Redis 网关保护 + 持久化任务队列”,不是生产网关完成版:
|
||||
|
||||
- 数据已写入 PostgreSQL;Redis 已用于按 API Key 限流、按模型并发租约和 Redis Lua 原子操作。默认同步调用每 Key 每分钟 60 次、模型并发 4,均可通过环境变量调整;Redis 不可用时网关返回 503,不会绕过保护直接请求上游;
|
||||
- `/v1/chat/completions` 已支持 DeepSeek、Kimi、GLM 的 OpenAI 兼容非流式转发;真实供应商未配置 Key 时返回 503,只有 `provider-mock` 可以返回 Mock;流式响应暂未开放;
|
||||
- `/v1/chat/completions` 支持 OpenAI 兼容同步/流式文本聊天;真实供应商未配置 Key 时返回 503,只有 `provider-mock` 可以返回 Mock。V13 起按人民币分组售价预留并结算,详见 [流式与计费](16-streaming-chat-billing.md);
|
||||
- `/v1/3d/tasks` 和 `/v1/video/tasks` 已提供数据库持久化 Mock worker;真实供应商执行器尚未替换,返回 501 而非伪造任务成功;
|
||||
- Seedance、Tripo/VAST 的异步任务和 OSS 结果存储尚未迁移到 Java;
|
||||
- 异步任务已持久化并提供按模型的排队上限(默认 100,可由 `TASK_MAX_QUEUED_PER_MODEL` 调整),但真实供应商执行器、优先级调度、价格/额度扣减和计费账单仍沿用下一节点计划;
|
||||
|
||||
@@ -12,7 +12,7 @@
|
||||
| 缓存 | 现有北京 Tair 标准架构,专用账号及 `moyi:test:` Key 前缀 |
|
||||
| 对象存储 | 北京 OSS 可预留新 Bucket,本次 Java 部署暂不需要 OSS 密钥 |
|
||||
|
||||
这是内部测试发布,不是完整生产版。可验收登录、邀请码、目录、项目、Key 权限、非流式同步转发、限流、模型并发和调用审计。以下尚未完成:Java 真实 Tripo/Seedance 异步执行、OSS 文件保存、流式转发、完整计费扣减、分布式任务抢占和可靠重试。
|
||||
这是内部测试发布,不是完整生产版。可验收登录、邀请码、目录、项目、Key 权限、同步/流式文本转发、人民币用量结算、限流、模型并发和调用审计。真实分组必须配置售价且调用者余额充足;V13 升级要求见 [流式与计费](16-streaming-chat-billing.md)。以下尚未完成:Java 真实 Tripo/Seedance 异步执行、OSS 文件保存、支付充值、分布式任务抢占和可靠重试。
|
||||
|
||||
真实供应商没有配置密钥时返回 503,不再返回 Mock 成功。只有明确绑定 `provider-mock` 的模型可以走 Mock;真实异步供应商返回 501。已有种子目录和价格只是联调数据,实际模型 ID/能力须由供应商控制台核验后修改。
|
||||
|
||||
|
||||
@@ -72,7 +72,7 @@ python3 backup_database.py --deployment-dir /opt/moyi/releases/20260917-202503-f
|
||||
|
||||
发放金额以人民币元输入,最多两位小数、必须大于 0,单笔上限 100 万元。发放必须填写原因,记录操作者、时间、金额和发放后余额;使用事务、钱包行锁和请求编号去重。发放请求遇到网络不确定状态时,原弹窗重试沿用同一个编号,不会重复发放。
|
||||
|
||||
本次完成的是余额、发放、查询、流水与审计;不是充值支付或自动扣费。分组价格目前是报价元数据,不能把美元报价或每千/百万 token 单位直接用于人民币扣费。网关尚不根据余额拦截或结算;对外收费前仍必须实现明确币种和计费单位、预占额度、成功结算、失败退回及对账。优先级也尚未用于自动故障切换。
|
||||
最初版本只提供人工余额调整;V13 已补充文本聊天余额预留、成功结算、失败释放和防重复扣费,见 [流式与计费](16-streaming-chat-billing.md)。分组必须明确人民币 / 百万 Token 的输入、输出售价,不能直接沿用美元报价。支付充值和按优先级自动故障切换仍未实现。
|
||||
|
||||
## 本地验证
|
||||
|
||||
|
||||
@@ -0,0 +1,181 @@
|
||||
# ApiHub、TokenFoundryX、APIPro 与 Tripo 接入清单
|
||||
|
||||
核对日期:2026-09-20。MOYI 代码基线:7360cf3e。
|
||||
|
||||
本文记录供应商页面实际展示的模型 ID,不代表对其底层模型身份、宣传能力或官方版本名称的独立认证。目录可见不等于当前 Key 有权限,也不等于已经在 MOYI 实测。
|
||||
|
||||
## 已完成和待完成
|
||||
|
||||
- 已登录核对 ApiHub 国内站的 25 个模型,以及 TokenFoundryX 国外站的 13 个模型。
|
||||
- ApiHub 国内站游乐场和 MOYI 网关均已验证 `deepseek-v4-flash`。2026-09-20 00:58:48(北京时间)MOYI 返回 `OK`,记录输入 101、输出 8 Token,耗时 1.89 秒。
|
||||
- 两站控制台分别给出自己的 `/v1/chat/completions` 示例;国内钱包按 CNY 展示,国外钱包按 USD 展示。国外站控制台当时提示需要创建 API Key;不能假定国内 Key 可直接复用。
|
||||
- APIPro 已登录;公开模型广场显示 305 个模型,控制台确认聊天地址为 `https://api.apipro.ai/v1/chat/completions`,当前导航文档地址为 `https://apipro.apifox.cn/`。
|
||||
- MOYI 已有用户创建的 `apihub` 渠道(名称“内测1”)和保存的凭据。本次已将协议从 HTTP 修正为 OpenAI 兼容,将 Base URL 补全为 `https://apihub.chem-cloud.cn/v1`,未读取或替换原凭据。
|
||||
- 已在现有 DeepSeek V4 Flash 下添加“ApiHub 国内”分组,关联“内测1”,路由 ID `3dc5d0f8-c7b5-4ff3-9ae8-9077e2e957a9`。
|
||||
- APIPro 渠道已保存,添加“APIPro · DeepSeek”分组,路由 ID `6680d434-538f-408a-bf9a-668801763b79`。2026-09-20 01:20:14 MOYI 返回 `OK`,输入 22、输出 31 Token,耗时 2.12 秒。
|
||||
- 两次均为旧版服务器上的同步调用,平台费用显示未记录;只验证渠道和模型路由,不代表新版流式/计费已部署验收。两个 MOYI 临时联调 Key 均已停用,调用记录保留。
|
||||
|
||||
## 渠道管理填写
|
||||
|
||||
在 MOYI 管理端打开“渠道管理”。国内站已存在 `apihub` / “内测1”,编辑该渠道即可;其他渠道可按下表添加。以下名称可自行修改。
|
||||
|
||||
| 字段 | ApiHub 国内 | TokenFoundryX 国外 | APIPro |
|
||||
|---|---|---|---|
|
||||
| 渠道 Code | 现有 `apihub` | `tokenfoundryx-global` | `apipro` |
|
||||
| 渠道名称 | 现有“内测1” | TokenFoundryX 国外 | APIPro |
|
||||
| 来源类型 | 中转站 | 中转站 | 中转站 |
|
||||
| 接入协议 | OpenAI 兼容 | OpenAI 兼容(用于其聊天端点) | OpenAI 兼容 |
|
||||
| Base URL | `https://apihub.chem-cloud.cn/v1` | `https://www.tokenfoundryx.com/v1` | `https://api.apipro.ai/v1` |
|
||||
| 凭据类型 | API Key | API Key | API Key |
|
||||
| 凭据 | 国内站创建的 API Key 原文 | 国外站创建的 API Key 原文 | 该站对应 Key |
|
||||
|
||||
不要在凭据框添加 `Bearer ` 前缀,当前 MOYI 后端自动添加该前缀。Base URL 只填到 `/v1`,后端追加 `/chat/completions`,不要填完整聊天请求路径。
|
||||
|
||||
MOYI 用户对外使用的统一 API Base URL 为 `https://moyi.soulofmodel.com/v1`。这是本平台入口,与渠道表中的上游地址不同。
|
||||
|
||||
## 第一条模型与分组
|
||||
|
||||
先接入已在上游游乐场验证的 `deepseek-v4-flash`。
|
||||
|
||||
在“模型与分组”搜索已有模型;如果已有相同定义,编辑并添加分组即可,避免重复创建。
|
||||
|
||||
| 添加/编辑模型字段 | 填写值 |
|
||||
|---|---|
|
||||
| 模型名称 | DeepSeek V4 Flash |
|
||||
| 统一模型标识 | `deepseek-v4-flash` |
|
||||
| 模型类型 | 文本 |
|
||||
| 调用模式 | 同步 |
|
||||
| 输入类型 | `text` |
|
||||
| 输出类型 | `text` |
|
||||
| 模型说明 | ApiHub 国内转发,首轮验证文本聊天 |
|
||||
|
||||
在该模型下点击“添加分组”:
|
||||
|
||||
| 字段 | 填写值 |
|
||||
|---|---|
|
||||
| 分组名称 | ApiHub 国内 |
|
||||
| 渠道 | 内测1(Code 为 `apihub`) |
|
||||
| 上游模型标识 | `deepseek-v4-flash` |
|
||||
| 输入价格、输出价格 | 待确定平台人民币售价后填写;新版计费会阻止未定价真实模型调用 |
|
||||
| 价格单位 | `CNY / 1M tokens` |
|
||||
| 优先级 | `100` |
|
||||
| 并发上限 | `1` |
|
||||
|
||||
上游模型广场的价格可能包括折扣、缓存、动态阶梯。它是上游成本参考,不应未经确认直接作为本平台售价。美元金额也不能原样写入人民币报价。
|
||||
|
||||
“ApiHub 国内”等 MOYI 分组名由本平台自定义;上游的 `default`、`5.8折` 属于上游账号/Key 的路由和定价规则,两者不会自动同步。需要在上游 Key 页面确认该 Key 可访问目标模型及所需上游分组。
|
||||
|
||||
## 国内站目录:25 个
|
||||
|
||||
来源:[ApiHub 模型广场](https://apihub.chem-cloud.cn/pricing)。下表为登录后两页目录中的准确标识。
|
||||
|
||||
| 上游模型标识 | 当前 MOYI 首轮处理 |
|
||||
|---|---|
|
||||
| `deepseek-v4-flash` | 文本、同步;首个联调模型 |
|
||||
| `deepseek-v4-pro` | 文本、同步;逐个测试 |
|
||||
| `glm-4.7` | 文本聊天、同步;逐个测试 |
|
||||
| `glm-5` | 文本聊天、同步;逐个测试 |
|
||||
| `glm-5.1` | 文本聊天、同步;逐个测试 |
|
||||
| `glm-5.2` | 文本聊天、同步;逐个测试 |
|
||||
| `kimi-k2.5` | 首轮仅测试文本聊天、同步 |
|
||||
| `kimi-k2.6` | 首轮仅测试文本聊天、同步 |
|
||||
| `kimi-k2.7-code` | 代码、同步;逐个测试 |
|
||||
| `kimi-k3` | 文本聊天、同步;逐个测试 |
|
||||
| `qwen3-coder-plus` | 代码、同步;逐个测试 |
|
||||
| `qwen3-max` | 文本聊天、同步;逐个测试 |
|
||||
| `qwen3.5-plus` | 首轮仅测试文本聊天、同步 |
|
||||
| `qwen3.6-plus` | 首轮仅测试文本聊天、同步 |
|
||||
| `qwen3.7-max` | 文本聊天、同步;逐个测试 |
|
||||
| `qwen3.7-plus` | 文本聊天、同步;逐个测试 |
|
||||
| `qwen3.8-max` | 文本聊天、同步;逐个测试 |
|
||||
| `doubao-seedream-5-0-260128` | 图像生成;当前网关未实现对应接口,暂不启用 |
|
||||
| `doubao-seedream-5-0-pro-260628` | 图像生成;当前网关未实现对应接口,暂不启用 |
|
||||
| `doubao-seedance-1-0-pro-250528` | 视频任务;需补齐上游异步适配,暂不启用 |
|
||||
| `doubao-seedance-1-0-pro-fast-251015` | 视频任务;需补齐上游异步适配,暂不启用 |
|
||||
| `doubao-seedance-1-5-pro-251215` | 视频任务;需补齐上游异步适配,暂不启用 |
|
||||
| `doubao-seedance-2-0-260128` | 视频任务;需补齐上游异步适配,暂不启用 |
|
||||
| `doubao-seedance-2-0-fast-260128` | 视频任务;需补齐上游异步适配,暂不启用 |
|
||||
| `doubao-seedance-2-0-mini-260615` | 视频任务;需补齐上游异步适配,暂不启用 |
|
||||
|
||||
先完成一个文本模型的 MOYI 测试,再添加其他文本模型。输入图片、工具调用等能力需要单独验收,不能仅凭模型广场的标签声明已支持。
|
||||
|
||||
## 国外站目录:13 个
|
||||
|
||||
来源:[TokenFoundryX 模型广场](https://www.tokenfoundryx.com/pricing)。使用单独渠道和相应站点 API Key;MOYI 分组名称建议 `TokenFoundryX 国外`。
|
||||
|
||||
| 上游模型标识 | 当前 MOYI 首轮处理 |
|
||||
|---|---|
|
||||
| `claude-fable-5` | 站内标记 OpenAI/Anthropic;先确认聊天兼容性再启用 |
|
||||
| `claude-fable-5-1` | 站内标记 OpenAI/Anthropic;先确认聊天兼容性再启用 |
|
||||
| `claude-opus-4-6` | 站内标记 OpenAI/Anthropic;先确认聊天兼容性再启用 |
|
||||
| `claude-opus-4-7` | 站内标记 OpenAI/Anthropic;先确认聊天兼容性再启用 |
|
||||
| `claude-opus-4-8` | 站内标记 OpenAI/Anthropic;先确认聊天兼容性再启用 |
|
||||
| `claude-opus-5` | 站内标记 OpenAI/Anthropic;先确认聊天兼容性再启用 |
|
||||
| `claude-sonnet-4-5` | 站内标记 OpenAI/Anthropic;先确认聊天兼容性再启用 |
|
||||
| `claude-sonnet-4-6` | 站内标记 OpenAI/Anthropic;先确认聊天兼容性再启用 |
|
||||
| `claude-sonnet-5` | 站内标记 OpenAI/Anthropic;先确认聊天兼容性再启用 |
|
||||
| `gpt-5.6-sol` | 控制台给出聊天请求示例,待真实 Key 测试 |
|
||||
| `gpt-5.6-terra` | 站内标记 OpenAI;待聊天兼容性测试 |
|
||||
| `gpt-6-astra` | 站内标记 OpenAI;待聊天兼容性测试 |
|
||||
| `gpt-image-2` | 图像生成;当前网关未实现对应接口,暂不启用 |
|
||||
|
||||
该目录仅按中转站展示原样记录,不将别名等同于厂商官方模型身份。
|
||||
|
||||
## APIPro
|
||||
|
||||
[控制台](https://api.apipro.ai/dashboard/overview)、[模型定价](https://api.apipro.ai/pricing)、[当前 API 文档](https://apipro.apifox.cn/)、[聊天接口文档](https://apipro.apifox.cn/402023923e0)。
|
||||
|
||||
控制台最新公告为 2026-09-17“国内站点下架,统一使用海外站点”。本次登录确认的聊天示例是 `POST https://api.apipro.ai/v1/chat/completions`,认证为 `Authorization: Bearer <API_KEY>`。MOYI Base URL 填 `https://api.apipro.ai/v1`。控制台加载慢不等同于模型请求耗时;实际调用需要分别验证。
|
||||
|
||||
模型详情自动生成的 OpenAI 示例曾把 DeepSeek 文本请求地址写成 `/v1/videos`,与控制台聊天示例和专门的聊天文档不一致。文本聊天应使用 `/v1/chat/completions`,不要直接照抄该错误示例。
|
||||
|
||||
广场显示 305 个模型;以下 13 个为本次按 `deepseek` 搜索实际核对的完整子集,不代表 305 个全部已逐一验收:
|
||||
|
||||
| 上游模型标识 | 首轮用途 |
|
||||
|---|---|
|
||||
| `deepseek-ocr` | OCR;不纳入首轮纯文本测试 |
|
||||
| `deepseek-r1` | 备用文本模型,待测 |
|
||||
| `deepseek-r1-distill-qwen-32b` | 备用文本模型,待测 |
|
||||
| `deepseek-v3` | 备用文本模型,待测 |
|
||||
| `deepseek-v3-0324` | 备用文本模型,待测 |
|
||||
| `deepseek-v3.1` | 备用文本模型,待测 |
|
||||
| `deepseek-v3.2` | 备用文本模型,待测 |
|
||||
| `deepseek-v3.2-think` | 推理模型,待测 |
|
||||
| `deepseek-v4-flash` | 首个联调模型,复用 MOYI 已有模型定义 |
|
||||
| `deepseek-v4-flash-0731` | 站内版本标识,待测 |
|
||||
| `deepseek-v4-pro` | 第二个候选,复用 MOYI 已有模型定义 |
|
||||
| `deepseek-v4-pro-0813` | 站内版本标识,待测 |
|
||||
| `deepseek-v4.1-flash` | 站内版本标识,待测 |
|
||||
|
||||
`deepseek-v4-flash` 详情页列出 `bailian`、`deepseek`、`deepseek-claude`、`llm-cn` 的价格行;创建 Key 时账号实际可选 `deepseek`。首轮选此分组,限制模型为 `deepseek-v4-flash`。MOYI 下建议添加分组“APIPro · DeepSeek”,关联 `apipro` 渠道,上游模型保持 `deepseek-v4-flash`。
|
||||
|
||||
该模型页面当前展示输入 0.143 USD / 1M、输出 0.286 USD / 1M、缓存输入 0.029 USD / 1M。这是上游页面报价,真实消费以日志为准,不能直接当成人民币售价。MOYI 的自定义分组名不会自动改变 APIPro Key 所选的分组;若以后要区分 APIPro 内部的多个来源,应分别创建上游 Key 和 MOYI 渠道,再将各模型分组关联到对应渠道。
|
||||
|
||||
已创建并保存的 `MOYI联调` 上游 Key 仅允许 `deepseek` 分组和 `deepseek-v4-flash`,1 天有效、额度上限 1 USD,页面显示到期时间 2026-09-21 00:11。它是短期测试凭据,持续使用前必须在 APIPro 创建适当范围的正式 Key,再编辑 MOYI 的 APIPro 渠道替换凭据。
|
||||
|
||||
## Tripo 官方
|
||||
|
||||
国际站官方文档:[General](https://platform.tripo3d.ai/docs/general)、[Authentication](https://platform.tripo3d.ai/docs/quick-start)、[Generation](https://platform.tripo3d.ai/docs/generation)。
|
||||
|
||||
- 国际站 API Base URL:`https://api.tripo3d.ai/v2/openapi`。
|
||||
- 使用 HTTP Bearer API Key;创建任务为 `POST /task`,查询为 `GET /task/{task_id}`。
|
||||
- 文生 3D 请求使用 `type=text_to_model`,版本放在 `model_version`,不能按 OpenAI 聊天请求直接转发。
|
||||
- 当前官方生成文档列出的版本包括 `P1-20260311`、`Turbo-v1.0-20250506`、`v3.1-20260211`、`v3.0-20250812`、`v2.5-20250123` 等,实际选型需结合账号权限及价格。
|
||||
- 若 Key 来自国内 `platform.tripo3d.com`,使用其对应文档与端点;不能假定 `.ai` 和 `.com` 凭据互通。
|
||||
- 建议渠道 Code `tripo-official`、名称 `Tripo 官方`、来源“官方供应商”、协议 HTTP、凭据类型 Bearer Token。先不要把真实 3D 模型作为已可用发布。
|
||||
- 7360cf3e 的 Java `AsyncTaskService` 对非 Mock 异步供应商返回 `ASYNC_PROVIDER_NOT_IMPLEMENTED`。必须补齐创建、轮询、状态持久化、错误处理、结果链接与使用记录后,才能在 MOYI 使用官方 Key 测试。
|
||||
|
||||
## MOYI 联调顺序
|
||||
|
||||
1. 在管理员渠道表单填写国内站 Key;只输入在自己的管理端,不贴入聊天、文档或 Git。
|
||||
2. 建立上述 DeepSeek 模型及 `ApiHub 国内` 分组,确认渠道、模型和分组均启用。
|
||||
3. 切到用户端“API Keys”,创建一个联调 Key,先选择模型,再勾选该分组。
|
||||
4. 在“在线调试”选择该模型和分组,使用 MOYI 平台生成的 Key,发送短提示词“请只回复 OK”。这里不使用上游 Key。
|
||||
5. 确认返回非 Mock 的实际文本;在“使用记录”检查模型、分组、状态、耗时及 Token,在上游日志核对对应请求。
|
||||
6. 再逐个添加其他文本模型和 APIPro 分组。每个新分组需明确授权给联调 Key;已有 Key 不会自动获得新分组权限。
|
||||
|
||||
程序调用时先请求 `GET https://moyi.soulofmodel.com/v1/models`,使用返回的 `data[].id` 作为聊天请求 `model`。当前实现使用分组/路由 ID,表单中的“统一模型标识”是展示字段,不是可直接调用的别名。旧版使用 `stream:false`;部署包含 V13 的新版后可使用 `stream:true`。
|
||||
|
||||
新版提供 OpenAI 兼容聊天的同步/流式转发、文本消息、工具参数透传和输出上限。Responses 原生接口、Anthropic 原生接口、多模态输入、真实图像/视频/3D 执行器仍需单独适配。中转站各模型的具体参数支持需要逐个验证。
|
||||
|
||||
新版按分组人民币售价预留余额,以实际 Token 用量结算,失败释放预留。部署前需填写价格并给测试账号发放余额,否则真实模型会被拒绝调用。报价、计费精度、断流及幂等规则见 [流式聊天与人民币计费](16-streaming-chat-billing.md)。平台用户账本和上游钱包独立,上游消费不等于平台收入。
|
||||
@@ -0,0 +1,50 @@
|
||||
# 流式聊天与人民币计费
|
||||
|
||||
2026-09-20 新增,数据库迁移 V13。代码和本机测试完成不代表服务器已升级;ApiHub/APIPro 的线上同步联调证据见 [渠道清单](15-relay-onboarding.md)。
|
||||
|
||||
## 管理端配置
|
||||
|
||||
在“模型与分组 → 编辑分组”填写输入、输出人民币售价,单位必须为 `CNY / 1M tokens`(人民币 / 百万 Token)。缓存输入价可选,留空沿用输入价。每项最多 8 位小数;明确填写 0 表示免费,留空不是免费。真实模型缺少价格或使用其他币种/单位时返回 `MODEL_NOT_PRICED`,不会请求上游。
|
||||
|
||||
例如本机测试使用输入 2、输出 4、缓存输入 1;这只是测试数据,不是 ApiHub/APIPro 正式售价。输入 100 Token(其中缓存 60)、输出 80 时:
|
||||
|
||||
`费用 = ((100 - 60) × 2 + 60 × 1 + 80 × 4) / 1,000,000 = 0.00034 元`
|
||||
|
||||
按实际 `usage.prompt_tokens`、`completion_tokens` 和缓存输入统计计算,人民币金额保留 8 位小数、四舍五入。缺少合法用量时不估算收费。Mock 路由明确免费。
|
||||
|
||||
调用者账户必须有足够余额,包括超级管理员自己的 API Key;管理端“用户与额度”可发放/调整。用户看到的可用额度等于账面余额减正在调用的预留金额。本月消耗来自扣费流水,不补算旧记录。
|
||||
|
||||
## 一次调用的账务行为
|
||||
|
||||
1. 验证 Key、模型权限、上游配置、请求参数、限流和并发后,锁定用户钱包并预留费用。预留采用文本请求字节数与消息开销的保守输入估计,加最大输出 Token;它不是最终扣款。
|
||||
2. 调用开始即记录请求 ID、分组、来源、同步/流式模式和开始时间。价格保存快照,调用期间改价不会影响本次结算。
|
||||
3. 上游正常结束且用量完整时,在同一 PostgreSQL 事务中更新余额、写入一条模型扣费流水并完成使用记录。同步和流式使用相同公式。
|
||||
4. 上游错误、超时、缺失用量、缺失完成标记时,本平台不扣费并释放预留;中转站是否收费取决于其账单。服务进程崩溃留下的预留在 5 分钟过期后由每分钟运行的恢复任务释放。
|
||||
5. 用户关闭页面或停止接收时,服务端会在请求时限内继续读取上游最终用量;正常完成仍按实际量收费。UI 提示到使用记录确认最终状态,“停止接收”不等于取消上游任务。
|
||||
|
||||
并发请求共享钱包锁,不能重复花掉已预留金额。管理员减少/设置余额不能侵占预留额度。少数上游若报告超出保守预留的实际用量,仍按真实用量计费;余额可能成为负数,之后阻止新调用,补足后恢复。不会把超额使用悄悄截成免费,也不会自动向用户支付工具扣款。
|
||||
|
||||
`Idempotency-Key` 可选,1–128 字符,同一账号范围内防重。重复编号返回 HTTP 409,不重放响应、不再次请求上游;请按请求 ID 查记录。更换 Key 但属于同一账号也不能重复提交同一编号。在线调试每次点击自动生成新编号。即使客户端未提供此头,单次结算也只写一次流水。
|
||||
|
||||
## 流式接口与限制
|
||||
|
||||
- `POST /v1/chat/completions`,`stream:true` 返回标准 SSE,逐段转发,不等待完整文本再展示;启用 `stream_options.include_usage` 以获得上游用量。
|
||||
- 支持文本消息、文本数组、函数工具参数、采样参数、`reasoning_effort` / `thinking` 等白名单参数透传。是否被上游接受取决于具体模型。不会执行模型提出的函数调用。
|
||||
- 单请求 `n=1`;`max_tokens` 或 `max_completion_tokens` 二选一,1–32768,未填写默认 4096。输出上限也用于预留估计。
|
||||
- 请求最大 256 KiB、最多 256 条消息;图片/音频等多模态输入当前拒绝,避免按文本误计。未知参数返回错误,需增加明确适配后开放。
|
||||
- 上游最长 90 秒(包含响应体),单帧 256 KiB,总响应有大小限制。对超过此时限的长推理任务需要后续单独设计。JSON 同步响应上限 4 MiB;流式按解析字符量限制。
|
||||
- 流式记录首 Token 耗时,保留有限长度的文本、思考和工具调用历史;转发内容不会因历史截断被截短。
|
||||
- 上游在开始输出前报错返回非 200;开始输出后发生错误以 SSE `error` 通知。客户端必须检查错误和 `[DONE]`,不能仅凭 HTTP 200 判定成功。
|
||||
- 响应头 `X-Request-Id` 对应使用记录;同步响应额外提供 `X-Moyi-Cost-CNY`。流式最终费用到使用记录查询。
|
||||
|
||||
本次计费只覆盖文本聊天。真实 Tripo/Seedance 异步执行器、支付充值、跨币种自动换汇、Responses/Anthropic 原生协议均不包含在此版本。
|
||||
|
||||
## 升级与验收
|
||||
|
||||
先备份数据库,再解压到新的 release 目录,复制当前 `.env.cloud` 和证书,保留原有 SMTP/SMS、加密密钥、RDS/Tair 配置。启动前运行 `deploy.py check --mode https --network`,按正常发布流程构建并启动。数据库迁移由 Flyway 自动执行;不要手工改旧迁移或重复执行 SQL。
|
||||
|
||||
升级后执行 `deploy.py smoke --mode https --login`。然后在测试账号下给指定分组设定已确认售价、发放少量余额,分别发起同步与流式短请求,核对使用记录与余额流水,最后停用测试 Key。无正式售价时保留空值,系统会阻止真实调用。
|
||||
|
||||
V13 新增钱包预留、账单请求表并允许已发生用量形成欠款。不能只恢复旧镜像来恢复旧计费行为;回退需要维护窗口并评估数据库备份/新增账务的保留方式。
|
||||
|
||||
本机测试覆盖真实 PostgreSQL 迁移、并发预留、缓存价计算、价格快照、重复结算、HTTP 幂等、同步/流式等价、上游错误、缺少 usage、浏览器断开后结算、过期恢复、事务回滚及余额欠款拦截。浏览器界面验收使用本机模拟响应,不连接中转站。
|
||||
Reference in new issue
Block a user