招商银行把 GPU 利用率从 35% 拉到 60%:单位 Token 推理成本降 60% 是怎么做到的
招商银行用 Kubernetes 统一纳管近万张异构加速卡,GPU 利用率从 35% 提到 60%+,每百万 Token 推理成本下降超 60%。本文拆解它的池化调度打法,并给没有万卡的团队一条应用层降本路径。
文档
技术文档、翻译、笔记与深度文章。
gpt-image-2.5 选型:Sunburst 与 Flare 怎么分工、怎么省钱
ChatGPT Images 2.5 在 API 里上了 sunburst 和 flare 两个模型 ID。结论先行地讲清两者分工、计费口径的争议,以及多模型统一接入时的路由与兜底思路。
OpenAI 重新给 $20 档加 5 小时限额:为什么严肃开发别把业务押在订阅上
OpenAI 对 Plus 和 Business Standard 恢复 5 小时固定窗口限额,单窗口约占每周额度 15%,且周额度重置不重置该窗口。从「补贴陷阱」与供应商锁定角度,拆解订阅、API 与多供应商策略该怎么选。
投机解码能把推理速度拉到 2.87 倍:一篇看懂它省的是谁的钱
vLLM 在 AMD MI300X/MI355X 上实测:投机解码(speculative decoding)最高 2.87× 加速,吞吐从约 2,344 提到 6,434 tok/s。但收益强依赖模型与配置,部分场景反而低于基线。从接入方视角看,这是选型时该关注的隐性成本变量。
微软 Foundry 模型路由扩到 28 区:三种路由模式怎么选,接入前要避开哪些坑
Azure AI Foundry 的模型路由从 2 区扩到 28 区,新增 Claude Opus 4.8 与 GPT-5.6,并提供 Balanced/Quality/Cost 三种路由模式。本文拆解它的选路机制、隐藏计费与上下文窗口陷阱,并给出企业接入前的验证清单。
Agent 时代的模型选型:为什么只看 token 单价会算错账
Gemini 3.8 Flash 单价没涨,单任务成本却涨了 40%。Agent 模型的真实开销 ≈ 单任务累计生成 token 数 × 单价,速度只决定端到端耗时;只盯单价会选错。从企业接入与路由治理视角拆解。