给大模型喂新知识,该放进上下文、参数还是 KV 缓存?一张成本-质量决策表
同一批文档,放进上下文窗口、微调进参数、还是编码成 KV 缓存(Cartridges/Compaction),准确率和成本差很多。一项受控对比显示:KV 缓存的 Cartridges 在真实检索场景领先微调 29 分,但会带来最高 13% 的灾难性遗忘。从企业接入与成本治理视角给出选型建议。
最新文档32
分类5
标签55
内容路线：模型机制 · 接入实践 · 成本治理
精选文档
GPT-6 Astra 定价与 Claude Fable 5 完全对标:同为 $10/$50,该怎么选?
GPT-6 Astra API 定价为输入 10 美元、输出 50 美元每百万 token,与 Claude Fable 5/5.1 完全一致。本文整理基准数据与适用边界,给出同价位选型思路。
最新文档
持续沉淀模型接入、路由策略、成本控制与 AI 工程实践。
本地跑大模型多久回本?先算清这 5 个变量,再决定自建还是走 API
「买台机器自己跑模型」到底几个月回本,取决于日均 token 量、输入输出比、电费、API 单价,以及一个最容易被忽略的变量——API 价格还在往下掉。本文拆解这套回本测算的框架,并给出 LoopRouter 视角:多数团队的最优解不是二选一,而是本地与 API 之间按任务路由。
选模型别只看跑分:证据一「埋深」,每答对一题的成本翻了 4.7–7 倍
一项对六家前沿模型的「数据室审计」发现:把答案证据从干净文档挪进带噪声的真实文件堆后,准确率掉 4–18 个百分点,而每答对一题的成本涨了 4.7–7 倍。更关键的是,模型在变难时的行为分成两派——有的学会说『我不确定』,有的照样满分自信地答错。这决定了你该怎么路由与选型。
Devin 给「测试」单独选了个便宜 64% 的模型:任务级模型路由怎么算这笔账
Cognition 让 Devin 用 GPT-6 Astra 专跑测试与验证环节——在 FrontierCode 1.1 上只落后 Fable 5 约 0.4 分,成本却低 64%。本文拆解这套「按任务分模型」的路由逻辑、省钱的真实边界,以及自建同类能力前必须验证的一个数字。
Real-SWE 私有代码库基准:为什么排行榜第一的模型,解决不了你公司 60% 的工程任务?
Specific Labs 的 Real-SWE 在真实企业私有代码库上测模型,最强的 Fable 5.1 解决率也只有 38.8%,且贵不等于强。本文解读数据,给出企业选型与多模型路由的落地建议。
同一个模型名,背后可能是 20 家不同厂商:聚合路由的隐藏质量差,以及企业该怎么治理
OpenRouter 式聚合路由把一个模型名映射到近 20 家后端厂商,同一端点的 GPQA 分数能差 20 个百分点,还会遇到视觉失明、reasoning 参数被忽略、20% 空回包等坑。本文提炼一线实测数据,给出企业接入的路由治理清单。
DeepSeek V4.1-Flash 参数翻倍却更省:一文看懂 KV Cache 重构如何压低长上下文推理成本
DeepSeek V4.1-Flash 主干参数从 284B 涨到 552B,推理成本却不升反降。关键在于对 KV Cache 的系统级重构:CED 架构、跨层共享 KV、FP4 量化,把百万 Token 场景下的显存降到上一代的 1/4 到 1/8。本文拆解方法与数据,并从模型选型角度分析:为什么长上下文 Agent 的真实成本不能只看每 Token 单价。
OpenAI 发布 Agents API:把编排托管给云端,接入方该算的三笔账
OpenAI 推出托管式 Agents API,由 Codex harness 负责会话、编排、上下文压缩与恢复,应用只需提供工具和运行环境。本文拆解它的能力边界、计费方式与两大限制(仅美国数据驻留、不支持 ZDR),并从多模型接入视角分析该不该把编排层交给单一供应商。
DeepSeek v4.1 Flash 全面超过 v4 Pro:更便宜的新模型发布,Pro 请求被自动路由过去
DeepSeek 称 v4.1 Flash 在性能、成本、速度上全面超过 v4 Pro,输出与缓存命中价约降 50%,并在 v4.1 Pro 发布前把所有 Pro 请求路由到 Flash 按 Flash 价计费。本文拆解定价与这次「官方路由」对接入方的含义。