为省钱剪枝的小模型,还能可靠调工具吗?先看架构再决定
剪枝能压低大模型部署成本,却会先削弱工具调用里最具体的部分(设备、参数、取值)。一项跨 4 个模型、1.95 万条实例的研究显示:稠密模型剪枝「安全区窄、掉得急」,MoE 能扛更多剪枝;剪太狠还会让模型系统性拒答。从 Agent 接入与模型路由视角给出选型建议。
模型选型
按时间浏览全部文档。
给大模型喂新知识,该放进上下文、参数还是 KV 缓存?一张成本-质量决策表
同一批文档,放进上下文窗口、微调进参数、还是编码成 KV 缓存(Cartridges/Compaction),准确率和成本差很多。一项受控对比显示:KV 缓存的 Cartridges 在真实检索场景领先微调 29 分,但会带来最高 13% 的灾难性遗忘。从企业接入与成本治理视角给出选型建议。
本地跑大模型多久回本?先算清这 5 个变量,再决定自建还是走 API
「买台机器自己跑模型」到底几个月回本,取决于日均 token 量、输入输出比、电费、API 单价,以及一个最容易被忽略的变量——API 价格还在往下掉。本文拆解这套回本测算的框架,并给出 LoopRouter 视角:多数团队的最优解不是二选一,而是本地与 API 之间按任务路由。
选模型别只看跑分:证据一「埋深」,每答对一题的成本翻了 4.7–7 倍
一项对六家前沿模型的「数据室审计」发现:把答案证据从干净文档挪进带噪声的真实文件堆后,准确率掉 4–18 个百分点,而每答对一题的成本涨了 4.7–7 倍。更关键的是,模型在变难时的行为分成两派——有的学会说『我不确定』,有的照样满分自信地答错。这决定了你该怎么路由与选型。
Devin 给「测试」单独选了个便宜 64% 的模型:任务级模型路由怎么算这笔账
Cognition 让 Devin 用 GPT-6 Astra 专跑测试与验证环节——在 FrontierCode 1.1 上只落后 Fable 5 约 0.4 分,成本却低 64%。本文拆解这套「按任务分模型」的路由逻辑、省钱的真实边界,以及自建同类能力前必须验证的一个数字。
Real-SWE 私有代码库基准:为什么排行榜第一的模型,解决不了你公司 60% 的工程任务?
Specific Labs 的 Real-SWE 在真实企业私有代码库上测模型,最强的 Fable 5.1 解决率也只有 38.8%,且贵不等于强。本文解读数据,给出企业选型与多模型路由的落地建议。