把稠密模型改造成 MoE 来省钱:量化、剪枝、蒸馏、MoE 化怎么选
自托管模型想降本,常见四条路:量化、剪枝、蒸馏、把稠密模型改造成 MoE。一份 ACL 论文用同一个 Qwen2-7B 做横评显示:MoE 化能在几乎不掉分的前提下提速 2–2.5 倍,蒸馏最快但精度损失最大。从接入与成本治理视角看,「模型内压缩」和「接入层路由」是两条互补的降本路线。
文档
技术文档、翻译、笔记与深度文章。
谁最懂中文网络热梗?一份 3001 词基准告诉你选型别靠直觉
选模型做中文内容,很多人默认「国产模型更懂中文梗」。但一份覆盖 3001 个中文网络热梗、6 个主流模型、3 类任务的基准显示:全面领先的是 Gemini 3.1 Pro,GPT-5.5、Claude 在「理解梗的含义」上明显偏弱,而检测「用梗包装的有害内容」几乎所有模型都不及格。从接入与路由视角看,中文选型该按任务拆开做。
长上下文推理越跑越贵?On-Demand Attention 让模型「需要时才回看历史」
长上下文和 Agent 推理贵,根因之一是全注意力每生成一个 token 都要重读不断变长的历史。arXiv 新论文 On-Demand Attention(ODA)默认用局部注意力,靠一个轻量『召回头』预测『这一步要不要回看全局』,只在有用时才触发全局读取。从接入方视角看,它是同档模型下不同供应商『每 token 成本/延迟』会拉开差距的隐性变量。
Claude Code 开始支持 AGENTS.md:配置可移植性,和模型可移植性一样值钱
Claude Code 2.1.277 起,目录里没有 CLAUDE.md 时会回退读取通用的 AGENTS.md。真正的意义不是少写一个文件,而是把『你怎么让 AI 干活』存成厂商中立格式——换工具、换模型时,迁移成本从『重写』降到『改配置』。
xAI、OpenAI、Anthropic 联署 AEF-1 第三方评测标准:企业选型到底该信谁的评测?
AI Evaluator Forum(2025 年 12 月成立)发布 AEF-1——第三方独立评测的基线标准,规范访问权限、利益冲突、资金关系、回避与透明度五件事,三家头部实验室联署。但同期就有人质疑评测机构与实验室的资金牵连。对做选型的企业,结论很实在:第三方评测在变可信,却仍不能把选型外包给任何单一榜单。
用模型「自报置信度」决定要不要换更强模型?受控测试:能用,但别全信
想靠模型自己报的置信度来决定「这条查询要不要升级到更贵的模型」?一份受控测试显示:直接口头报的置信度出奇地准(AUROC 0.956),比三次采样投票(约 0.77)强得多;但它很脆——换个问法,4%–9% 的路由决策就翻了。给置信度路由的落地建议。