本文基于 arXiv 论文《CIBuzzBench: A Benchmark for Cross-Lingual Understanding of Chinese Internet Buzzwords》(arXiv:2609.21722v1)公开内容的整理与二次分析,加入 LoopRouter 在模型接入、选型与路由上的视角;文中数据来自该论文,未经独立复现,选型前建议以你自己的语料复测。原文见文末链接。
一句话结论:选模型做中文内容,别默认「国产模型更懂梗」。一份覆盖 3001 个中文网络热梗、6 个主流大模型、3 类任务的基准显示:跨任务全面领先的是 Gemini 3.1 Pro;GPT-5.5、Claude Opus 4.8 在「理解梗到底什么意思」上明显偏弱,反被 Qwen3.7-Max、GLM-5.2 超过;而「识别用梗包装的有害内容」几乎是所有模型的集体短板。中文选型的正确姿势不是挑一个「最懂中文」的模型,而是按任务拆开、按数据复测、在接入层分流。
为什么「懂不懂网络热梗」值得单独测
中文网络热梗——谐音、缩写、黑话、引用、生活体验梗——的含义往往不是字面意思,深深绑在特定文化语境里。对做中文产品的团队,这直接关系两件事:
- 理解与生成质量:模型看不懂「梗」,就会答非所问、改写跑偏、内容生硬。
- 内容安全:有害信息常被谐音、隐喻、反讽、黑话包装绕过审核——模型能不能识破,是合规护栏的关键一环。
这篇论文把这项能力做成了一个可量化、可横向对比的基准 CIBuzzBench,号称是首个针对「中文→英文跨语言理解中文网络热梗」的评测集。对选型的意义在于:它把「中文能力」这个含糊的印象,变成了逐模型、逐任务的分数。
这份基准测了什么:3001 个梗,3 类任务
基准规模与构成:
| 维度 | 内容 |
|---|---|
| 热梗总量 | 3001 个 |
| 标注 | 英文释义、英文等价表达、类别标签、有害性标签 |
| 类别分布 | 修辞类 792(26.4%)、引用类 602(20.1%)、生活体验类 592(19.7%)、黑话/俚语 481(16.0%)、谐音双关 398(13.3%)、缩写 136(4.5%) |
| 有害性 | 无害 2574(85.8%)、有害 427(14.2%) |
三类评测任务:
- 含义解释(Meaning Explanation):让模型解释一个梗的意思,人工与 LLM 评审按 0–5 打分。
- 等价匹配(Equivalent Selection):从选项里选出对应的英文等价表达,看 Macro F1。
- 有害性检测(Harmfulness Detection):判断一个梗是否承载有害含义,看 Macro F1 与「有害类」F1。
每个任务都跑了中文提示和英文提示两套。
逐模型速查表:谁强谁弱,一眼看清
下表取中文提示下的结果(更贴近中文业务场景):含义解释用人工评分(0–5),另两项用 Macro F1。
| 模型 | 含义解释(人工 0–5) | 等价匹配(Macro F1) | 有害检测(Macro F1) |
|---|---|---|---|
| Gemini 3.1 Pro | 3.90 | 88.41 | 79.86 |
| Qwen3.7-Max | 3.84 | 84.80 | 76.10 |
| GLM-5.2 | 3.61 | 84.40 | 78.39 |
| GPT-5.5 | 3.13 | 87.83 | 77.41 |
| DeepSeek-V4-Pro | 3.06 | 78.91 | 74.68 |
| Claude Opus 4.8 | 3.03 | 83.17 | 70.41 |
| 平均 | 3.43 | 84.59 | 76.14 |
三个反直觉的读法:
- 「全面领先」的是国际模型 Gemini,三类任务它都排第一——把「国产模型天然更懂中文梗」这个假设直接推翻了。
- 「理解梗的含义」上,GPT-5.5 和 Claude 明显掉队(3.13、3.03),被 Qwen3.7-Max、GLM-5.2 反超近一档。但换到「等价匹配」,GPT-5.5 又冲到第二(87.83)——同一个模型在不同子任务上强弱可以完全颠倒。
- 同为「国产」,分化很大:Qwen3.7-Max、GLM-5.2 靠前,DeepSeek-V4-Pro 却在多数任务垫底。产地不能代表能力。
最危险的短板:有害内容,大家都不太行
把有害检测拆细会发现一个共性问题:「有害类」F1 全线低于整体 Macro F1。中文提示下:
| 模型 | 有害检测 Macro F1 | 「有害类」F1 |
|---|---|---|
| Gemini 3.1 Pro | 79.86 | 64.96 |
| GPT-5.5 | 77.41 | 62.32 |
| GLM-5.2 | 78.39 | 62.35 |
| Qwen3.7-Max | 76.10 | 58.04 |
| DeepSeek-V4-Pro | 74.68 | 56.50 |
| Claude Opus 4.8 | 70.41 | 48.61 |
也就是说,模型在「判断无害」上表现尚可,但真正要抓的**「用梗包装的有害内容」,漏判明显更多**——最弱的 Claude 有害类 F1 只有 48.61,接近抛硬币。这条对做内容安全的团队是硬提醒:别把任何单一模型当成合规护栏。
论文还指出,最难的类别是谐音双关和修辞类(含义解释得分最低),黑话/俚语相对最容易;引用类在等价匹配上最难。
提示语言也会改排名
同一个模型,换中英文提示,分数会动:
- 平均看,中文提示略优(等价匹配 84.59 vs 83.23;有害检测 Macro 76.14 vs 75.01)。
- 但分模型看:GLM-5.2、Qwen3.7-Max 在中文提示下涨得最多;而 Claude、Gemini、DeepSeek 在有害检测上反而英文提示更好。
启示很实用:提示语言不是固定选项,而是一个可以按模型、按任务调的路由/配置维度——值得在你自己的数据上各测一遍再定。
这对 LoopRouter 式的多模型接入意味着什么
把上面的结论落到接入层,能得到几条可执行的做法:
- 「中文能力」要拆成可路由的子能力,而不是一个笼统标签。 理解/改写类任务优先中文含义强的模型(如 Qwen3.7-Max、GLM-5.2、Gemini);需要精准对应表达的任务可考虑 GPT-5.5、Gemini。按任务分流,而不是全站押一个「最懂中文」的模型。
- 有害/变体内容检测,单模型不可信,要做「投票 + 护栏 + 人工」。 既然有害类 F1 普遍偏低,就用多模型并行判定 + 规则词库 + 人工兜底的组合,而不是赌某个模型不漏判。
- 把提示语言当成一个配置维度管起来。 在网关层为不同模型/任务配好中英文提示策略,并用 A/B 验证,而不是全局写死一种。
- 用固定复测集做版本回归。 模型一升级,中文梗理解和有害检测表现都可能变;用你自己的小语料定期回归,比一次性选型更靠谱。
- 统一网关承载灰度与故障切换。 当某个模型在某类中文任务上退化,能快速把流量切到备选模型,而不是等用户投诉。
一句话:中文内容选型的胜负手,不在「找到那个最懂中文的模型」,而在把中文能力拆开、按任务路由、并用一层统一接入把选型、护栏、回归和兜底都管起来。
参考来源
- CIBuzzBench: A Benchmark for Cross-Lingual Understanding of Chinese Internet Buzzwords,arXiv:2609.21722v1 — https://arxiv.org/abs/2609.21722v1
- 代码与数据(论文披露):GitHub
SuperYFan/CIBuzzBench