本文基于 arXiv 论文《Benchmarking LLM Compliance with China AI Generated Content Regulations》(arXiv:2609.19989v1)的公开摘要整理与二次分析,加入 LoopRouter 在模型接入与选型上的视角;原文为 5 页短文,摘要未给出逐模型分数,文中不臆造具体数值,建议以你自己的合规集复测。
一句话结论:企业选模型时习惯盯着价格、延迟、跑分,却常漏掉一条硬约束——能不能过中国 AIGC 内容合规要求。一份覆盖 20 个模型、2303 道题、6 个维度的基准给出的信号是:合规是可测、可比的一条独立选型维度;而且连国际模型在标准中文问题上的合规度也很高,模型间的真正差异主要落在少数几个维度上。所以「合规」不该等上线前才想起,而应在选型和接入层就纳入。
价格、延迟、跑分之外,被漏掉的那条硬约束
做面向中国用户的 AIGC 应用,内容合规是能不能上线的问题,不是「体验好不好」的问题。但在多数选型清单里,它却常常缺席——大家比的是每百万 token 多少钱、首字延迟多少毫秒、在某个 benchmark 上高几分。
这篇论文的价值,首先在于把「合规」从一句模糊的担忧,变成了一个可测量、可横向对比的维度。研究者指出:此前的合规评测大多围绕英文语境,低估了中文内容的复杂度;于是他们对照中国现行的 AI 生成内容合规要求,搭了一套评测框架。
这份基准到底测了什么
从公开摘要能确认的框架要点:
- 规模:覆盖 20 个知名大模型,共 2303 道题。
- 维度:题目分布在 6 个不同维度上,并包含 203 道自建的「宪法式」合规问题。
- 两个指标一起看:框架同时测量合规率(compliance)和拒答率(refusal)——这一点很关键,后面会讲为什么。
- 评判方式:用多个「评审」基于各自的分层对齐记忆(hierarchical alignment memory)独立给出判定,而不是单一打分器一锤定音。
注:该论文为 5 页短文(含 3 张图),公开摘要未列出逐个模型的具体分数与 6 个维度的名称。本文只用可核实的框架与高层结论,不臆造逐模型数值。
两个反直觉的结论
其一:国际模型没有想象中「水土不服」。 即便用的是标准中文问题,国际模型也表现出较高的合规度。研究者进一步指出,模型之间的主要差异,更多来自与意识形态对齐密切相关的少数维度,而不是全面的合规能力差距。对选型的启示是:别用「国产 = 合规、国际 = 不合规」这种一刀切,而要落到具体维度、按你的业务边界去测——大部分维度上大家可能都过得去,差异集中在少数几处。
其二:合规率不能单看,要和拒答率一起看。 一个模型完全可以靠「凡是沾边敏感就拒答」把合规率刷得很漂亮——但那意味着大量正常业务请求也被误杀,可用性直接崩。框架把合规率和拒答率并列,恰恰是提醒:好模型是在「守住合规红线」和「不误伤正常请求」之间取得平衡的那个,而不是拒答最狠的那个。
这对 LoopRouter 式的多模型接入意味着什么
把合规当成一条一等选型维度后,接入层可以这样落地:
- 选型阶段就把合规纳入评分,和价格、延迟、质量并列。不要等产品上线、内容出问题了才回头补。
- 按合规维度给模型分级路由:合规敏感的请求路由到「经你自己复测、合规稳」的模型;并在输入输出两侧叠加合规护栏与必要的人工兜底,而不是把合规完全押在模型自身。
- 合规率与拒答率一起卡阈值:避免为了刷合规而选了个「见敏感就拒」的模型,把正常业务也挡在门外。
- 建自己的合规复测集,定期回归:模型一升级,合规与拒答表现都可能变;第三方基准只能当参考起点,不能替代你按自身业务边界做的复测。
一句话:在国内做 AIGC,合规不是模型选型的附属项,而是和成本、性能并列的硬约束。把它显式测量、按维度分级、在接入层用统一护栏兜底,远比赌某一个模型「应该一直合规」要稳。