评测、可靠性与数据污染

所属： 横切体系。本页边界： 怎样分辨能力提升、评测泄漏和不可靠自信。

#核心公式

#符号说明

生成答案的 token 概率不天然等于“整条答案正确”的置信度；使用 ECE 前必须先定义被校准的事件。

#技术要点

• 评测需定义任务、数据分布、指标和推理预算。动态基准通过算法化问题生成或实时更新来降低精确题目记忆的风险；BeyondBench 的问题空间大于 $10^{15}$ 个唯一实例，但仍不能排除生成器、题目模板、求解程序或同分布样本泄漏，因此不能称为“从根本上消除污染”。
• 污染检测正从启发式规则转向可学习方法和原则性统计框架。LOS-Net 从完整的下一 token 分布序列中学习，而非仅依赖实际 token 的概率。
• 校准方法正从 token 级扩展到语义级。SUQC 通过 Sinkhorn 最优传输将语义相似的预测（如“correct”与“right”）视为近似等价，ECE 降低 17–25%。
• 不确定性可靠性不是单一属性，而是取决于专业领域和问题类型。临床 QA 中，不同专科和问题类型下的校准和区分能力存在系统性差异。
• LLM-as-Judge 的偏差远比位置偏差和长度偏差更复杂。信念条件评分膨胀是主要失效模式，占偏差案例的 88%。
• 成本感知评测已从单点指标演进为 Pareto 前沿分析。System-Aware LLM Arena 同时测量效用、延迟、稳定性、内存、硬件利用率和每请求成本。
• 静态基准的污染问题已被系统性量化：SWE-bench 中 32.67% 的成功补丁涉及直接解决方案泄漏，31.08% 因测试用例不足而通过。
• 推理模型（LRM）在判断准确性上优于非推理 LLM，但仍表现出强烈的评估偏差。

#原理与演进

#分数必须对应任务、分布与预算

• 能力评测至少说明：问题来源、测试时间、允许的工具/检索、输出判定规则、采样次数与 token 预算。
• 准确率适合可自动判分任务；开放问答还需证据支持度与人工/模型评审一致性；RAG 另分召回、引用和最终答案。
• 自洽投票或 best-of-$N$ 会增加成功率，却使用更多推理计算；比较模型时需固定或报告 $N$。

#校准不是准确率

• ECE 把预测按置信度分桶，比较各桶平均置信度与实际正确率；低 ECE 表示更会“知道自己何时可能错”。
• 对生成模型，单个答案概率不等于“事实正确概率”；需先定义事件、可用置信度和判定器，才能谈校准。

#污染如何制造假提升

演进： 单榜单分数 → 多维任务与成本联合评测 → 过程正确性、鲁棒性和污染分析 → 动态基准与语义校准。数据侧保留指纹与来源，见数据血缘。

#1. 先定义估计对象，再选指标

评测分数是对任务分布 $D_{\mathrm{eval}}$ 下期望性能（如下式所示）的估计。若实际部署分布 $D_{\mathrm{use}}$ 不同，榜单分数不能直接外推。样本选择、时间、语言、难度与工具权限，都属于评测定义。

#1.1 动态基准的污染抵抗机制

静态基准的核心脆弱性在于：当问题-答案对出现在训练语料中时，模型可能通过记忆而非推理来回答。动态基准通过以下机制抵抗污染：

算法化问题生成。 BeyondBench 覆盖 44 个算法任务、117 个变体，每个任务从大于 $10^{15}$ 个唯一实例的组合空间中生成问题。解决方案由数学证明确定性验证（唯一解或完全枚举），同构变换生成语义等价但语法全新的问题。三个难度级别（Easy/Medium/Hard Suite）分别对应基础算术、序列模式和 NP 完全问题。在 Hard Suite 上，Gemini-2.5-pro、Llama-3.3-70B 和 Qwen2.5-72B 的平均准确率分别为 56.21%、27.16% 和 33.37%，性能从多项式复杂度到指数复杂度急剧下降。大组合空间能降低精确实例重合率，却不能自动消除模板、生成规则、解题代码或分布层面的泄漏。

实时用户交互数据。 TurtleBench 从在线“海龟汤”游戏的真实用户猜测中派生问题，将逻辑推理与背景知识隔离，降低数据污染和模型作弊风险。在 1,532 条标注用户猜测上评估九个领先 LLM，发现 OpenAI 的 o1 系列模型落后于其他顶尖竞争者，推测原因在于其潜在推理的局限性。

动态更新机制。 SWE-MERA 针对软件工程任务，报告 SWE-bench 中 32.67% 的成功补丁涉及直接解决方案泄漏、31.08% 因测试用例不足而通过。动态基准确保问题在评估时是全新的，而非预先收集的静态数据集。

动态基准设计原则。 一项系统综述提出了动态基准的最优设计原则，并指出现有动态基准缺乏标准化评估标准。

#2. 可靠性比均值更复杂

平均准确率可能掩盖某些专业子群失败。至少分层报告长度、语言、领域、难度、时间和异常输入；对多次采样报告均值与方差。

#2.1 确定性鲁棒性

Certainty Robustness Benchmark 测量 LLM 在自挑战提示（如“你确定吗？”）下的稳定性和适应性。使用 LiveBench 的 200 个推理和数学问题评估四个最先进 LLM，区分有理由的自我修正和无理由的答案变更。

#2.2 Rubric 鲁棒性

RubricRobustness 对基于评分标准的基准进行系统敏感性分析，施加三种常识扰动：语义否定、随机删除和无关添加。在 HealthBench 和 WildBench 上揭示系统性脆弱性。

#2.3 选择性风险

对关键任务，可衡量“知道何时不该回答”的选择性风险：若仅对置信度高于阈值的样本回答，覆盖率 $c$ 与错误率 $r(c)$ 必须一起看；单靠拒答降低错误率却几乎不回答，没有实际价值。

#3. 校准的事件必须明确

ECE 中 $\operatorname{conf}(B_b)$ 应是“答案正确”的置信度估计，而非下一个 token 的最大 softmax。置信度可以来自专门预测头、验证器或多样本一致性，但这些代理都需与真实正确率校准。

#3.1 语义校准：SUQC

现有校准方法忽略 token 空间的语义几何结构，将语义相似的预测（如“correct”与“right”）视为完全不同的 token。SUQC（Sinkhorn-Regularized Uncertainty Quantification for Calibration） 将 LLM 校准重新表述为熵正则化最优传输问题。

核心技术包括：（1）Sinkhorn 校准度量（SCM） ，通过语义 token 嵌入在预测置信度和经验准确率分布之间进行最小成本对齐来量化校准误差；（2）信息论泛化界限，表征校准-迁移权衡；（3）$O(Vk)$ 复杂度的稀疏 Sinkhorn 迭代算法，使用 $k$ 近邻语义核。在 TruthfulQA、MMLU、Natural Questions 和 TriviaQA 上，ECE 降低 17.7–22.4%（相对 Deep Ensembles 最高 25%），选择性预测 AUROC 改善。

#3.2 领域特异性校准

不确定性可靠性不是单一属性，而是取决于临床专科和问题类型，源于校准和区分能力的系统性变化。一项在 11 个临床专科和 6 种问题类型上评估十种开源 LLM（通用、生物医学和推理模型）的研究表明，需要根据模型各自的互补优势选择或集成模型。基于推理导向模型的行为特征的轻量级方法被提出作为新的不确定性估计方案。

#3.3 校准的几何框架

Credal Set 方法使用凸包（概率分布的凸包）来量化和分解神经文本生成中的不确定性，以人类创造性变异为校准基准。分析显示当前模型在捕捉人类创造性变异方面存在显著差距，最佳分数仅为 0.434（Gemma-2B，温度 0.7）。

#4. 污染检测：从启发式到可学习方法

#4.1 输出签名学习（LOS-Net）

当前方法通常仅利用文本中实际 token 的概率，依赖简单的任务特定启发式，忽略了完整下一 token 概率分布序列中包含的信息。LLM Output Signature（LOS） 被提出作为检测幻觉和数据污染的参考数据类型，包含不仅下一 token 概率、而且完整的下一 token 分布序列。

LOS-Net 是一种轻量级注意力架构，在 LOS 的高效编码上训练，可证明近似广泛类别的现有技术。在多样基准和 LLM 上实现优越性能，同时保持极低检测延迟，并展示跨数据集和跨 LLM 的迁移能力。

#4.2 上下文学习检测（CoDeC）

CoDeC（Contamination Detection via Context） 通过测量 in-context learning 如何影响模型性能来区分训练中记忆的数据和训练分布之外的数据。关键发现：in-context 示例通常提升未见数据集的置信度，但当数据集是训练的一部分时可能降低置信度，原因是记忆模式被打断。CoDeC 产生可解释的污染分数，清晰分离见过和未见数据集，并揭示开放权重模型在未披露训练语料中的强记忆证据。

#4.3 统计保证框架（FTD）

FTD（FDR-controlled Training Data Detection） 提供了一个原则性框架，检测和过滤被污染的评估数据，同时提供统计保证。

#4.4 污染缓解：LNE-Blocking

LNE-Blocking 恢复模型在潜在泄漏数据集上污染前的性能。框架包含两个组件：污染检测和干扰操作。首先使用 LNE 方法评估模型的污染程度，基于此调整干扰操作的强度。

#4.5 污染检测方法的系统性评估

一项对 50 篇数据污染检测论文的系统综述将底层假设分类并评估其是否被严格验证。案例研究表明，基于三种假设的 MIA（成员推断攻击）方法性能可能与随机猜测相似。另一项系统文献综述覆盖截至 2025 年底的 55 项研究，比较了五种检测家族（字符串匹配、似然基等）。

#5. 模型评审的偏差与缓解

#5.1 先验信念偏差

LLM-as-Judge 存在比位置偏差和长度偏差更根本的失效模式。一项使用说服评估的研究发现：模型将训练信念与修辞质量混淆，基于信念对齐而非论证价值对相同主张进行不同评分。信念条件评分膨胀占偏差案例的 88%。ConvinceQA 数据集包含 27,756 条说服性论证，覆盖主观、有害和虚假信息领域，揭示了跨模型的先验偏见。通过说服基探测——评估仅主题 token 不同的最小对——可绕过习得的拒绝并揭示隐藏偏差。

#5.2 非对抗性提示变异的鲁棒性

LLM 评审与人类评估者的一致性为 70–80%，但其在语义等价提示变异下的鲁棒性未被充分探索。一项系统评估使用 8 个模型、4 个 NLG 任务和 10 个语义等价释义（约 115,000 次评估）识别出关键差距：属性可验证性对鲁棒性的影响大于模型选择——事实可验证属性的准确率为 0.71，主观属性仅为 0.19。最弱的模型（Llama-3.1-8B）表现出第二好的性能，而同一家族中最强的模型（Llama-4）显著落后，说明通用能力提升不必然带来评估鲁棒性。

#5.3 多 Agent 评审的偏差放大

多 Agent 评审框架（如辩论）在初始辩论后急剧放大偏差，且这种增加的偏差在后续轮次中持续。推理模型（LRM）在判断准确性上优于非推理 LLM，尤其在推理密集型任务上，但仍表现出强烈的评估偏差。

#5.4 偏差缓解方法

#6. 指标估计有不确定度

若 $n$ 道独立二值题的正确数为 $k$，准确率估计见式（1），朴素标准误约为式（2）。真实题目往往按来源/模板成簇，并不独立；因此更可靠的区间可按任务簇重抽样，或报告不同来源分层结果。若两模型在同一题集比较，应使用配对差值，而不是只看两个单独置信区间是否重叠。

式（1）：

式（2）：

若模型 A、B 只差一个百分点，而题数很少、随机采样波动较大，就不能下“稳定优于”的结论。报告差值、区间、采样次数和判分规则比只给排行榜名次更有信息量。

#7. 成本—质量前沿

模型质量不是单个标量。令每个方法的点为 $(C_i,Q_i)$，$C_i$ 是平均 token/时间/资金成本，$Q_i$ 是任务质量。如果存在方法 $j$ 使 $C_j\le C_i$ 且 $Q_j\ge Q_i$、至少一个严格，则 $i$ 被支配；其余方法构成成本—质量 Pareto 前沿。

#7.1 系统感知评估

System-Aware LLM Arena 将校准的 LLM-as-Judge 分数与运行时遥测和成本信号结合，测量判定效用、端到端和尾部延迟、稳定性、内存使用、硬件利用率和每请求成本与能耗估计。引入场景感知复合分数，在实时、预算受限和平衡场景下显式化延迟-成本权衡。Pareto 前沿可视化非支配模型。实验显示系统因素会重塑排行榜：GLM 在边缘和政府场景中排名最高，但 Qwen3_4B 和 Llama3_1B 在工业和客户设置中超越它。

#7.2 平均成本与尾部成本

一个方法平均快、少数复杂问题极慢，可能不满足服务期限。对风险敏感任务，还需将严重错误率作为第三维。Router-R1 的成本感知设计使模型能够沿效率-准确率连续统平滑遍历，实现相对于所有个体模型和学习路由器的有竞争力或更优的权衡。

#8. 评测集随时间失效

公开榜单会被训练语料、提示调参和模型评审偏好反复利用；即使没有直接复制题目，研究者也可能对榜单间接过拟合。动态新题、时间切分与保留集可缓解，但它们也需要稳定的难度和评分口径。新题分布若变了，分数下降不一定代表模型退化。

#原始资料

• HELM
• TruthfulQA
• Lost in the Middle
• SUQC: Sinkhorn-Regularized Uncertainty Quantification
• BeyondBench: Contamination-Resistant Evaluation
• TurtleBench: Real-World Yes/No Puzzles
• LOS-Net: Learnable Detection of Hallucinations and Data Contamination
• CoDeC: Detecting Data Contamination via In-Context Learning
• FTD: Controllable Contamination Detection
• Prior Beliefs Prejudice LLM-as-Judge
• All Prompts Are Created Equal? LLM Judge Robustness
• System-Aware LLM Arena
• Benchmarking LLMs Under Data Contamination: Survey

关联概念：

• 数据版本与污染负责数据侧比对；
• 后训练负责算法与反馈；
• RAG需单独测召回与引用；
• 模型制品记录评测可复现的版本。