模型制品、版本与可观测性

所属： 横切体系。本页边界： 如何让模型结果可追溯、可复现并监测质量和性能漂移。

#核心制品定义

一个可复现的模型制品必须同时绑定权重、数据血缘、tokenizer、模板/代码、运行配置和环境；单独的权重文件不能唯一决定端到端行为。2026 年的关键进展是：制品绑定从手动记录演进为机器可验证的密码学证明链，AI 物料清单（AIBOM）将供应链透明度从软件扩展到了模型、数据和提示。

#符号说明

后文仍可用下式作简写，但它是制品组成的记号，不作为算法公式。

#技术要点

• 制品包含权重、数据、tokenizer、代码、配置与环境。MLflow 3.0 将模型注册表扩展至生成式 AI 应用和 AI Agent，连接模型到精确的代码版本、提示配置、评估运行和部署元数据。
• AI 物料清单（AIBOM） 将供应链透明度从软件扩展到 AI 特定资产。基于 CycloneDX 的 AIBOM 模式可实现 98.7% 的可复现性保真度和 96.2% 的漏洞匹配精度。
• 训练观测包括 loss、梯度、溢出和吞吐。
• 推理观测包括 TTFT、TPOT、KV 使用量与错误率。但传统可观测性工具（OpenTelemetry）的延迟追踪无法捕获幻觉率，基础设施指标无法浮现语义漂移。
• 行为漂移是独立于延迟和可用性的操作指标。部署的 LLM Agent 中 23.9%–62.0% 在长时间交互序列中经历行为漂移，任务成功率在不受控环境下下降最高 42.0%。
• 端点稳定性指纹通过固定提示集采样输出分布，可检测模型家族、版本、推理栈、量化、采样参数的变化。同一模型由不同提供商托管时，提供商间和提供商内稳定性差异显著。
• 分布漂移需配合锚点评测，不能只看单一距离。KA-LLM 通过因果熵散度检测行为漂移，独有地提供每域归因，可检测多域协调漂移事件。

#原理与演进

#权重文件为什么不是完整模型

• 页首符号表中的 $W$ 为权重，$\mathcal D$ 为数据版本，$\tau$ 为 tokenizer，$h$ 为代码/模板，$c$ 为配置，$e$ 为运行环境。
• 同一 $W$ 搭配不同 tokenizer 或 chat template，输入 token 序列就可能改变；只写“模型 v1”无法复现回答。
• 训练侧还需知道优化器与数据游标；推理侧需记录解码参数、检索索引版本和工具版本。

#观测哪些量，回答什么问题

因果边界： 指标同时变化不证明原因；要对照制品版本、输入分布与单项变更。数据来源快照见数据血缘，服务调度见模型服务。

#1. 把“模型”看成组合制品

用户看到的回答由权重 $W$、tokenizer $\tau$、chat template $h$、推理参数 $c$、检索索引 $R$、工具版本 $T$ 和服务配置 $S$ 共同决定，如下式所示。只固定权重不足以复现端到端行为。

#1.1 制品版本的基础设施

MLflow 3.0 将模型注册表扩展至生成式 AI 应用和 AI Agent，连接模型到精确的代码版本、提示配置、评估运行和部署元数据。模型版本控制现在跟踪的不仅是权重，还包括微调适配器、提示模板和检索配置。具有数百 GB 权重的 LLM 需要 Git 之外的专用基础设施。

Cloudflare Artifacts（Beta）为 AI Agent 引入类似 Git 的版本控制功能，使开发人员能够用对待传统代码的严谨性来追踪、管理和优化代理生成的输出结果。

版本图可按依赖记录：数据快照 → 训练运行 → checkpoint → 后训练派生权重 → 量化制品 → 服务配置 → 评测报告。这里每条箭头是派生关系，不是简单时间顺序；同一权重可能同时派生多个量化版本。

#1.2 制品文档的标准化

Datasheets for Datasets 和 Data Cards 为数据集提供结构化披露，覆盖动机、组成、收集过程、预处理、用途、分发和维护。Model Cards 将这一模式应用于训练模型：简短的人类可读文档，报告预期用途、训练数据引用、跨相关子组的评估结果、已知限制和伦理考量。在领域特定场景中，衍生出 Healthsheets（临床数据集和模型）和 System Cards（记录部署系统而非单一模型）。

Croissant 是基于 schema.org 的元数据格式，使数据集可直接加载到 ML 框架中，被 TensorFlow Datasets、Hugging Face 和 Kaggle 消费。PROV-O 词汇表提供操作级血缘记录，以 JSON-LD 或 Turtle 序列化。三层文档组合：Datasheet（人类可读披露）、Croissant（ML 就绪打包）、PROV-O 记录（操作级血缘），各回答不同问题，互不替代。

#2. AI 物料清单（AIBOM）：从软件供应链到 AI 供应链

#2.1 为什么需要 AIBOM

现代 LLM 系统由第三方制品组装而成——预训练权重、微调适配器、数据集、依赖包和容器镜像——通过自动化管道获取。这种速度伴随着供应链风险：受损依赖、恶意枢纽制品、不安全反序列化、伪造来源和后门模型。

现有软件供应链框架（Sigstore、in-toto、SLSA、TUF）为制品完整性和来源提供了强保证，但这些机制主要为传统软件制品设计，未能充分捕获 AI 特定生命周期威胁，如数据投毒、训练管道入侵和检索增强提示操控。

#2.2 AIBOM 的技术框架

AIBOM 扩展 CycloneDX 标准以捕获 AI 特定来源、模型血缘和披露元数据。框架通过结构化模式工程、密码学验证和 Agent 驱动自动化提供可验证的软件来源方法。

实证评估显示：98.7% 的可复现性保真度、96.2% 的漏洞匹配精度、63% 的手动监督减少。框架包括自主 AI 管道执行持续环境检查、漏洞丰富和可复现性审计，使用机器可验证的来源链。

#2.3 分层供应链安全框架

一项系统化提案将 LLM 安全建模为跨越五层的生命周期控制问题：数据、训练、模型、推理和应用。每层识别代表性资产、威胁类别和防御控制。论文进一步分析了混合后量子签名的作用——结合经典数字签名与后量子方案（如 ML-DSA）以在模型分发阶段强化制品完整性。

Attestation-aware promotion gate 在制品进入可信环境（训练、微调、部署）之前，验证声明证据、执行安全加载和静态扫描策略，并应用安全默认部署约束。

#2.4 HuggingFace 制品的来源实践

一个实际案例展示了模型制品的来源状态管理。GLM-5.3-Flash-EXL3 的 HuggingFace 仓库通过 PROVENANCE.md 声明来源状态，通过 RELEASE_STATUS.json 记录结构、编码器、质量、运行时等门控状态。完成快照将包括机器可读的门控状态、来源、校准和分配清单、公开安全可复现性包、原始 KLD/质量收据以及与不可变模型和运行时修订绑定的运行时配置。五个冷 KLD 运行和 MTP-off/MTP-on 结果被要求，失败门控保持可见。

#3. 训练状态与推理制品不同

若要从中断点继续训练，checkpoint 不只包含权重，还可能需要优化器状态、学习率调度器、随机数状态、数据游标和并行分片映射；缺失时只能“从权重重新开始一段训练”，不等于严格续训。Checkpoint 原理

用于推理的制品则可去掉优化器，但需保留架构配置、词表、特殊 token、模板、量化尺度与许可证/来源信息。加载成功不等于行为等价；应跑固定锚点输入的回归测试。

#4. 可观测性按因果链分层

#4.1 传统可观测性的结构性缺口

OpenTelemetry 已成为分布式系统可观测性的事实标准，但其向 AI 和 LLM 工作负载的扩展暴露了关键缺口：延迟追踪不捕获幻觉率，基础设施指标不浮现语义漂移，没有供应商无关的质量可观测性标准。

AI 可观测性的根本问题在于：AI 系统的契约是语义的，不是语法的。一个 LLM 以 200ms P99 延迟和零 HTTP 5xx 错误提供服务，可能同时以 12% 的速率幻觉事实性声明、产生偏离微调分布的输出、或以将在三个月内破产的速度消耗 token 预算。这些失败在传统 APM 仪表盘中都不可见。

#4.2 生成式 AI 的漂移分类

生成式 AI 系统面临四种不同的漂移类型，每种需要不同的监控方法：

#4.3 行为漂移的量化框架

KA-LLM 是首个基于 Karimov–Alekberli 热力学框架的 LLM 流式行为漂移检测框架。它监控四个通道，计算在每域输出分布熵上：

在 14 域、300 天模拟（30 个漂移事件）上的验证显示检测率 57%，假阳性率 0.00/月（下式），匹配 CUSUM 和 Isolation Forest 的检测率，同时独特地提供每域归因。C2 耦合通道检测到 5 个静默多域漂移事件（对齐税、协调能力偏移），其中没有任何单域超过个体阈值——对所有逐域基线不可见。

Driftbase 为 AI Agent 提供行为漂移监控，在 2 秒内给出单一漂移分数、欧元财务增量和根因假设。它支持 LangChain、LangGraph、OpenAI、AutoGen、CrewAI、smolagents、Haystack、DSPy、LlamaIndex 等框架的零配置自动检测。漂移分数从 0.0（相同）到 1.0（完全不同），财务影响分析将 token 膨胀转化为 EUR/USD 成本增量。

DeepDrift 通过语义速度（连续隐藏状态差异的 $\ell_2$ 范数）监控内部隐藏状态动态，在 LLM 幻觉检测（AUC = 0.891）和 RL 失败预测（AUC 高达 0.985）中表现优异。

#4.4 端点稳定性指纹

Stability Monitor 是黑盒稳定性监控系统，通过固定提示集周期性指纹化端点，比较输出分布随时间的变化。指纹使用跨提示的求和能量距离统计量进行比较，排列检验 p 值作为分布偏移证据，顺序聚合以检测变更事件并定义稳定期。

在受控验证中，Stability Monitor 可检测模型家族、版本、推理栈、量化和采样参数的变化。在同一模型由多个提供商托管的真实监控中，观察到显著的提供商间和提供商内稳定性差异。

可靠性不等于稳定性。 软件部署直觉“如果它运行且快速，就没问题”对 AI 原生系统不够充分：端点可以通过标准健康检查，而其输出漂移、格式变化、语气偏移或工具行为改变，足以破坏下游解析器和护栏。稳定性失败在多步 Agentic 工作流中影响尤为显著，早期步骤的微小方差可复利为大的工作流方差。

#4.5 企业级行为控制平面

Enterprise AI Behavior Control Plane（BCP） 是专用平台层架构，用于测量、基准测试、检测和约束生产 GenAI 系统中的行为漂移。借鉴 Site Reliability Engineering 原则，BCP 建立行为基线、强制执行 AI 特定服务级别协议、持续监控纵向漂移并启用自动回滚策略。

生产部署的实证分析表明：行为漂移影响 23.9%–62.0% 的部署 Agent，任务成功率在不受控环境下下降最高 42.0%。框架将企业 AI 治理作为连续控制问题而非静态评估任务。

#5. 漂移检测的层次

输入漂移 $P_t(x)\ne P_0(x)$ 不一定导致质量下降；标签/任务关系漂移 $P_t(y\mid x)\ne P_0(y\mid x)$ 更难仅从无标签流量检测。指标可先发现分布变化，再用锚点评测或抽样标注确认质量影响。单个嵌入距离增大不能证明模型需要重训。

技术路线：仅保存权重 → 固定完整制品依赖 → 训练/服务分层观测 → 用锚点与线上样本定位漂移 → 比较单项变更并回归验证。每步解决“看不见、复现不了、归因不清”的不同问题。

#6. 变更归因要有对照

假设线上回答质量下降，同时权重 $W$、检索索引 $R$、模板 $h$ 都发生变更。仅观察时间相关性无法知道主因。对照评测应固定同一批输入并进行单因素比较：$(W_0,R_0,h_0),\ (W_1,R_0,h_0),\ (W_0,R_1,h_0),\ (W_0,R_0,h_1)$；若变量交互明显，再测组合。真实系统还可能有数据分布漂移，需保留稳定锚点和近期样本两个集合。

#7. 版本一致性与灰度流量

一次请求若前半段由模型版本 $v_1$ 生成，后半段工具/检索使用 $v_2$ 的 Schema 或索引，结果可能难复现。至少应在请求范围内固定模型、模板、检索索引、工具契约和解码配置的版本 ID。灰度发布时记录流量分配概率，否则两个版本用户群体不同，质量差异可能来自流量选择偏差。

在线指标可以把故障率与性能看得更快，但正确性常需要延迟标注。以“回答含引用”为代理指标会被模型输出更多引用轻易提高；真正的证据支持率需样本核验。代理指标与任务目标之间的偏差，是观测体系的重要限制。

原始资料：

• Model Versioning Infrastructure；
• Operationalising AIBOMs；
• Securing LLM Software Supply Chains；
• Attesting LLM Pipelines；
• Observability for AI Systems；
• KA-LLM；
• Stability Monitor；
• Enterprise AI Behavior Control Plane；
• Evaluating LLMs in Production；
• Driftbase；
• CMU AI-ready Research Data；
• GLM-5.3-Flash-EXL3 Provenance

关联概念：

• 数据版本与污染负责数据侧血缘；
• 模型服务负责服务配置与路由版本；
• 评测与污染负责质量指标的锚点；
• 安全与供应链负责制品完整性威胁。