从数据成功到人工智能成功：极简人工智能治理

01 什么是人工智能治理

人工智能治理是指组织用来确保人工智能实例安全、公平且使用正确的一系列规则和检查措施。就数据成功而言，它确保人工智能使用优质、干净的数据，遵守法律法规和政策，并由人工对重要决策进行复核，也就是所谓的“人机协同设计”。 

02 人工智能治理的新变化

在构建数据成功计划的过程中，我们涵盖了所有权、管理、目录、术语表、质量、数据沿袭、策略、标准、数据生命周期、分类（安全性、真实性、通用数据环境）等内容。现在，我们将通过人工智能治理，纳入已记录的用例、风险评级系统、模型清单、人工智能生命周期、更多策略、伦理规范以及一些更有趣的内容！幸运的是，文化转变的难度不会像我们之前的数据计划那样大。有些人可能不同意我的观点，但依我之见，如果你的组织现在真正实现了数据驱动的决策，那么引入人工智能就只是一个循序渐进的 工作 。 

03 我们应该从哪里开始

想要取得成功，我们都会面临一个共同的问题：从哪里开始？好吧，我们还是会从最简单的入手！我们的数据科学家刚刚向高层汇报了这个绝妙的机器学习项目，你猜怎么着？他们希望尽快实施。你我都清楚，数据准备和确保每个人都各司其职绝非易事，但我们的职责就是从数据和治理的角度确保项目成功。 

因此，我建议首先确定你想使用的框架。你可以使用现有的框架，例如 NIST AI 风险管理框架、IEEE 伦理一致性设计、欧盟可信 AI 伦理指南，或者其他数不胜数的框架，也可以创建混合框架。就像数据治理一样，没有万能的解决方案，所以要认真考虑。记住，如果某个方案行不通，随时可以调整方向。此外，不要让组织外部的任何人告诉你必须这样做或那样做。 

你们应该了解我，我喜欢把事情讲得简单明了。目前我正在设计和实施人工智能治理方案，因为我们现在才开始考虑人工智能的应用。所以我会边设计边写这篇文章，你们可以自己决定，并告诉我你们是否会尝试这种方法，或者你们会如何着手。我会开放评论区，这样我们就可以互相学习了。 

04 我目前的AI治理框架

我的目标是尽可能简化流程，尤其是在推广应用方面，因此我将重点关注数据治理中尚未涉及的内容，并将其整合到我的中央目录中。我认为目录是构建框架模型的理想场所，因为在构建可视化模板的过程中，您可以清晰地看到并思考您和其他人需要了解和保护的内容。我尚未决定是否应该向企业开放此目录部分的访问权限，或者是否 需要调整权限以仅允许特定用户访问，但我们稍后可以再讨论这个问题。 

我的人工智能治理框架将包含 以下物理细节 ：模型名称、简短描述、所有者、管理员、开发者（或团队）、人工监督（经理或团队）、版本（例如 0、v.1、1.1 等）、状态（例如开发、用户验收测试、生产等）、生命周期、安全分类。 用途和范围 ：商业案例、目标受众、允许和不允许的使用场景、关键性和风险等级（例如低、中、高/安全、财务、声誉影响）。 技术细节 ：模型类型或架构、数据信息（数据内容、数据准备方式、数据限制）、性能、鲁棒性测试、偏差检查、模型局限性、安全防护措施。 操作 ：部署详情、监控、再培训策略、变更和审计详情、如果是 LLM（提供商、基础模型（例如 GPT-5 Llama 等）、提示模板、RAG 上下文/来源、提示红线、输出审查要求。 

05 我们应该把这些信息保存在哪里？

在我的中央目录中，我希望为我们组织使用的每个模型显示一个 AI 模型卡或 AI 模型参考。我将使用我的框架，为我提出的框架构建一个模板。部分管理工作可能由其他部门完成，但为了消除管理孤岛，请务必将所有流程和程序记录在您的目录中。 

太好了，接下来我们该做什么？

在明确了显而易见的问题并详细介绍了我们的物理模型信息之后，让我们进入目标和范围部分。我们的团队成员需要更详细地了解我们人工智能模型的商业案例，而不仅仅是我们之前的简短描述，因此我希望看到一个包含以下要点的故事：问题、修复/纠正/简化所需的步骤、解决方案以及该解决方案为何能够解决问题。您可以根据需要添加更多要求，例如问题持续了多长时间。最终的成功取决于您，所以请根据贵组织的实际情况进行调整！ 

接下来，我想知道这个解决方案的目标用户是谁。谁会使用我们新的AI工具/模型？它能帮助到谁？然后，我们需要记录使用场景标准，例如我们的模型允许什么操作，不允许什么操作。相信我，人们会想知道为什么，所以我建议你对某些操作的限制给出一些解释，否则你可能会遇到很多质疑。就我个人而言，我喜欢让事物发挥超出其最初设计的功能，所以这部分内容适合像我这样喜欢折腾的人。 

现在我们要为人工智能模型添加关键性和风险等级。这与您物理安全级别中的安全分类不同，后者告诉您模型使用的最高级别数据分类，例如个人身份信息 (PII)、隐私信息、敏感信息等。关键性分类则会告诉您，如果模型出现问题，会对组织造成多大的损害。您可以自行决定评级标准，我将采用简单的低、中、高关键性分类。 

低风险等级意味着对组织声誉几乎没有损害，而高风险等级则可能意味着需要开始寻找新的工作。高风险等级则可能包括人工智能模型泄露所有员工和客户的个人身份信息 (PII)、泄露任何类型的商业机密或公司机密等等。风险指标会更详细地解释您选择此关键性等级的原因。风险指标会用一个词（当然，您可以叠加多个词）来提示模型出错时哪些方面会造成最大的影响，例如财务、声誉、法律等方面。 

06 人工智能模型卡

技术细节将包含模型类型、架构、数据信息、初始基准测试结果、性能、鲁棒性测试、偏差检查、模型局限性和防护措施等内容。 

类型

在这里，您需要说明该模型属于哪种类型的AI，以及它的行为方式。您需要指定模型类别，例如大型语言模型（LLM）、分类器、回归器、嵌入模型、智能体或多智能体系统。您还需要具体说明该模型是生成式的还是预测式的，是确定性的还是概率性的，以及是自主的还是决策支持的。这些信息都至关重要，因为它们决定了您的风险承受能力和控制要求。 

架构

模型是如何构建的？您需要在此处指定模型所基于的物理架构，例如托管云、供应商管理模型（API 信息）、本地服务器托管（物理/虚拟）、操作系统、容器信息（如适用）、处理能力（GPU/CPU）、内存、存储大小、安全协议/应用程序、编程语言等。您还需要指定模型的架构类型（Transformer、卷积神经网络 (CNN)、循环神经网络 (RNN)、集成模型、混合模型等）。模型的开发生命周期（预训练、微调或自定义训练）。模型参数（权重、偏差、增益、偏移等）。模型使用的协议（模型上下文协议 (MCP)、Agent2Agent (A2A)、检索增强生成 (RAG) 等）。上下文窗口大小（如果使用 LLM）。 注意： 使用行业标准框架，例如 NIST AI 风险管理框架。框架部分主要侧重于设计理念，而非物理细节。我认为您也应该详细说明物理架构，尤其对于业务连续性和故障排除至关重要。如果物理架构存在安全隐患，您可以考虑通过权限控制将该部分隔离，或者创建一个需要基于角色的访问权限才能查看的链接。 

数据信息

这部分应 详细介绍用于训练模型的数据、任何微调数据集（如有）、RAG 数据来源，以及已知的数据缺口或偏差，以说明数据的任何局限性。请添加您使用的每个数据集的最高安全级别，并注明数据是公开的、授权的还是合成的。本节内容将用于支持数据溯源、偏差分析和合规性审查。 

初始基准测试结果

这部分 提供了一个 基线 ，并给出了模型性能的初步预期，以便与后续的基准测试进行比较。您可能需要包含的指标包括任务有效性（成功率、准确率、F1 值、误判率、偏差方差、安全违规率等）。如果您不熟悉 F1 分数，它是一个机器学习指标，用于衡量精确率（正确预测的样本比例）和召回率（实际找到的样本比例）之间的平衡，并将两者整合为一个介于 0 和 1 之间的值，1 代表完美。 

当前基准测试

使用与初始阶段相同的指标，您可以在此处维护当前分数，以便与预期基准进行比较。此外，您也可以在此处维护历史记录，但记录数量可能会大幅增长，因此我建议限制此处的记录数量，并将完整的历史记录保存在单独的数据库/表中，以便查看更全面的数据。 

性能特征

这部分描述的是模型在正常情况下的表现。您需要查看一些指标，例如用户对典型响应质量的感知评分（尽管这非常主观）。吞吐量衡量的是模型在特定时间单位内可以处理的任务或数据量，可以用每秒请求数 (RPS)、每秒事务数 (TPS) 或每秒令牌数（如果使用 LLM，也用 TPS）来衡量。 

延迟分布是另一个重要的衡量指标，可以通过计算特定时间段内时间戳的平均值来实现，例如 P95 延迟统计量，它显示了 95% 的请求响应时间小于或等于预设值的情况。有关此指标和整个分布衡量方法的更多信息，请参阅 Dev.to 上的这篇文章。您可能还希望显示其他指标，例如 LLM 的令牌效率（用于衡量准确性和速度）以及资源利用率（用于衡量模型处理其物理资源（例如内存、CPU/GPU 等）的能力）。 

稳健性和压力测试

这部分 向用户说明模型在“发脾气”时的行为。你知道，它这么做只是为了惹你生气，因为你很着急！在这里，你需要记录一些指标，例如模型对提示变化的敏感度，这是一个基于准确率因提示模糊程度而下降的百分比。此外，还需要记录模型在噪声或不完整输入下的性能，以及长上下文退化（也称为上下文腐烂）的情况，即LLM无法准确利用长输入中的信息。工具故障恢复能力用于衡量模型从错误中自我修复所需的时间，而分布外（OOD）行为则用于衡量或解释用户在查询请求超出模型训练数据范围时可能遇到的情况。 

偏见检验与公平信号

这部分 我们希望确保模型不偏向任何一方，并且在决策过程中保持平衡。首先，只需提出一个简单的“是/否”问题，询问是否已进行偏差评估，然后提供用于偏差测试的工具或方法的名称或位置即可。您可能还需要添加关于偏差方差观察结果的定量或定性指标。对于模型可能影响的任何已知敏感属性（例如种族/民族、性别、年龄等），以及已采取的纠正措施，提供定性指标至关重要。此外，添加总体风险评级或残余偏差风险评级（例如低/中/高），以便用户了解模型使用后可能对组织产生的影响。请记住，本节仅提供事实，切勿试图掩盖问题，因为这可能会给您和您的组织带来麻烦。 

模型局限性

本部分向用户提供有关模型不可信情况的信息。例如，已知故障模式（仅提及模型可能出现故障或产生不可接受响应的方式）以及超出模型范围的使用案例。此外，还介绍了已知的幻觉模式，以及模型如何响应使用不同措辞或上下文的查询。请务必阅读 此部分，它主要面向审计部门，他们很可能需要它来进行监管报告。 

护栏和控制

在人工智能模型卡的“技术细节”部分，我们将添加最后一个 部分 ，阐述我们如何积极控制和降低风险。本 部分 将解释我们在提示约束、内容过滤器、个人身份信息 (PII) 编辑、工具访问限制、人机交互要求、置信度阈值、拒绝逻辑以及日志记录/可追溯性等方面所采取的措施。我们希望确保已充分考虑风险，使我们的组织和用户了解风险以及我们如何实施运营控制来降低风险。 

本文来自微信公众号 “数据驱动智能”（ID：Data_0101），作者：晓晓，36氪经授权发布。