这是“AI 课程设计与评审机制”系列的第 4 篇。前面几篇分别处理了课程整体设计、学习路径分化和作品方向收敛；这一篇往后走一步，只讨论结业评审阶段：评委标准怎么对齐，AI 又应该接在哪一层。
我最早开始想这件事时，直觉也很常见：既然已经有模型了，是不是可以先让它帮忙打分。
但真正进到评审现场，我先撞上的并不是“模型准不准”，而是更基础的几个问题：作品类型不一样，评委判断习惯不一样，最后给出的反馈却又必须尽量说得清楚。
如果这些前提没有先想清楚，AI 只会把一套原本就模糊的评审流程包装得更像“自动化”，但不会让它真的更稳。
所以我后来更认可的一种做法是：先把评审机制设计清楚，再给 AI 找位置。这样，AI 才不是一个硬塞进来的功能，而是一层帮助人把标准讲清楚、把分歧暴露出来的辅助结构。
系列导航
- 你现在在哪：主线第 4 篇，负责解释“为什么要评审，以及 AI 该接在什么位置”。
- 本篇职责：把课程主线从“怎么设计与推进”推进到“怎么评审与复盘”。
- 建议先读：训练营总览、三赛道制；如果你想补课程推进中的案例，再看：Pivot Protocol。
- 继续往后读：AI 评分不该替代人审，它更适合校准评委水位。
如果先把这套评审机制压成一条线，我后来稳定下来的顺序大概是这样：
先说场景：为什么会需要一套正式评审机制
我当时面对的是一个比较典型的课程结业场景：周期不短，参与者背景差异大，最后交上来的也不是同一种作品。
有人交的是一个能现场演示的小工具，有人交的是一套已经跑通的工作流改造方案，也有人交的是围绕某个真实业务问题做出来的分析框架。它们看起来都能叫“结业作品”，但可比较性其实并不天然成立。
更麻烦的是，评审现场通常不会给你非常奢侈的判断条件。评委人数不止一位，每个人擅长看的东西不同；留给每份作品的时间也有限，你往往要在不长的窗口里同时看材料、听讲解、做判断、给反馈。
所以真正难的不是“作品够不够多”，而是：当作品异构、评委异构、时间又有限时，怎么让最后的判断尽量站在同一套标准上。
真正难的是两件事。
第一，评委不只一个，大家天然会带着不同的判断习惯进入现场。有人更看重想法，有人更看重落地，有人更在意完成度，也有人会对表达方式特别敏感。只要样本一多，这种尺度差异就一定会被放大。
第二，课程评审不是单纯选个第一名。它同时还承担复盘和反馈功能。也就是说，你不只要给出结果，还要说清楚这个结果是怎么来的。否则，评审结束之后，组织拿不到可复用的方法，参与者也拿不到真正有帮助的反馈。
这也是为什么我后来越来越不相信“纯靠现场感觉”的评审方式。不是因为人不行，而是因为场景已经复杂到需要一套更可解释的结构。
只靠人工评审，问题不在于辛苦，而在于不透明
很多人说人工评审的最大问题是累。我觉得这只是表层。
更深一层的问题是：当样本变多、维度变多、参与者变多以后，纯人工评审很容易进入一种“大家都很认真，但最后还是说不清楚”的状态。
现场最典型的画面通常是这样的：前几份作品大家还能完整讨论，越往后越容易开始依赖印象；表达特别顺的作品会天然占便宜，信息埋得深但问题抓得准的作品则更容易吃亏。最后每个人都不是不认真，而是在高负荷条件下，被迫用自己的经验捷径做判断。
最常见的表现有三个。
1. 同一套标准，落到不同人手里会变形
你当然可以提前列出一些评审维度，比如问题价值、方案设计、完成度、表达质量。
但真正到评委各自打分的时候，这些词会被自动带入不同理解。有人会把“完成度”理解成“功能做得全不全”，有人会更在意“核心闭环是否跑通”；有人眼里的“创新性”是技术新，有人眼里的“创新性”是场景准。
如果没有额外的对齐机制，最后看起来大家都在按同一张表打分，实际上并没有真的站在同一把尺子上。
2. 样本一多，注意力会自动滑向最显眼的东西
当评委连续看很多作品时，人很容易被更会表达、更会包装、或者更符合自己熟悉语言体系的内容吸引。
这并不意味着判断失真，而是说明人在高负荷场景里天然会有注意力偏差。于是，一些真正扎实但不够“亮”的作品，反而更容易被低估。
3. 最终结果出来了，但复盘材料还是散的
就算最后大家勉强达成了结果，后面还会遇到一个问题：怎么把这个过程留下来。
哪些作品分歧最大，分歧到底出在什么维度，哪些维度定义得不够清楚，哪些反馈是共性的——这些东西如果还是散在评委脑子里，那下一轮评审时又要重新来一遍。
所以，只靠人工评审的问题，不是人不认真，而是整个过程太难沉淀。
为什么我还是把 AI 接进来
我引入 AI，从一开始就不是为了把评委省掉。
如果目标是“直接让模型代替人做最终裁决”，那它会立刻撞上两个问题：一是责任谁来承担，二是分数为什么这样给。只要这两个问题答不清，AI 给出来的结果越像正式裁决，后面越难解释。
我真正想要的是另一件事：让评审过程变得更结构化、更可解释。
具体一点，我希望 AI 帮我做四类事：
- 先把作品信息按统一格式整理出来，降低不同表达方式带来的噪声。
- 按同一组维度做初步拆解，避免每个评委都从零开始理解材料。
- 帮我标出那些最容易产生分歧的样本，让人工讨论集中到最难的地方。
- 在评审结束后，把过程沉淀成可复用的复盘素材，而不是只留下一个最终结果。
换句话说，我要的不是“AI 替我评”，而是“AI 先把评审现场整理成一个更容易判断的形状”。
这套评审机制，我是怎么设计的
前面那张图是总览。下面我再把每一步拆开说。
- 先由人定义评审维度和边界。
- 再由 AI 做统一的结构化预处理。
- 评委各自给出独立判断。
- 对分歧最大的样本做集中复核。
- 最终结果和解释责任仍然留在人身上。
这里最重要的是第一步。因为 AI 只能沿着一套已经存在的结构工作，它不能替你发明一套可信的评审机制。
第一步：人先定维度
我会先把这次评审到底要看什么讲清楚。
不是只写几个听起来正确的大词，而是尽量把每个维度对应的观察点说得更具体一点。比如：
- 我们更看重问题是否真实，还是更看重方案是否完整？
- 完成度是看功能覆盖，还是看核心闭环？
- 表达质量是辅助维度，还是会显著影响结果？
只有这些前提先清楚了，后面 AI 的参与才不会变成“把模糊标准自动化”。
第二步：AI 先做结构化预处理
在这一步，AI 不负责给最终结论，而是负责把评审材料先整理成统一格式。
它适合做的事情包括：
- 把长短不一、表达风格差异很大的材料整理成统一摘要。
- 按预先定义好的维度拆出亮点、短板和证据点。
- 标记哪些信息缺失，哪些地方需要评委特别注意。
这一步最大的价值，不是替评委减少思考，而是避免评委把大量时间浪费在“先读懂材料”这件事上。
第三步：评委独立判断
AI 做完预处理之后，评委仍然要各自看材料、各自形成判断。
这是责任边界最重要的一层。因为一旦评委只是照抄 AI 给的结构或结论，后面的讨论会失去独立性，最后大家会不自觉地把模型输出当成默认答案。
所以我更倾向于让 AI 先提供结构，但保留评委自己的打分和判断过程。
第四步：集中处理高分歧样本
最值得讨论的，通常不是最强样本，也不是最弱样本，而是那些“大家整体都认可，但排序和判断差异很大”的作品。
这时 AI 可以再做一层辅助：把高分歧样本筛出来，并提示分歧可能主要集中在哪个维度上。
这样，评委讨论时就不会把时间平均分给所有样本，而是把精力放在真正模糊的地方。
举个匿名化后的例子：有两份作品都顺利完成了演示。第一份像一个包装非常完整的展示件：开场背景讲得清楚，页面和流程也很顺，评委几乎不用额外追问就能理解它想解决什么。第二份则更像一个已经在真实场景里跑通过的半成品：表达没那么亮眼，页面也不够精致，但它抓的问题更真，方案也更扎实。
单看展示效果，第一份很容易领先；单看问题价值，第二份又更值得认真讨论。这个时候如果现场时间不够，评委很容易顺着“谁更容易被看懂”直接往前走。
这类样本最怕的，是让 AI 先直接给出一个总分，然后大家围着结果微调。因为那样你最后只会得到一个更像结论的数字，却更难看见真正的分歧点：评委到底是在奖励表达质量，还是在奖励问题判断。把这类样本先标出来，再回到维度上复核，才是 AI 在这里更有价值的位置。
第五步：人保留最后一票
最后的结果、解释和反馈，仍然由人来承担。
因为评审不是一个单纯的排序动作，它还涉及对边界案例的判断、对标准的解释、以及对参与者的反馈方式。AI 可以参与过程，但最后那一步最好始终有明确的人来收口。
AI 具体参与哪几段，而不是笼统地说“用了 AI”
如果把上面的方法再拆细一点，AI 在这套机制里更适合放在四个位置：
1. 材料标准化
不同人的表达方式差异很大，有些人写得很完整，有些人更擅长口头表达，有些人会把大量细节堆在一起。
AI 可以先把这些材料整理到同一个信息框架里。这样评委看到的就不是完全异构的输入，而是一组更容易横向比较的材料。
2. 维度拆解
AI 可以按同一套维度，先抽出每份作品在问题定义、方案设计、执行完成度、表达清晰度上的信息点。
这不等于替评委下判断，但它能显著降低“每个人都要从头重新拆一遍”的成本。
3. 分歧暴露
当人工判断出来之后，AI 最适合做的一件事，是帮助识别哪些样本的评价最不一致。
因为真正需要复核的，不是所有作品，而是最容易暴露标准模糊区的那一批。
4. 复盘沉淀
评审结束后，AI 还可以帮助整理：
- 高分歧样本有哪些
- 分歧主要来自哪些维度
- 哪些反馈是共性的
- 后续机制应该优先优化哪里
这一层特别重要。因为它决定这套评审机制是一次性的，还是会随着使用越来越清楚。
这套机制的边界也很明确
讲到这里，也很容易出现一个追问：既然 AI 已经能参与这么多层，那为什么不再往前一步，直接让它出总分？
我会把这个问题留到下一篇专门展开。因为这篇文章更关心的是：一套评审机制怎么搭得稳，AI 又该插在流程的哪几段。至于它最终应不应该坐到“裁判席”上，是下一篇要讨论的角色边界问题。
总结
如果现在让我重新判断一套带 AI 的评审流程值不值得做，我会先问自己三个问题：
- 你有没有先把评审维度和责任边界定义清楚？
- 你引入 AI，是为了替代判断，还是为了把判断过程结构化？
- 你有没有给人工复核和结果解释留下明确位置？
如果这三个问题都没想清楚，AI 很容易只是让一套模糊流程看起来更先进。
对我来说，这三个问题答清楚了，后面的工具选型、流程拆法和人工复核安排才有意义；答不清楚，AI 参与得越多，后面越难解释。也正因为如此，我现在更愿意把 AI 放在结构化、暴露分歧和复盘沉淀这些位置，而不是一上来就把它推到裁判席上。