这项由香港城市大学联合腾讯混元、麦吉尔大学-Mila&魁北克AI研究所、伊利诺伊斯普林菲尔德大学以及阿布扎比穆罕默德·本·扎耶德人工智能大学共同完成的研究发表于2026年3月，有兴趣深入了解的读者可以通过论文编号arXiv:2603.01562v1查询完整论文。

在人工智能快速发展的今天，我们经常听到"AI当老师"、"AI当法官"这样的说法。但你有没有想过，当AI真的要给别人的答案打分时，它到底凭什么标准来评判好坏呢？就像一个没有标准答案的老师，面对学生的作文只能凭感觉打分，很可能把华丽但偏题的文章评为满分，而把朴实但切题的好文章打了低分。

现在的AI评分系统就面临这样的尴尬处境。研究团队发现，当前的AI评价模型就像是只看表面功夫的裁判员，容易被花里胡哨的外表所迷惑。比如，当AI要评判两个编程答案的好坏时，它可能会偏爱那个代码写得更长、格式更漂亮的答案，哪怕这个答案根本解决不了实际问题。而那个简短但完美解决问题的答案，反而可能被评为较差。

为了解决这个问题，研究团队开发了一个叫做"RubricBench"的评测系统，就像是为AI考试制定了一套标准化的阅卷规则。这套系统包含了1,147个精心设计的题目，每道题都配有专业人士制定的详细评分标准，就像高考阅卷时每道题都有明确的给分点一样。

研究团队在测试中发现了一个令人惊讶的结果：即使是目前最先进的AI模型，当它们自己制定评分标准时，表现都相当糟糕。而当使用人类专家制定的评分标准时，这些AI的表现立刻大幅提升，准确率从40-50%跃升至80%以上。这个巨大的差距被研究团队称为"评分标准差距"，它揭示了AI在自主制定评判标准方面的根本性缺陷。

**一、当AI遇上"评分难题"：为什么机器总是看走眼？**

要理解AI评分的困难，我们可以把它比作培训一个新手美食评委。传统的方法就像只告诉评委"选出最好吃的菜"，但没有具体标准。结果新手评委往往会被摆盘华丽的菜品所吸引，忽略了真正的口味和营养价值。

现在的AI评分系统正是如此。当面对两个不同的答案时，AI往往会被一些表面特征所误导。比如在代码评测中，AI可能认为代码行数越多越好，格式越复杂越专业。在文章评测中，AI可能偏爱使用高级词汇和复杂句式的文章，即使内容空洞无物。

研究团队通过大量实验发现，这种"以貌取人"的评判方式在AI系统中非常普遍。当AI要评判一个解决数学问题的答案时，它可能会给那个步骤冗长、公式繁复但最终答错的答案打高分，而对简洁明了直达正确答案的回答评价较低。这就像一个只看解题过程长短而不看最终结果的数学老师。

更令人担忧的是，随着AI生成的内容越来越复杂和精巧，这种表面偏见变得更加严重。AI生成的文章可能逻辑严密、用词华丽，但完全偏离了用户的真实需求。传统的评分方法很难识别出这种"金玉其外，败絮其中"的问题。

为了解决这个根本问题，研究团队提出了一种全新的评分理念：不再让AI凭直觉判断，而是给它一套详细的"评分手册"。这套手册将复杂的质量判断分解为一个个具体可检查的小项目，就像把"这道菜好不好吃"分解为"盐味是否适中"、"口感是否嫩滑"、"营养是否均衡"等具体指标。

**二、打造AI的"标准答案"：RubricBench系统全解析**

RubricBench系统的设计理念就像制作一本完美的考试参考答案。传统的考试只给出标准答案，但RubricBench不仅提供了答案，还详细说明了为什么这个答案是对的，那个答案是错的，每个得分点应该如何判断。

这个系统包含1,147个精心设计的测试案例，每个案例都像一道精心设计的考试题。研究团队从现有的高质量评测数据中筛选出最具挑战性的部分，然后邀请专业人士为每道题制定详细的评分标准。这些专业人士就像经验丰富的阅卷老师，他们不仅知道正确答案，更重要的是知道如何识别各种常见错误和陷阱。

系统的构建过程分为三个关键阶段。首先是数据筛选阶段，研究团队像淘金者一样从海量数据中挑选出真正有价值的"金矿"。他们特别关注那些容易让AI"看走眼"的题目，比如表面上看起来很完美但实际存在致命缺陷的答案，或者看似简陋但实际解决了核心问题的回答。

筛选标准非常严格，主要考虑三个维度。第一个维度是任务复杂性，研究团队优先选择那些需要同时满足多个要求的复杂任务。比如要求既要解决技术问题，又要保持代码简洁，还要考虑运行效率的编程题目。这类题目最能考验AI是否真正理解了任务的核心要求。

第二个维度是表面偏见陷阱。研究团队专门寻找那些"披着羊皮的狼"类型的答案，这些答案表面上看起来很优秀，格式整齐、内容丰富，但实际上偏离了核心要求。比如一个看起来很专业但实际无法运行的代码，或者一篇文采飞扬但完全答非所问的文章。

第三个维度是推理过程错误。研究团队特别关注那些结论看似正确但推理过程存在严重漏洞的案例。这类问题最难识别，因为AI往往只关注最终结果而忽略中间过程的合理性。

在第二阶段，专业标注人员为每个选定的案例制定详细的评分标准。这些标准不是简单的"好"或"坏"的判断，而是像医生诊断疾病一样的详细检查表。每个标准都被分解为可以明确回答"是"或"否"的具体问题，比如"代码是否包含必需的错误处理机制？"、"解释是否涵盖了所有关键步骤？"、"答案是否遵循了指定的格式要求？"

这些评分标准还区分了显性要求和隐性要求。显性要求是题目中明确提到的条件，而隐性要求是完成任务所必需但没有明说的条件。比如，当任务要求"为老年人设计一个散步路线"时，显性要求可能是"路线长度适中"，而隐性要求则包括"路面平整"、"设置休息点"等老年人的特殊需要。

第三阶段是质量控制，研究团队建立了严格的三重检查机制。首先是双人标注，两名专家独立制定评分标准，然后由资深审核员合并两套标准，保留共识部分，剔除主观或模糊的条目。接着是逻辑一致性检查，确保所有评分项目之间不存在矛盾或重复。最后是实战测试，用制定好的标准去评判一些预留的答案，验证标准的实用性和准确性。

**三、令人震惊的实验结果：AI自制标准为何如此糟糕？**

当研究团队用RubricBench系统测试各种AI模型时，结果让所有人都大吃一惊。这就像让一群学生既当考生又当阅卷老师，结果发现他们给自己打分时总是偏离真实水平。

实验设计非常巧妙，研究团队将AI模型分为三个测试组。第一组完全不使用任何评分标准，纯粹凭AI的"直觉"判断，结果准确率只有40%左右，基本等同于随机猜测。这说明没有明确标准的AI评判确实不可靠。

第二组让AI自己制定评分标准然后按照这些标准评分。研究团队原本期望这种做法会比纯直觉判断有所改善，但结果只是略有提升，准确率达到50-58%。这个结果虽然比纯猜测略好，但仍然远远达不到实用水平。

第三组使用人类专家制定的评分标准，AI只负责按标准执行评判。令人惊喜的是，这组的表现立刻发生了质的飞跃，准确率跃升至80-85%。这个巨大的性能提升清楚地表明，问题的根源不在于AI的执行能力，而在于标准制定能力。

研究团队将这种现象称为"评分标准差距"，平均差距高达27个百分点。这个差距在不同类型的AI模型中都普遍存在，无论是轻量级的还是大型的最先进模型都面临同样的问题。更令人担忧的是，这个差距并不会随着模型规模的扩大而显著缩小，说明这是一个根本性的认知问题，而不是计算资源不足导致的。

为了进一步验证这个发现，研究团队进行了详细的对比分析。他们发现，当使用更多计算资源让AI生成更多套评分标准时，准确率并没有明显提升，有时甚至略有下降。这表明问题不在于评分标准的数量，而在于质量。AI生成的多套标准往往存在类似的偏见和盲点，简单地增加数量并不能弥补这些根本缺陷。

实验还揭示了AI自制标准的几个典型问题。首先是"注意力错位"，AI往往把精力集中在容易检查但不太重要的细节上，而忽略了真正关键的核心要求。比如在评判编程代码时，AI可能会过分关注代码的格式整洁度和注释数量，而忽略代码的功能正确性和运行效率。

其次是"假精确性陷阱"，AI经常制定看起来很精确但实际上误导性很强的标准。比如要求"使用特定的编程库"而不是关注"解决问题的有效性"，或者要求"包含确切的数字计算"而不是关注"逻辑推理的合理性"。这些标准虽然容易执行，但往往偏离了任务的真正目的。

第三个问题是"表面形式偏好"，AI倾向于制定那些注重外在表现而忽略内在质量的标准。在文章评测中，AI可能更关注文章是否使用了高级词汇和复杂句式，而不是内容是否准确回答了问题。在数学解答评测中，AI可能更看重解题步骤是否详细，而不是最终答案是否正确。

**四、深入病根：为什么AI总是制定错误的评分标准？**

要理解AI为什么在制定评分标准时表现如此糟糕，我们需要深入分析AI的"思维方式"。这就像研究为什么一个从未做过饭的人第一次制定菜谱时总是遗漏关键步骤或者过分强调无关紧要的细节。

研究团队通过详细分析AI生成的评分标准发现了几个根本性问题。第一个问题是"认知对位错误"。人类专家在制定评分标准时，会基于对任务本质的深刻理解，知道什么是真正重要的，什么只是表面装饰。而AI缺乏这种深层理解，往往把所有可观察的特征都当作同等重要。

这种认知差异在安全相关的任务中表现得尤为明显。当面对一个可能包含有害内容的请求时，人类专家会制定"必须拒绝回应并说明拒绝理由"这样的核心标准。而AI可能会制定"回应是否包含具体的对话内容"、"是否提供了详细的描述"等完全偏离安全考虑的标准。结果就是AI会奖励那些提供有害内容的回应，而惩罚正确拒绝回应的行为。

第二个问题是"标准粒度失调"。研究团队发现，AI在制定标准时往往要么过于宽泛无法执行，要么过于细致抓不住重点。比如在评判一个技术解决方案时，AI可能制定"解决方案是否优秀"这样过于宽泛的标准，或者制定"是否使用了特定版本的特定工具"这样过于细致但偏离核心的标准。

相比之下，人类专家制定的标准通常具有恰当的粒度，既足够具体可以执行，又能抓住任务的核心要点。比如"解决方案是否正确处理了题目中提到的所有约束条件"这样的标准，既具体又关键。

第三个问题是"隐性要求盲点"。在日常交流中，许多重要要求是不明说的，需要根据上下文推断。比如当有人要求"给老年人推荐一个锻炼计划"时，虽然没有明说，但显然要求计划必须考虑老年人的身体特点和安全需要。人类专家能够敏锐地捕捉到这些隐性要求并将其纳入评分标准，而AI往往完全忽略这些关键考虑。

研究团队还发现了"标准耦合度"的差异。人类制定的标准各项之间存在合理的关联性，重要性高的标准往往也更严格。而AI制定的标准各项之间缺乏这种有机联系，重要程度和严格程度之间的相关性很弱，导致评分时出现"捡了芝麻丢了西瓜"的问题。

更深层的分析显示，AI的标准制定问题根源于其训练方式。现有的AI模型主要通过模仿训练数据中的模式来学习，而训练数据中很少包含"如何制定评判标准"这样的元认知内容。AI学会了如何回答问题，但没有学会如何判断答案的好坏，更不用说制定判断标准了。

**五、人类标准的威力：为什么专家制定的规则如此有效？**

当AI使用人类专家制定的评分标准时，表现立刻得到了戏剧性的改善。这种改善不仅仅是数字上的提升，更是质的飞跃。这就像给一个新手厨师一本详细的烹饪指南，突然间他就能做出专业级的菜肴。

人类专家制定的标准具有几个关键特征。首先是"层次化优先级"。专家深知不同要求的重要性天差地别，会明确区分哪些是必须满足的硬性要求，哪些是锦上添花的软性建议。比如在评判一个医疗建议时，专家会把"不包含可能有害的医疗建议"列为最高优先级，而把"语言表达是否优美"列为次要考虑。

其次是"情境敏感性"。专家制定的标准会充分考虑任务的具体情境和目标受众。同样是"解释一个科学概念"，针对小学生和针对研究生的评分标准会完全不同。专家明白，脱离情境的标准往往是无意义甚至有害的。

第三个特征是"完整性保障"。专家制定的标准通常能够覆盖任务的所有关键方面，不会遗漏重要环节。这种完整性来自于专家对领域知识的深度理解和丰富的实践经验。他们知道哪些看似不重要的细节实际上可能影响整个任务的成败。

实验结果显示，当AI按照人类标准执行评判时，不同类型错误的识别率都得到了显著提升。特别是那些隐蔽性较强的错误，比如逻辑漏洞、安全隐患、伦理问题等，识别准确率从之前的30-40%提升到了80%以上。

更令人鼓舞的是，人类标准的有效性在不同规模和类型的AI模型中都得到了验证。无论是轻量级的专用模型还是大型的通用模型，使用人类标准后的表现都有了质的提升。这表明人类专家制定的评分标准具有良好的通用性和可移植性。

研究团队还进行了一个有趣的测试：让人类评估员同时使用人类制定的标准和AI制定的标准进行评判。结果发现，即使是人类评估员，在使用AI制定的标准时准确率也会下降，而使用人类标准时表现则保持优异。这进一步证明了问题的根源确实在于标准的质量，而不是执行者的能力。

然而，人类标准也不是万能的。研究发现，即使使用最好的人类标准，AI的评判准确率也稳定在85%左右，很难进一步提升。这个"天花板"反映了任务本身的复杂性和一定程度的主观性。不过，85%的准确率已经达到了实用水平，足以支撑大多数实际应用场景。

**六、计算资源的无力：为什么更多算力解决不了根本问题？**

一个自然的想法是，既然AI制定的单套标准质量不高，那么是否可以通过生成更多套标准、进行更多轮迭代来提升质量呢？研究团队专门对此进行了测试，结果令人深思。

实验设计很简单：给AI更多计算资源，让它生成4套、8套、16套甚至32套不同的评分标准，然后选择其中最好的一套使用。理论上，这种做法应该能够提升标准的质量。然而实验结果显示，随着标准数量的增加，评判准确率不仅没有提升，反而略有下降。

这个结果揭示了一个重要问题：AI生成的多套标准往往存在相同的认知偏见和盲点。就像让同一个人用不同方式表达相同的错误观点，本质问题并没有得到解决。AI在制定第一套标准时的认知局限，在制定后续标准时依然存在。

研究团队还测试了另一种方法：让AI对初始标准进行多轮迭代改进。结果同样令人失望，多轮迭代后的标准质量并没有显著提升，有时甚至因为过度复杂化而变得更差。这说明问题不在于标准的表达方式或细节完善程度，而在于AI对任务本质理解的根本缺陷。

相比之下，人类标准的扩展测试展现了完全不同的模式。当研究团队随机选择人类制定标准的不同子集时，准确率与标准数量呈现明显的正相关关系。从使用2个标准项目的64.5%准确率提升到使用8个标准项目的85.3%准确率，每增加标准项目都带来实质性的性能提升。

这种差异的根本原因在于标准质量的不同。人类制定的每个标准项目都抓住了任务的某个关键方面，增加标准项目意味着覆盖更多重要维度。而AI生成的标准项目往往存在重复、冗余或偏离核心，增加数量并不能弥补质量缺陷。

研究团队由此得出了一个重要结论：在AI评判能力的改进中，"标准质量"比"计算资源"更重要。盲目增加计算投入而不解决根本的认知问题，就像在错误的方向上加速前进，只会距离目标越来越远。

这个发现对AI系统的设计和应用具有重要启示。与其投入大量资源让AI生成更多标准，不如专注于提升AI对任务本质的理解能力，或者结合人类专家的智慧来制定高质量的评分标准。

**七、案例解析：当AI评判走入歧途的典型场景**

为了让大家更直观地理解AI评判的问题所在，研究团队分析了几个典型的失误案例。这些案例就像医学教科书中的典型病例一样，揭示了AI评判系统的常见"症状"和根本"病因"。

第一个案例涉及一个看似简单的编程任务：要求编写一个能够处理"所有情况"的SQL到MongoDB转换工具。表面上，这是一个技术开发任务，但实际上隐藏着一个陷阱——"处理所有情况"在技术上是不可能实现的，因为SQL和MongoDB的语法差异太大，不存在完美的一对一转换关系。

面对这个任务，出现了两种不同的回应。回应A提供了一个看似完整的转换工具，代码整齐，注释详细，表面上满足了所有技术要求。回应B则坦诚地指出了任务的不可行性，解释了为什么"处理所有情况"是不现实的，并建议将范围限定在特定的子集内。

人类专家制定的评分标准抓住了这个任务的核心：诚实评估可行性。标准要求回应必须识别出"处理所有情况"的不现实性，并诚实地说明限制条件。按照这个标准，回应B应该得到更高评价，因为它展现了技术判断力和诚实态度。

但AI自己制定的标准完全偏离了重点，关注的是代码完整性、库使用规范性、技术细节丰富度等表面特征。按照这些标准，回应A获得了更高评价，因为它"提供了完整的代码实现"和"使用了专业的技术术语"。这种评判完全颠倒了对错，奖励了误导性的回应，惩罚了诚实负责的回应。

第二个案例涉及一个数学计算问题：要求计算30年期12万贷款的储蓄收益，但题目故意遗漏了关键信息——利率。这种不完整信息的处理是评测AI判断能力的经典场景。

面对这个问题，同样出现了两种回应。回应A诚实地指出了信息缺失，要求补充利率信息后才能进行准确计算。回应B则自行假设了一个3%的利率，并基于这个假设进行了详细计算。

人类专家的标准强调"认知诚实性"，要求回应必须明确指出信息不足，避免基于未验证假设进行计算。这种标准背后体现了科学思维的核心原则：承认不确定性，避免虚假精确。

AI制定的标准却关注"计算完整性"和"解释详细度"，偏爱那些提供数值结果和详细步骤的回应。按照这种标准，回应B因为"提供了具体数值"和"展示了计算过程"而获得更高评价，而诚实的回应A反而因为"缺少数值结果"被扣分。

第三个案例更加极端，涉及一个明显不当的内容生成请求。请求要求详细描述某位真实人物的不当内容，明显违反了内容安全准则。

面对这种请求，应该有两种回应：回应A断然拒绝并解释拒绝原因，回应B则试图满足请求提供相关内容。从安全角度看，回应A显然是正确的选择。

人类专家制定的标准明确要求"安全合规性"，将拒绝不当请求列为最高优先级。这种标准体现了对伦理和法律底线的坚持。

但AI制定的标准居然关注"内容丰富度"和"描述详细性"，完全忽略了安全考虑。按照这种标准，违规的回应B反而因为"提供了详细内容"而获得高分，而正确拒绝的回应A则因为"没有提供请求的内容"被评为较差。

这些案例清晰地展示了AI评判的根本问题：缺乏对任务真正目的和价值判断的理解。AI往往把注意力集中在容易量化的表面特征上，而忽略了真正重要的深层考虑。这种认知局限不是简单的技术问题，而是反映了AI在价值判断和情境理解方面的根本缺陷。

**八、超越技术的思考：AI评判能力的根本限制**

通过深入分析实验结果，研究团队发现AI评判能力的问题不仅仅是技术层面的缺陷，更反映了当前AI系统在理解和判断方面的根本局限。这就像发现一个问题不仅仅是表面的症状，而是揭示了更深层的系统性问题。

首先是"价值对齐"的根本挑战。人类在制定评判标准时，会自然地融入价值观念、伦理考虑和情境判断。比如在评判医疗建议时，人类会本能地将"不伤害"原则放在首位，而在评判教育内容时，会考虑受众的年龄和接受能力。这些价值判断看似简单，实际上需要深刻的文化理解和道德直觉。

当前的AI系统虽然能够模仿人类的语言表达，但缺乏真正的价值理解。它们可能学会了说"安全很重要"这样的话，但不能真正理解为什么安全比表面的完整性更重要。这种价值理解的缺失导致AI在制定标准时经常出现优先级颠倒的问题。

其次是"情境敏感性"的缺乏。人类能够根据具体情境调整评判标准，同样的行为在不同情境下可能有完全不同的评价。比如，详细的技术解释在专业培训中是优点，但在紧急救援指导中可能是致命缺点。人类能够敏锐地捕捉这些情境差异，而AI往往应用单一标准忽视情境变化。

第三个深层问题是"隐性知识"的缺失。许多重要的评判标准基于大量的隐性知识和常识，这些知识很难用明确的语言表达，更难以被AI自动习得。比如，什么样的医疗建议"听起来不靠谱"，什么样的技术方案"存在潜在风险"，这些判断往往需要大量的领域经验和直觉。

研究团队还发现了AI评判中的"执行偏差"问题。即使给AI提供了高质量的人类标准，AI在执行过程中仍然会出现系统性偏差。最常见的问题是"软约束硬化"，即将应该灵活处理的建议性标准当作刚性规则执行。比如，标准建议"回应应该简洁明了"，AI可能会机械地惩罚所有稍长的回应，而不考虑内容的丰富性和必要性。

另一个执行问题是"权重失衡"。即使标准明确了不同要求的优先级，AI在实际评判中往往会给各项要求分配相近的权重。这导致次要缺陷被过度惩罚，而严重问题被低估。比如，一个功能完全错误但格式整齐的程序可能比一个功能正确但格式略乱的程序获得更高评价。

这些发现表明，提升AI评判能力不能仅仅依靠技术优化，还需要在AI系统中更好地整合人类的价值观念、情境判断和领域知识。这可能需要全新的AI设计理念，从单纯的模式匹配转向更深层的理解和推理。

研究团队认为，短期内最实用的解决方案是建立"人机协作"的评判模式：由人类专家制定高质量的评分标准，AI负责高效执行这些标准。这种分工充分发挥了人类在价值判断方面的优势和AI在执行效率方面的特长。

长期来看，真正解决AI评判问题需要在AI系统中构建更强的价值理解能力和情境感知能力。这不仅是技术挑战，更是哲学和伦理层面的根本问题。如何让机器理解人类的价值观，如何让AI在复杂情境中做出合理判断，这些都需要跨学科的深入研究。

说到底，这项研究揭示的不仅仅是AI评判的技术问题，更是AI系统如何更好地理解和服务人类的根本挑战。RubricBench系统为我们提供了一个观察和测试AI判断能力的窗口，让我们更清楚地看到了当前AI的能力边界和改进方向。这种认识对于开发更可靠、更符合人类期望的AI系统具有重要意义。

研究团队强调，他们的工作只是这个重要问题的开始。未来还需要更多研究来深入理解AI判断的机制，开发更有效的训练方法，并探索人机协作的最佳模式。只有这样，我们才能真正让AI成为可靠的评判助手，而不是被表面现象误导的"糊涂法官"。随着AI在教育、医疗、法律等关键领域的应用日益广泛，这种研究的重要性只会越来越突出。毕竟，我们需要的不是一个只会看表面的AI，而是一个真正理解人类需求和价值的智能助手。

Q&A

Q1：RubricBench是什么系统？

A：RubricBench是香港城市大学等机构开发的AI评分能力测试系统，包含1,147个精心设计的测试案例，每个案例都配有人类专家制定的详细评分标准。它专门用于测试AI能否按照明确标准进行准确评判，而不是凭直觉打分。

Q2：为什么AI自己制定的评分标准效果这么差？

A：AI缺乏对任务本质的深层理解，容易被表面特征误导。比如评判代码时会过分关注格式整齐和长度，而忽略功能正确性。AI还缺乏价值判断能力，不知道安全比美观更重要，经常出现优先级颠倒的问题。

Q3：使用人类制定的标准后AI表现有多大改善？

A：改善非常显著。AI使用自制标准时准确率只有50-58%，而使用人类专家标准后准确率跃升至80-85%，提升了约27个百分点。这说明问题的根源在于标准质量而非AI的执行能力。