图源百度

摘要：大规模创新型竞赛作品的公正评审是一项复杂的系统问题, 受评审专家评分特点、主观偏好及系统误差的影响, 评审结果可能与实际存在较大偏差. 由于大规模竞赛的评审中每位专家评审的作品集不尽相同, 导致应用标准分法的前提假设——每位专家评审的作品具有相同的水平分布——可能不成立. 为解决上述问题, 优化评审方案, 对标准分法进行了改进. 首先, 提出了一类交叉指派问题, 建立了其数学模型, 分析了该模型的最优解的一个充分不必要条件, 并设计了其求解算法. 其次, 应用交叉指派问题的数学模型分发竞赛作品, 使得任意两位专家之间具有尽可能多的交叉评审作品, 以便构造可靠的成对比较矩阵. 然后, 根据成对比较矩阵和逼近理想点法建立了专家赋权的数学模型, 进而基于加权提出了改进标准分法的计算公式. 最后, 通过实验分析了传统法、标准分法、熵权法、文献中方法和本文方法评审结果的排名差异度、斯皮尔曼相关系数、评分误差度和作品争议度, 结果表明本文方法较其它方法更科学合理.

2022 年党的二十大提出“加快实施创新驱动发展战略”, 并强调“必须坚持科技是第一生产力、人才是第一资源、创新是第一动力.” 创新作为引领发展的第一动力, 影响着我国各项事业发展的方向和进程. 为响应创新驱动发展战略, 各行各业采取多种措施推动创新能力的提升. 然而, 对创新成果质量的评价是一项复杂的系统问题, 需要从多个维度进行客观分析和评判. 如果评价方法不科学、不公正, 将会挫伤创新者的积极性, 阻碍创新的进程. 2023 年中国研究生数学建模竞赛C 题就以“大规模创新类竞赛评审方案研究” 为题, 让研究生对创新类竞赛设计科学的评审模型.

大规模创新型竞赛的评审具有一定的主观性, 不同专家的评分可能相差很大. 为了公正评选出优秀作品, 通常每份作品由多位专家评审. 然而, 受评审专家数量、时间和成本等因素的限制, 每份作品不能由每位专家逐一评审. 每位专家仅评阅一小部分参赛作品, 专家之间也仅有少量交叉作品. 由于专家间存在评分系统误差, 导致原始评分的可加性较弱, 故采用传统法(直接取原始分的算术平均值) 有失公允. 目前, 大多采用标准分法, 即将每位专家的评分都转化为均值和方差都相同的水平. 但是, 标准分法的前提假设是每位专家评阅的作品具有相同的水平分布, 这在大规模竞赛的评审中难以得到保证. 现实中, 常采用对标准分进行调整来减小极差的策略. 然而, 这种策略也存在诸多问题. 首先, 调整标准分较为随意, 没有统一的调整公式; 其次, 破坏了被调整标准分的专家对其评阅作品相对水平的评判. 鉴于此, 本文的研究目的就是设计一个对创新型竞赛作品进行科学评审的优化方案.

二、主要内容

大规模竞赛作品分发给专家评审本质是一类指派问题, 与其它类型指派问题不同的是, 该指派问题要求每项任务(竞赛作品) 指派给多人(专家) 完成, 但不能指派给所有人, 而每个人需要完成多项任务. 像这样的问题在生活中还有许多, 比如科研人员申报基金项目的评审、公交车服务站点等问题. 有时需要比较不同人完成任务的差异性或保证任务顺利完成, 有必要增强每两人之间完成任务的可比性或关联性, 即要求每两人之间要具有尽量多的相同的任务. 我们称这类指派问题为“交叉指派问题”. 

本文确定专家权重的总体思想: 为专家赋的权重能够使得加权分数尽可能统一不同专家的评分尺度和偏好, 从而使得同一份作品的3 个加权分的极差尽可能小. 按照“交叉指派问题”, 将竞赛作品指派(分发) 给专家. 这样分发作品的优点在于可以对任意两位专家的评分特点进行比较, 以便构造可靠的成对比较矩阵, 进而根据成对比较矩阵应用逼近理想点法为专家赋予科学合理的权重. 为此, 受信息熵[30–32]的启发, 我们提出了特征信息的概念, 并定义了关联信息. 由关联信息构造成对比较矩阵, 进而根据逼近理想点法和误差平方和最小法建立了确定专家权重的数学模型.

正如前文所述, 标准分法的前提假设是每位专家评阅的作品集具有相同的水平分布, 这在大规模竞赛的评审中难以得到保证, 因为每个专家评审的作品都不尽相同. 那么如何改进标准法, 能尽量适用于大规模竞赛的评审呢? 这是我们设计该评审方案的出发点.

从传统标准分的计算公式可以看出, 转化为标准分后每个专家评审的作品集的水平分布都一样. 既然每个专家评审的作品集水平未必相同, 因此标准分的计算公式可以改进为

即每个专家评审的作品集在标准化时要有所区别. 如何区别呢? 我们使用加权的方法. 虽然每个专家评审的作品集的水平是未知的, 但通常认为同一份作品不同专家评的分数越一致越好, 越能反映作品的水平. 而本文专家赋权法正是主要基于这种思想提出的, 因此上述改进标准分法公式设置为, 

总结评审方案的具体步骤:

步骤1标准分转化. 将原始评分转化传统标准分.

步骤2 专家赋权. 基于传统标准分计算成对比较矩阵, 并按专家赋权模型计算专家权重.

步骤3按改进标准分法公式计算原始评分的标准分.

步骤4依据改进标准分计算每份作品的算术平均分, 并按大小对作品排序.

为了检验本文所提评审方案的有效性、科学性, 本文以某本科高校大学生数学建模竞赛作品为例, 对不同评审方案进行比较分析.

下面根据检验指标, 对比分析五种方法的实验结果.

结果表明, 本文方法的排名差异度较传统法、标准分法、熵权法和文献[11]方法的排名差异度都小, 而斯皮尔曼相关系数较其它方法的都大, 这说明本文方法的评审结果与专家协商讨论的结果较其它方法更一致. 其次, 就平均争议度而言, 本文方案< 文献[11] 法< 标准分法< 熵权法< 传统法. 总体而言, 通过实验验证了本文提出的大规模创新型竞赛评审方案的科学性和可行性.

本文提出的竞赛作品评审方案具有广泛的应用价值, 不仅适用于大规模创新型竞赛，也适用于中考和高考作文的评阅、国家基金项目评审等专家不能逐一评分的群决策项目. 根据成对比较矩阵的设计, 本文方法使用条件是很宽松的, 只需要满足任意两位专家之间至少有一份共同评阅的作品即可.

三、边际贡献与未来拓展

本文边际贡献如下.

 (1) 提出一类交叉指派问题. 建立了交叉指派问题的数学模型, 分析了其最优解的一个充分不必要条件, 并设计了一个求解算法.

 (2) 提出一种基于成对比较矩阵和逼近理想点法的专家赋权法. 根据交叉指派问题的数学模型分发竞赛作品, 使得任意两位专家之间具有尽可能多的交叉评审作品, 为构造可靠的成对比较矩阵做好铺垫, 进而应用逼近理想点法, 建立确定专家权重的数学模型. 

(3) 提出了改进的标准分法. 改进的标准分法在一定程度上解决了大规模评审中标准分法的前提假设可能不成立的问题, 为专家不能逐一评审每一个被评对象的群决策问题提供了科学方法.

关于未来拓展如下.

 第一, 有没有更好的作品分发方式?

 第二, 本文设计的改进标准分计算公式, 主要是从专家评分均值不等的系统误差和每位专家评审作品集的整体水平的差异性两方面因素考虑的, 进一步研究可以考虑评分随机误差和每位专家评审作品集水平的离散程度(方差)继续优化标准分公式. 

第三, 本文中专家是可以随机组合的, 而现实中有些项目专家是分组的. 比如, 分组面试、青年教师分组讲课大赛等, 这些项目与本文研究的问题既有相似之处, 也有不同之处. 相似的是被评价者都不能由专家逐一评分, 但却要放在一起评选出优秀者, 不同的是这些项目中专家是明确分组的, 不能随机组合. 那么针对这种“分组评审” 的项目如何优化评价方案?

本文摘编自《系统工程理论与实践》2026年,第46卷,第1期论文《基于交叉评阅及专家赋权的大规模创新型竞赛评审方案》（点击题目链接全文）；

作者：郭东威¹, 博士研究生, 讲师, 研究方向: 评价与决策, 运筹与管理,；朱英明^1,*(通信作者), 博士后, 教授, 博士生导师, 研究方向: 评价与决策, 产业经济学；丁根宏²，博士, 教授, 研究方向: 优化与控制

      1. 南京理工大学 经济管理学院, 南京 210094

      2. 河海大学 数学学院, 南京 211100