快速评卷策略word模板 g167

快速评卷策略

摘要

本文解决的是快速评阅像数学建模竞赛这种形式的比赛的答卷所采取的策略问题。在保证评卷过程和结果的公平公正的前提下，考虑到竞赛资金、评阅人数量和评阅时间的限制，制定了快速有效的评卷方案。

在P=100，J=8，W=3的情况下，制定了两种可供选择的方案

对方案一，为减少总的评阅数、提高评阅的准确度，采取每轮淘汰选出前几名的方法建立了双人组合圆桌模型。考虑到评分存在一定的主观性，先对评委进行测试，求出位评委的评分偏差。通过计算机仿真模拟1000次，得到此方案下的平均评阅数为25，总的评阅数为204，准确度为96.2%

对方案二，为提高准确度，建立了交错淘汰模型。按照每轮淘汰前各组将要淘汰的答卷与其他组交换后选出前几名的方法，通过计算机仿真，得到此方案下的平均阅卷数为  ，总的评阅数为  ，准确度为。

然后通过比较分析得出方案一为最佳方案。

最后按照方案一的思想，在保证准确率大于95%的情况下，相应的改变每轮筛选出进入下一轮的份数，使得P、J、W变化时，每个评阅人所看答卷数最少。

关键字：计算机仿真   双人组合圆桌   交错淘汰   准确率   评分偏差 

1.问题重述

1.1问题背景：

在确定像数学建模竞赛这种形式比赛的优胜者时，常常要评阅大量的答卷，比如说，有P=100份答卷。一个由J位评阅人组成的小组来完成评阅任务，基于竞赛资金，对于能够聘请的评阅人数量和评阅时间的限制，如果P=100，通常取J=8.

理想的情况是每个评阅人看所有的答案，并将它们一一排序，但这种方法工作量太大。另一种方法是进行一系列筛选，在一次筛选中每个评阅人只看一定数量的答卷，并给出分数。为了减少所看答卷的数量，考虑如下的筛选方法：如果答卷是排序的，则在每个评阅人给出的排序中排在最下面的30%答卷被淘汰；如果答卷没有排序，而是打分（比如说从1分到100分），则某个截止分数线以下的答卷被淘汰。

这样，通过筛选的答卷重新放在一起返回给评阅小组，重复上述过程，人们关注的是，每个评阅人看的答卷总数要显著地小于P。评阅过程直到剩下W份答卷时停止，这些就是优胜者。当P=100通常取W=3。

1.2需要求解的问题

你的任务是利用排序、打分及其他方法的组合，确定一种筛选方法，按照这种方法，最后选中的W份答卷只能来自“最好的”2W份答卷（所谓“最好的”是指，我们假定存在着一种评阅人一致赞同的答卷的绝对排序）。例如，用你给出的方法得到的最后3份答卷将全部包括在“最好的”6份答卷中，在所有满足上述要求的方法中，希望你能给出使每个评阅人所看答卷份数最少的一种方法。

注意在打分时存在系统偏差的可能，例如，对于一批答卷，一位评阅人平均给70分，而另一位可能给80分。在你给出的方法中如何调节尺度来适应竞赛参数（P，J和W）的变化？

2符号说明

符号 说                         明

p 答卷总数

J 评委数

w 最终选出的优胜者数目

F 所有评委批改的试卷总数

Zj(i) 第j个评委在第i次批改的试卷数目

xij j号评委对第i份试卷的打分

xi 第i份试卷的绝对分数

ni 第i次淘汰后所保留的试卷份数

3.模型假设

假设一：评委评卷相互独立，互不干扰。

假设二：评委可重复批改同一试卷，且每次批改相互独立，结果互不干扰。

假设三：总体试卷的分数服从正态分布。

假设四：评委在评卷之前经过培训，有共同的评分准则，评卷公平合理。

4.问题分析 

本文解决的是在保证一定的正确率下，如何安排评判策略，使得每位评阅人所看的答卷份数最少的问题。这可以转化为一个多目标的优化问题，而减少每位评阅人所看答卷数量的前提是保证评阅过程和结果的公平与公正。

首先对每位评阅人的评分偏差即系统偏差进行计算。正式评阅时，所有的评阅人必须严格按照评分准则来评分，以确保每位评阅人的评阅标准一致，评阅人在互相不知道对方所给的分数的情况下，对试卷给分，然后在此分数的基础上减去该评阅人的评分偏差，即为该评阅人最终给的分。

针对此问题提供了两种可供选择的方案，分别建立双人圆桌模型和交换淘汰模型。再根据实际情况，当P=100，J=8，W=3时，分别就两种方案比较评阅人的阅卷数和准确率，最终确定此种情况下的最优方案。

然后再讨论P、J、W变化时，通过对比两种方案的准确率和阅卷数，最终确定何种情况下选择何种方案。

5.模型准备

定义：

系统偏差：评委主观因素引起的评分偏差。

绝对分数：评委一致赞同的答卷的绝对分数，即答卷实际应得分数。

5.1数据处理

5.1.1绝对分数的导出

试卷用百分制进行评分，则分数为0到100的任意整数，计算机随机生成100个服从正态分布 的随机数即为100份试卷的绝对分数。

5.1.2评委平均偏差测试

考虑到评委在评卷过程中的偶然误差和各评委主观因素引起的评分标准的差异，会使评分结果和试卷的绝对分数有一定的偏差，这样就需要对评委进行评分偏差测试。

将八个评委依次编号，编号为一号、二号、三号••••八号评委。定义评委平均评分偏差是评委实际打分和试卷绝对分数差值的均值，即： 

在假设四评委评卷之前经过培训，且有共同的评分准则的条件下，即使存在评分偏差但各评委的打分与绝对分数不会相差很大，这样用MATLAB随机生成八组波动值为10且服从正态分布 的随机数作为八位评委打分，由偏差定义计算各个评委的评分偏差：

评委 一号 二号 三号 四号 五号 六号 七号 八号

偏差 1.5188 0.065 -0.7746 1.275 -2.510 0.055 0.695 0.802

5.1.3评委实际打分

由评委评分偏差的定义可知，评委的实际打分是试卷的绝对分数和评委评分偏差的求和，即 。

5.2计算机仿真流程

快速评卷不仅要节约时间减少工作量，更要评卷公平公正结果准确合理才能符合要求。为保证评卷的准确无误假定评卷准确率达到95%以上即符合要求，计算机随机生成绝对分数，通过拟定的评卷方案进过多次实验得到最优评分策略，其基本流程图如下：

6.模型建立及求解

6.1目标函数的确定

在评阅大量的试卷时，为保证评选结果的公平合理，评委的工作量往往是非常的大，这样就降低了评阅效率。理想的评卷方案是减轻评委的工作负担，但评卷结果依然公正合理。为此，建立以八个评委总的评阅试卷份额最小为目标的目标函数即：

减轻评委的工作量无疑会对评卷结果带来一定的影响，因此还要保证最终的评选结果是正确无误，合理公正的，即评选结果的准确率达到最优：

6.1.1多目标规划模型

满足题目要求，减少评委工作量保证评选的公正无误，结合目标函数建立符合题意的多目标规划模型如下：

6.2模型的求解

为实现上述多目标规划模型，建立两个方案即双人组合圆桌模型和交错淘汰模型求解该模型，并对结果比较分析。

6.2.1方案一：双人组合圆桌模型：

双人组合圆桌模型和传统的圆桌会议模型类似，即让所有评委坐在圆桌前，试卷平均分发给每一位评委，评委改完并淘汰部分试卷后将剩下的部分试卷传递给右手边的评委，这样循环下去直到找出优胜者。但评委评卷存在系统偏差，若这样循环下去首轮淘汰的试卷只被一个评委批改就淘汰有欠公平。双人圆桌模型是将八个评委随机分为四组，两人为一个评卷单位，所改试卷的得分为两个评委打分的均值，这样就减少了评分偏差和循环次数。其循环模式如下图：

（1）方案一的执行：

从100份试卷中评选出3份优胜者第一轮评卷时每位评委拥有的试卷份额相对较大，所以第一轮评卷时由于评委的误判而将优胜者淘汰的概率几乎为零，这样为减少评委工作量，可在第一轮进行单人阅卷。

第一轮（单人独立评卷）：将P(P=100)份答卷尽量均匀的分成J(J=8)份，分发给每一位评委，让每位评阅人对答卷给分，并进行初步的筛选。每组选出前n1份答卷，共J*n1份答卷进入下一轮筛选。

从第二轮开始，建立双人圆桌模型。

第二轮：将J*n1份试卷平均分配给四组评委，现每份试卷由两个评委打分（评委打分要减去评委评分偏差），最后取其平均值记为该试卷的实际得分。每组中选出得分最高的前n2名，将评选的优胜试卷传递给右手边的评委组，进入下一轮筛选。

第三轮：每组2个评阅人对同一份答卷评分后，此时，同一份试卷已被四个不同的评委评分，取这四个分数的平均值作为试卷的实际得分。由分数的高低，每组选出前2名，将选出来的答卷交给右手边的一组。

第四轮：每组对同一答卷打分后,此时，同一试卷已被六个不同的评委打分，取这六个分数的均值作为试卷的实际得分。为保证最优试卷是在最好的6分试卷中得到，此时不淘汰直接转交给下一评委组。

第五轮：每组将手中的2份答卷给分，并算出第五轮后的最终得分，可知最后的8份答卷是经8位评阅人评阅过的，直接根据这8份答卷的分数排序，选出前三名即为获胜者。

（2）方案一求解

由计算机仿真（见附录一），经过多次模拟，得到在第一轮评选的试卷数n1和在第二轮评选的试卷数n2改变时对评委评改的试卷总数和准确率的影响，（见表一）：

表一：方案一结果表（n1：第一轮选出的优胜者；n2：第二轮选出的优胜者；）

3 4 5 6 7

平均份额  

平均份额  

平均份额  

平均份额  

平均份额  

3 25 96.1% 27 94.2% 29 93.6% 31 95.2% 33 95.9%

4 26 94.5% 28 96.8% 30 95.7% 32 99.7% 34 99%

5 27 97.1% 29 96.4% 31 95% 33 96% 35 95.3%

6 28 94.3% 30 97.3% 32 96.2% 34 92.7% 36 94.7%

方案一结果分析：

上表结果展示在不同选择方案下，评委工作量和评卷准确率，其准确率基本都达到了95%以上满足题目要求，在此条件下选择每个评委所看试卷最少的方案，即选择第一轮挑选前3名，第二轮挑选前3名比较适合，其评卷总数为204份。还可根据情况选择方案，例如当时间充足时不考虑评委的工作量只求评卷准确无误，可以选择在第一轮挑选前6名第二轮挑选前4名比较适合。

6.2.2方案二：交错淘汰模型

交错淘汰模型也是为减小因评委评分偏差而误判的概率而设计的，该模型是在各评委淘汰试卷之前将即要淘汰试卷和另一评卷人即要淘汰的试卷进行交换，再对手中的试卷按分数的高低进行淘汰。

（1）方案二的执行：

第一轮：J（J=8）位评阅人分成J组，P(P=100)份答卷尽量均匀的分到各组（如12,12,12,12,13,13,13,13）。每组对本组的答卷给分（还要减去评分偏差）后按分排序，保留前n1名，将其余的即将要淘汰的答卷与另一组交换。重新按分数排序后选出前n1名，进入下一轮筛选。

第二轮：J位评阅人分为J/2组（若J为奇数，让其中一组仅一人），将上一轮的J*n1份答卷均分到各组（尽量使各组未曾看过），每份答卷的得分为该组评阅人给分的均值（仅一位评阅人的除外），然后对本组答卷按分排序，保留前n2名。按交换淘汰法，每组最终选出前n2名，进入下一轮筛选。

第三轮：J位评阅人分成J/4组（2组），将上一轮的答卷均分到各组（尽量使各组未曾看过）。按交换淘汰法，每组选出前3名。

继续将评阅人按上述方式分组，直至所有组最后答卷总和接近2W，停止分组，让每位评阅人将最后的答卷全部评阅一次，按分排序后选出前3名。

第四轮：最后的6份答卷让每位评阅人打分，每份答卷取各评阅人给分的均值。然后将6份答卷按分排序，选出前3名即为获胜者。

方案二流程图：

（2）方案二求解

由上述方案通过计算机仿真（见附录二）模拟一千次得到方案二第一轮和第二轮做不同淘汰时对应的评委评卷总数和评卷准确率，见下表：

表二：方案二结果表

3 4 5 6

平均

份额  

平均

份额  

平均

份额  

平均

份额  

2 28 99.5% 30 97.7% 32 98.3% 34 97.5%

3 30 97.2% 32 100% 34 96.7% 36 99%

4 32 98% 34 98.8% 36 99.7% 38 97.9%

5 34 96.3% 36 98.6% 38 97% 40 96.7%

方案二结果分析：

交错淘汰得到的结果准确率接近100%，满足题目要求，要选择使每个评委所看试卷数最小的方案则选择在第一轮评卷时选择前3名，第二轮评卷时选择前2名比较适合。

6.3两种方案的比较及选择

在P=100，J=8，W=3时，通过比较方案一和方案二具体实施步骤，可知方案二需每轮进行分组，而方案一只需要分一次组，故实施起来较方案二方便。且由实际情况可知，当准确率大于95%时，公平公正性已经相当高了，可以满足实际需求了。方案一在保证准确率为96%的基础上，各评委阅卷份数小于方案二的。所以最终此种情况下的P、J、W，应选方案一的评卷策略。

方案一：

6.3 P,J,W改变时对结果的影响

7.模型的改进

8..模型的评价及推广

9.参考文献

10.附录

链接: https://pan.baidu.com/s/1pTo1LwSF-P05ZrSLIqBDyQ 提取码: xjcs