主观题学生互评题目集

背景

目前在 PTA 中主观题作为单独的一类题目,学生作答后需要老师自行批改,给出分数与可选的评语,并进入题目集的排名列表中。

互评题目集

互评题目集是近日来新加入的功能,参与作业的学生可以在提交作业后,由系统自动分配互评任务,评价打分后自动计算分数,并自动将需要仲裁的作业提醒老师进行仲裁。

创建互评题目集

互评题目集将会是一个全新的题目集类型,此类型只能加入一道主观题

  1. 作业截止时间

    系统将在作业截止时间自动进行互评任务分发,之后学生需要进入系统对每个任务进行匿名互评。

  2. 互评截止时间

    到达互评截止时间后,系统会根据互评结果计算每份作业的分数。根据互评结果与老师的设置,系统会自动将分数偏差过大、分数过高或过低、评分人数不足等各种有异常的作业单独标注,等待教师仲裁。

  3. 反馈

    启用反馈后,被评分的学生可以对每一个评价进行 1-5 的打分,反馈结果将影响评分者的评分权重。

  4. 申诉

    启用申诉后,学生可以在系统中向申诉本次作业并填写理由,此份作业将单独列出,教师可以选择回复申诉,或再次进行仲裁修改分数。

  5. 评分规则

    教师可以配置是否允许未提交作业的学生参与互评。

    • “用户组中所有用户参与互评,互评成绩单独计算”

      在此规则下教师需要为互评独立设置分数,学生即使未提交作业,如果完成互评也可以获得相应的分数。

    • ”只有提交了作业的人参与互评,惩罚分从作业得分中扣除“

      在此规则下,未提交作业的学生无法参与互评,即在本题目集无法得到任何分数。此时互评完成不佳的学生(未完成或给分偏差过大导致扣分)将直接从作业中扣除分数。

  6. 每组互评份数

    每份作业需要被几位学生评价。当评价人数不足时(学生数量不足或提交了互评的人数不足),作业会被单独标注并等待教师仲裁。

  7. 未完成互评惩罚

    每一份未完成的互评任务扣分分数。

  8. 仲裁阈值

    分数差:每份作业得到的互评分数差距超过满分的百分之多少后,会自动提示教师进行仲裁。同时超过分数差的给分将会导致互评学生扣分。具体规则将在后续介绍。

    得分上限(下限):某份作业的计算后成绩超过了上限(或低于下限)后,会提示教师进行仲裁人工确认分数。

添加用户组

互评任务将在同一个用户组中进行分配,教师可以添加多个用户组,各个用户组在互评中互相独立,任务不会跨越用户组分配。

为了减少学生可能猜出互评的是哪位学生的作业,建议在添加用户组时不要勾选“查看全体提交列表”权限。

添加题目

互评题目集只能添加一道主观题,加入题目集后教师可以为这道题目设置分数。

题目分数将会展示在学生做作业,进行互评等界面。

学生提交作业

到达题目集开始时间后,学生可以在题目集中完成作业,在到达作业截止时间前,可以继续修改自己的作业,最终互评时以最后一次提交为准。

学生进行互评

作业截止时间后,系统会自动分配互评任务。学生不会分配到自己的作业。

学生将会看到需要进行评价的匿名作业,对每份作业都可以打分并写评语。

教师仲裁

到达互评截止时间后,系统会根据学生的评价结果自动计算各项分数,同时将需要仲裁的作业单独列出。

教师可以进入互评结果页面,查看每位学生的互评情况,并仲裁分数。

如果启用了申诉功能,学生可以向老师发送一份申诉,教师可以选择回复申诉,并根据学生的申诉情况进行仲裁。

一个例子

互评配置

在本例中,我们设置了开启反馈与申诉,评分规则为只有提交了作业的学生才可以参与互评。
每份作业需要被两位学生评价,如果学生没有提交评价,每份作业会被扣 5 分。

我们授权了一个用户组参与互评,一共 5 位学生,分别为 学生 1-5。

我们设置了这道题为 30 分,根据前面的仲裁阈值设置,当两位评价的分数差距超过 6 分(30 分的 20%),计算后得分超过 25.5 分或低于 18 分后,会自动提示老师需要进行仲裁。

学生提交作业

前四位学生都提交了作业,而第五位学生没有提交。(为了演示方便我们让每位学生将自己的编号作为答案提交,实际作业中学生不应该提交任何能被识别出自己身份的作业内容)

在提交列表中,教师可以看到每位学生的各此提交情况。某位学生提交了多次,在这里也会全部列出。

学生进行互评

提交作业阶段结束后,系统会自动对作业进行分发,学生在互评任务界面可以匿名的看到自己需要评价的作业。

点击批改会看到作业的答案,学生可以在这里填写分数与评语,同时还可以申报违规。一旦某份作业被学生申报违规,教师会被提醒对这份作业进行仲裁。

互评截止之前,学生可以多次修改互评的结果,评价结果也会显示在列表中。

互评结束

互评阶段结束后,学生和教师可以分别查看自己的和全部的互评情况。

学生查看互评结果与申诉

学生能够查看自己的作业互评得分,给别人互评的得分或扣分,以及所有给自己的评价(包括分数及评语)。

学生一共收到了两份互评,得分分别为 25 和 20, 分数差为 5 分,不需要仲裁。

教师仲裁与调整

互评阶段结束后,教师可以在互评结果页面看到所有学生的互评情况。其中需要仲裁或未提交的学生会列在最前面,此时没有问题的成绩将会进入提交列表和排名。

仲裁违规

点击进入第一位需要仲裁的学生,会列出得分情况以及等待仲裁的原因,教师可以查看作业后进行仲裁。

这份作业有学生报告违规(违规原因可以在下方查看),并且分数低于仲裁得分下限。

下方的详细列表中会列出这位学生所有给出的互评与收到的互评,包括评语以及汇报违规后的理由,教师可以参考这些信息对作业进行仲裁。

假设教师认为这位学生的确违规,可以仲裁时选中“违规”,并且把分数设置为 0 分,此时学生本次作业就会不得分,并且由于 0 分,另一位进行仲裁的学生会被扣除 15 (学生的给分) - 30 (满分) * 20% (仲裁阈值) / 2 分。即 12 分:

可以看到这位学生原本作业得分 27.5, 但由于仲裁导致超阈值扣分 12 分,最终四舍五入得分为 16 分。

此时教师认为对这位学生的互评扣分过多了,只是未发现违规,希望调整他的分数。可以点击右上角的调整按钮,直接调整他的最终得分。

此时我们直接调整了他的总分为 22 分,可以看到虽然各部分得分还在,但最终成绩尊重了教师的调整结果。

学生的申诉与反馈功能都比较简单,学生可以直接进行操作,教师会获得申诉的提示,因此再次不演示。

FAQ

仲裁与调整

  • 仲裁修改的是学生的作业得分(不包括互评相关分数),仲裁后的成绩仍然要减去这位学生的互评扣分,才是最终得分。同时仲裁将会导致其他为这位学生打分的学生重新计算互评罚扣。
  • 调分直接修改学生的最终得分,不会影响他收到的互评。
  • 仲裁与调整操作互相覆盖,后操作的会覆盖掉之前的操作。

评分规则

  • 用户组中所有用户参与互评,互评成绩单独计算

    • 未提交作业的学生也可以参与互评(会被系统分发任务)
    • 题目集满分:作业分数(题目的分数) + 互评满分
    • 学生互评最多罚扣到互评满分
  • 只有提交了作业的人参与互评,惩罚分从作业得分中扣除

    • 未提交作业的学生不可以参与互评(系统不分发任务)
    • 题目集满分:作业分数
    • 学生互评不设置最多罚扣分数(互评完成的不好,最多可能将整个题目集扣至 0 分)

作业分发范围

如果题目集中被授权了多个用户组,作业只会在当前用户组中分发(也就是说不同用户组不会互相互评作业)

分组作业

如果互评作业需要分组完成,老师可以将所有组长单独加到一个用户组中,授予答题权限(提交答案),所有作业都由组长分给同学完成,再由组长提交作业、进行互评。

注:

  1. 互评功能还在早期阶段,由于流程复杂,可能还有 bug。如果遇到成绩计算错误,作业没有分发等问题,请直接在群中联系我们(学生提交的作业都会保留)。
  2. 目前导出功能还未为互评题目集进行优化,后续我们将专门为互评设计导出功能。
  3. 互评题目集在作业分发、计算分数等多个阶段都需要用户组与题目集的授权关系,建议老师轻易不要删除。