您是否注意到上面的 Snaflegooks 示例问题还有其他不寻常之处?也许您想知道为什么只有 3 个选项?
自从第一次在学校参加多项选择题考试以来,我们都被洗脑,认为多项选择题应该有 4 个选项(1 个关键选项和 3 个干扰项),而许多人也都认为这是电子学习评估的正确做法。然而,大量研究表明,只有 3 个选项(1 个关键选项和 2 个干扰项)的问题的表现与有 4 个选项的问题一样好(甚至更好!)。
让我们来看看这个话题的最大评论之一。Rodriguez , MC (2005) 收集并分析了截至 2005 年的 80 年期间的许多其他研究的数据。他们发现,使用 3 个选项问题的评估与使用 4 个选项问题的评估一样好甚至更好,因为:
总体评估信度或辨别力没有变化。辨别力相似意味着评估能够很好地区分熟悉内容的学习者和不熟悉内容的学习者。信度相似意味着知识水平相似的学习者获得相似的分数。
准备两个合理的干扰项所需的时间比准备三个干扰项所需的时间要少。这意味着出题者的效率提高了。
单位时间内可以安排更多三选一的题目。这意味着可以在评估中安排更多题目,提高内容覆盖率。
具有四个或更多选项的问题可能会向学生揭示内容的其他方面,潜在地为其他问题提供线索,特别是当所有干扰项都是合理的时候。
如果你想深入研究这个话题,还有很多其他研究人员也同意这一观点,比如:
Vyas, R. (2008):“我们的文献回顾表明,具有 3 个选项的 MCQ [多项选择题] 提供的测试质量与具有 4 个或 5 个选项的 MCQ 类似。我们建议应优先选择具有 3 个选项的 MCQ。”
Schneid SD 等人 (2014):“这项研究的结果向健康职业教育者提供了一个谨慎的迹象,即使用三选项 MCQ 不会威胁有效性,并且可以通过在固定的测试时间内测试额外的 MCQ 来增强有效性,而不会对测试分数的可靠性产生不利影响。”
Haladyna TM 等人(2019 年): “越来越多的证据表明,南非电话区号 应采用更多三选项多项选择题。从理论分析、实证结果和实际考虑来看,此类题的质量与四选项或五选项题相当或更高,可以采用更多题型来提高内容覆盖率。”
嘿,别那样看着我们——我们是书呆子,当然我们会读报纸!
错误三:测试错误的信息
如果您的问题测试不相关或琐碎的信息,那么您的电子学习评估的结果将无法代表您的学习者所知道的内容和能力。
问自己:
我的问题是否明确地测试了我的学习目标之一?
我的学习目标是否足够高,以确保我的学习者在完成课程后能够做到他们需要做的事情?
请查看下图来快速了解学习水平:
记忆:学习者可以回忆或识别他们学到的信息。但是,他们可能并不真正理解这些信息。理解:学习者对所学信息的理解比记忆阶段要深入得多。应用:学习者可以将所学信息应用于现实世界,以解决现实生活中的问题并执行现实生活中的任务
这是经典布鲁姆分类法的修改版 ,由多项选择题专家 Patti Shank 在其优秀著作《编写更好的多项选择题以评估学习》中提出。过去几年,一些评估专家(如 Patti)一直在探索布鲁姆分类法的替代方案 - 但这是另一个话题了!