[БЕЗ_ЗВУКА] Приветствую вас дорогие слушатели. И в этом видео мы продолжим рассматривать рекомендации, касающиеся составления заданий для МОК. И начнем мы это видео с описания преимуществ и недостатков заданий формата Peer Review. После чего поговорим о лучших практиках составления этих заданий. В заключение, мы также коснемся некоторых советов, касающихся составления заданий по программированию. Итак, начнем. Задание Peer Review подразумевает самостоятельное конструирование ответа слушателем. Этот ответ далее проверяется несколькими слушателями по четко установленным преподавателем критериям. И средняя оценка между оценщиками как раз и является итоговой оценкой слушателя. К основным преимуществам данного формата относится относительная легкость конструирования задания. Возможность проверять достижение сложных результатов обучения, например, применения или критического мышления, а также навыков, например, навыков решения математических или физических задач. К недостаткам относится сложность задания для слушателей. Слушатели обычно тратят много времени на составление своего собственного ответа. И по этой причине проверить с помощью Peer Review можно лишь небольшую часть материала. В противном случае, слушатели будут перегружены и могут даже перестать ходить на курс. Вторая проблема формата Peer Review состоит в том, что оценка необъективна. И следствием данной проблемы является тот факт, что слушатели могут не доверять оценкам, поставленным их работам другими слушателями. Соответственно, большое внимание следует уделять минимизации необъективности оценивания, о чем мы с вами и будем говорить далее. Основная идея использования формата Peer Review состоит в том, чтобы проверять достижения результатов обучения, которые не могут быть проверены с помощью квизов или заданий по программированию. И я хотела бы пояснить данное утверждение на примере. Предположим, мы имеем следующее задание: укажите не менее трех причин, которые привели к вступлению США во Вторую мировую войну. Среди описанных причин выберите наиболее вероятную и обоснуйте свой выбор. Описанное задание должно проверять достижение сложных результатов обучения. Однако, предположим, что лектор видеокурса уже подробно разбирал возможные причины вступления США во Вторую мировую войну и приводил аргументы в пользу того, какая из причин наиболее вероятна. В этом случае, велика вероятность, что слушатели просто продублируют разобранный на лекции материал. И использование Peer Review в такой ситуации будет не оправдано, так как задание оценивает лишь припоминание материала, то есть оценивает достижение самого простого результата обучения, связанного с воспроизведением знаний. Соответственно, следует всегда давать задания типа Peer Review для получения некоторого уникального ответа от пользователя, не повторяющего дословно материалы лекций. Peer Review может быть в двух форматах: с ограничением и без ограничений на ответ. Задание первого типа четко сфокусировано на проверку некоторого ограниченного контента. Приведенный пример о вступлении США в войну, есть пример задания с ограничением на ответ. Как правило, такие задания фокусируются на проверке понимания материала. А вот задания без ограничений на ответ используются для проверки достижения результатов обучения типа применения или даже более сложных. Типичное задание — изложить рассуждения на заданную тему. Например, привести аргументы за и против введения некоторого закона, написать некоторый пример бизнес-плана, привести решение математической задачи или объяснить код программы. Независимо от формы, задание Peer Review состоит непосредственно из самого задания, включающего формулировку и вопросы, а также из рубрик. Рубрика — это руководство, в котором перечислены критерии для оценки, которые, собственно, эти критерии помогают слушателям оценивать качество работ других слушателей. Также рубрики помогают слушателям сориентироваться, что именно будет проверяться в их ответе. Взаимная оценка работ друг друга является огромной проблемой для большинства студентов, так как для онлайн-курсов типична ситуация, когда один новичок проверяет другого новичка. И без определяющих критериев оценки и оценочной шкалы студенты с большой вероятностью потеряются как в процессе составления своего ответа, так и в процессе рецензирования работ других слушателей и будут не способны дать полноценный ответ на задания или полноценно оценить работу других обучающихся. Для оценки Peer Review с ограничением на ответ, применяются простые дихотомические или дробные шкалы. На данном слайде приведен пример дробной шкалы оценивания. Один балл получит слушатель, который привел не менее двух причин, а также смог аргументировать, почему одна из причин наиболее вероятна. В случае задания Peer Review без ограничений на ответ, ответ испытуемого декомпозируют на составляющие. И отдельно оценивается каждая составляющая. Пример таких составляющих: идея и содержание, внутренняя организация и работа с источником. Общая оценка складывается как сумма оценок за каждый из критериев. На слайде вы можете видеть пример критериев для задания без ограничений на ответ. При проверке работ других пользователей, слушатель будет идти по этим рубрикам и оценивать каждую из компонент работы отдельно. Таким образом рубрики показывают слушателю, по каким параметрам следует оценивать работу других слушателей, а также позволяет ему понять, по каким критериям будет оцениваться его собственный ответ. А теперь давайте перейдем к рекомендациям, позволяющим составить более качественное Peer Review задание. Итак, первая рекомендация состоит в том, чтобы приводить пример эталонного ответа. При наличии эталонного ответа слушателю легче понять, какой формат ответа от него ждут. Например, как детально следует защищать свою позицию или объяснять свою гипотезу. Естественно, эталонный ответ приводится для задания, отличающиеся от того, который должен будет пройти слушатель. Вторая рекомендация — это ясно прописывайте рубрики. Они не должны содержать неоднозначных слов. Например, адекватное объяснение. Что такое адекватное? Что является достаточно адекватным, а что нет? Вместо этого желательно использовать количественные критерии. Например, проведено не менее такого-то количества аргументов в пользу такого-то рассуждения. Третья рекомендация состоит в том, чтобы указывать, на проверку усвоения какого материала, направлено данное задание. Другими словами: обозначьте, на основании материала каких видеолекций и дополнительных ресурсов следует выполнять предложенное вами задание Peer Review. И, наконец, приводите пример того, как согласно рубрикам следует оценивать ответ других слушателей. Например, оцените по вашим рубрикам эталонный ответ. Это позволит слушателям понять, как использовать критерии для оценки работы на практике. В заключение, давайте рассмотрим некоторые рекомендации, касающиеся составления заданий по программированию. Во-первых, включайте информацию о том, какая из рассматриваемых в рамках видео тем будет нужна при выполнении этого задания. Данную информацию можно включить непосредственно в само задание или прямо указывать слушателям в рамках видео, что текущая тема будет важна для выполнения задания в конце модуля. Во-вторых, иногда полезно снять некоторое дополнительное видео или добавить дополнительный текстовой файл, объясняющий слушателям, что им требуется сделать в задании и каковы должны быть их шаги. Например, в рамках видео вы можете сначала пояснять какие-то тонкие моменты в использовании некоторого программного пакета, а затем объяснить, как правильно сделать экспорт проекта из этого программного продукта. Итак, давайте подведем итоги. Задания типа Peer Review направлены на проверку сложных когнитивных процессов. Также оно может быть направлено на проверку навыков. Данный формат задания существует в двух формах: с ограничением и без ограничений на ответ. В обоих случаях для оценки заданий слушатели используют рубрики. В первом случае могут использоваться дихотомические или дробные шкалы. А во втором случае — таблица с критериями оценивания, имеющих также дихотомическую или дробную шкалу. Типовые советы по улучшению качества Peer Review таковы: приводите пример эталонного ответа, приводите пример оценки работы на основании рубрик, указывайте, усвоение материала каких видео проверяется в задании. И, наконец, включайте в рубрики некоторые количественные критерии, облегчающие слушателям проверку заданий. Что же касается задания по программированию, то тут также указывайте, какой материал нужно знать для успешного выполнения этого задания. Также можно снять дополнительное видео или сделать текстовый документ, поясняющий очень сложные или запутанные моменты в рамках выполнения задания. На этом мы с вами заканчиваем рассмотрение рекомендаций, касающихся составления качественных заданий для МОК. Я очень надеюсь, что рассмотренные практики помогут вам улучшить качество ваших заданий, а также сделать ваши задания более понятными и интересными для ваших слушателей.
