[ЗВУК] Последним пунктом в плане описания методологии, как вы помните, был вопрос, связанный с принципами измерения, с принципами оценивания в образовании. Мы с вами уже говорили на одной из первых недель о том, что такое принципы, и рассматривали принципы по отношению к умной аналитике вообще, и мы говорили о том, что принципы — это те правила, которые нельзя нарушать, те требования, которые мы сами закладываем по отношению к нашим продуктам, к нашей деятельности. И в отношении исследований тоже очень важно зафиксировать для себя те правила, которые, на ваш взгляд, становятся наиболее значимыми, наиболее важными, те правила, которые, на ваш взгляд, в данном конкретном исследовании нарушать нельзя ни в коем случае. Ну вот, на слайде представлены примеры — это девять случайных методик, найденных в открытом пространстве Интернет в разные годы, и к ним — ну, так положено, и очень часто в методиках действительно прописаны принципы. Суммарно в этих десяти методиках более 30 различных принципов прописано по разному сформулированных. Начало списка — это самые часто употребляемые из тех, которые были обнаружены, и я так понимаю, что этот список я бы смотрела следующий, там ещё десять методик, и ещё бы 30 новых принципов нашла бы. Что-то повторяется, что-то нет, и целенаправленность или ориентированность на цель, целеполагание — он, слава богу, звучит чаще всего (то, о чём мы с вами проговорили в предыдущих фрагментах, о том, что нельзя строить методику просто так, без определённой цели). Ну и дальше научность, прозрачность, объективность и так далее. Вопрос заключается в том, что стоит за этими принципами. Вот смотрите. Мы можем, например, начать выстраивать исследование информационной открытости сайтов образовательных организаций или органов управления образованием. Ну, такой достаточно понятный, достаточно прозрачный объект для исследований: вот есть сайт, и мы можем оценить открытость этого сайта для различных категорий пользователей. Какие правила, какие принципы мы могли бы заложить в эту методику, которые были бы для нас принципиально важны? Например, была... существовала... использовалась одна из версий такой методики, где ключевым принципом было использование только объективных данных. Что это означало на практике для построения методики? Это означало, что в данной методике не оценивался, например, дизайн сайта или удобство навигации. Почему? Потому что нет возможности объективно оценить дизайн. Как оценить дизайн? Только на уровне вкусовых восприятий тех или иных экспертов, а это значит субъективные оценки. Есть разные школы дизайна, есть разные вкусовые предпочтения у разных людей: кому-то нравится более насыщенная гамма, кому-то более мягкая, кому-то более тёмные тона, кому-то более светлые, и каждый раз мы будем даже на этих простых вещах, связанных с цветовым решением сайта, натыкаться на субъективную оценку. И то, что в этой методике был чётко зафиксирован принцип объективности оценки, сразу очень чётко определило границы методики, границы оцениваемых характеристик при проведении данного исследования. Вот так работают принципы. Но принципы, они не просто так работают, но они ещё и вносят определённые ограничения в методику — на этом примере вы видели. А иногда непродуманные принципы приводят к тому, что либо принцип перечислен в этом огромном перечне методики, а на самом деле в методике не используется. Вот посмотрите: если я чуть-чуть поменяю цель исследования, вот этого исследования официальных сайтов — ну, например, я её сформулирую как «оценка клиенториентированности» или «оценка дизайна», просто конкретизирую «оценка дизайна официальных сайтов образовательных организаций» и введу туда принцип объективности. Как только я закладываю этот принцип, то вообще проведение такой оценки качества дизайна становится невозможным, — само исследование становится невозможным. Либо в исследовании мы будем просто игнорировать этот принцип — тогда зачем его вводить? Это очень важное правило, это очень важная ситуация, которая должна учитываться в попытке сформулировать, какие правила проведения оценивания, проведения исследования для нас наиболее важны. Ну вот, в качестве полезных примеров принципов оценочных исследований вы можете посмотреть на слайде. Целеполагание — когда цель определяет всё, и оценивается осуществляется под конкретные задачи, а не всего подряд. Оценка должна быть точной, а её результаты достоверными, и примерные оценки («Ну, это примерно три-четыре балла») не используются. При проведении оценки учитываются особенности оцениваемого объекта (контексты — то, о чём мы с вами говорили). Результаты оценки должны доказывать сформулированные выводы и заключения, то есть если мы хотим привести к выводам таким-то, то как мы должны под эти выводы, под эти заключения выстраивать своё исследование, свои оценочные процедуры? Открытость процессов — и именно процессов, и про это мы будем говорить с вами отдельно — и результатов исследования — это очень важный, очень интересно работающий принцип, я покажу это в ту неделю, когда мы будем говорить об открытости и публикации результатов. Ну и ещё один хороший пример принципа — то, что оценка не заканчивается выставлением отметок. Это то же, о чём мы с вами говорили в начале этой недели — о том, что просто результаты исследований, если они дальше не работают, они делают бессмысленным и неэффективным всё исследование. [ЗВУК] [ЗВУК]
