[БЕЗ_СЛОВ] Сейчас давайте попробуем подобрать критерии для критериев и показателей, да? Вот такое использование критериальной базы для самой критериальной базы. Что такое критерии для критериев и показателей? То есть на основании каких признаков мы будем подбирать критерии для нашего исследования? На основании каких признаков мы будем подбирать показатели под эти критерии? Ну вот на слайде вы можете увидеть... Я даже зачитывать этого не буду. Для тех, кому интересно подробнее посмотреть, вы можете просто нажать на паузу и внимательно почитать, что написано на слайде. Но здесь вот на голубом фоне представлены примеры набора критериев для двух разных мониторингов — мониторинга качества образовательной инфраструктуры и мониторинга, который зафиксирован в законодательстве Российской Федерации, — независимая оценка качества условий образовательной деятельности. Здесь предложены критерии, которые тоже в законодательстве зафиксированы. Если рассматривать другие примеры и всё это определить, обобщить, провести аналитическую, такую умную аналитическую процедуру и попытаться понять, как подбираются критерии, то мы в итоге придём к одному единственному признаку, к одной единственной характеристике, которая важна для подбора критериев: критерий — это та характеристика, которая точно позволяет ответить на поставленную задачу, на поставленный вопрос. То есть та, которая ориентирована на нашу исследовательскую цель. Если наша цель — оценить качество инфраструктуры, то мы определим, что такое инфраструктура и из чего она состоит, и будем оценивать качество каждого из этих элементов — зданий, учебного оборудования, кадров и так далее и тому подобное. Если наша цель — получить оценку качества условий, причём оценку от внешних, независимых оценщиков, то мы будем использовать независимых экспертов, мы будем использовать потребителей и будем собирать их оценки, их удовлетворённость, но при этом всё время помнить, что мы оцениваем условия. То есть профессионализм педагогических кадров мы оценивать, может быть, и можем, но это более сложная история. А вот какие условия в помещениях, какие условия в зданиях, не результаты образования, а именно условия, в которых этот образовательный процесс осуществляется, вот это мы и будем оценивать, это и станет критериями нашей независимой оценки качества условий. С показателями и индикаторами немножко сложнее. Я бы выделила три основных критерия для отбора показателей и/или индикаторов, что вам нужнее, что вам важнее в этой истории, в данном конкретном исследовании. И на первом месте должен, безусловно, стоять критерий наличия. Если у нас нет данных, и нет возможности эти данные получить надёжным способом, то мы не сможем использовать соответствующие показатели. Ну, к примеру, если мы говорим и нам нужно использовать данные статистики, то они существуют, либо уже собраны и нужно через официальный запрос попробовать получить, как я уже говорила, данные из Государственного информационно‐вычислительного центра или напрямую прийти в школу и, условно говоря, посчитать количество посадочных мест в кабинетах, информационно‐вычислительной техники, да? Здесь либо они существуют надёжные и достоверные, и мы их оттуда получаем, из этих источников, либо мы используем надёжные методы получения этих данных, в том числе социологические опросы, экспертные оценки и так далее. Но бывают ситуации, когда данные получить в принципе невозможно, или когда даже данные есть, но они недоступны, и даже через официальные запросы, даже федеральные эксперты не могут получить к ним доступ. Ну, например, такая ситуация у нас складывается в российской системе образования в отношении результатов пообъектных данных. «Пообъектных» — имеется в виду по школам, да? То есть мы не можем узнать, какие результаты показали, даже в обобщённом виде, выпускники той или иной школы в процессе Государственной итоговой аттестации: Единый государственный экзамен, Основной государственный экзамен. Они, эти данные, существуют. И они достаточно достоверны, потому что процедуры ЕГЭ и ОГЭ очень чётко организованы и выстроены. Но доступ к ним закрыт полностью, и получить эти данные практически невозможно. Что делать тогда? Тогда возникает очень сложная ситуация, что мы должны либо найти альтернативные какие‐то сведения или альтернативные источники. Они будут другие, они могут оказаться менее надёжными, чем вот те, которые существуют, но недоступны. Либо вообще отказаться от этих показателей, что в итоге может привести к тому, что и критерий не будет полностью описан, и та характеристика, которая будет нам нужна, будет раскрыта не полностью. В отношении результатов образования в российской системе образования, к сожалению, это серьёзная проблема, достаточно распространённая. Вторым критерием для подбора показателей или индикаторов является понимание того, вот сколько и какие эти показатели нам нужны. И здесь есть такое правило, что показателей не должно быть слишком много, они должны действительно полно описывать критерий — ту характеристику, которую мы с их помощью пытаемся описать и раскрыть, но они не должны дублировать друг друга. Для того, чтобы оценить вот это вот — дублирование, не дублирование, достаточно показателей, недостаточно, необходим ли действительно каждый из этих показателей — можно попробовать провести экспертные оценки, математические методы можно использовать для этого. На вот на двух примерах мы с вами можем посмотреть, как это работает. Ну вот например. Критерий — качество условий для обучения детей‐инвалидов. И под этот критерий предлагается использовать показатель доли детей‐инвалидов, обучающихся в общих школах, от общего числа инвалидов. Итак. Критерий — качество условий, а показатель — доля детей‐инвалидов, обучающихся в обычных школах. Раскрывает ли этот показатель предлагаемый критерий. Ну на экспертном уровне я бы сказала, что не очень, потому что доля детей‐инвалидов, обучающихся в обычных школах, может зависеть не только от того, насколько в школах созданы условия для них, но и от того, насколько внешкольная, специализированная система для этих специфчиных детей развита в регионе. То есть в регионе могут существовать и функционировать совершенно уникальные, шикарные, качественные, интересные специализированные образовательные организации, там, для детей с тем или иным видом инвалидности, и тогда у них нет необходимости идти в обычные школы. Понятно, что этот показатель в чистом виде на критерий не работает. Хотя в сопоставлении с другими показателями он может дополнять их и более полно раскрывать критерий. Другой пример — качество цифрового оборудования школ нужно оценить. И мы берём и рассматриваем наличие и количество компьютеров, электронных досок, мультимедийных проекторов. Достаточно ли вот этих вот показателей наличия и количества для того, чтобы раскрыть критерий, который говорит о качестве? Совершенно очевидно, что их недостаточно. Нужно говорить ещё и том, как они используются, как часто они используются, и с какими результатами они используются. Только это нам позволит говорить о качестве цифрового оборудования. Дублирование... Я говорила о математических методах оценки. Дублирование вот, все ли показатели нужны, можно посмотреть использование математических методов вот на этом фрагменте экспертного заключения в отношении показателей для критерия инфраструктурного обеспечения образовательных организаций. Было предложено изначально три показателя — это наличие в школах регионов компьютерных классов, спортивных залов и актовых залов. И математически оказалось, что по регионам очень сильно коррелируют эти три показателя. А поскольку в результате этого исследования предполагалось сравнение регионов, то вот такая высокая вот корреляция, она приводила к тому, что просто‐напросто один из показателей, он утраивался, то есть мы трижды считали практически про дно и то же. Хотя, если оценивать экспертно... Ну и в результате, как вы видите, на основании вот этой вот математической корреляции было предложено убрать два показателя, оставить любой один из них. В данном случае были предложены и в итоге в методике остались спортивные залы. Если бы мы экспертно говорили, и нам нужно было бы оценить возможности школы по обеспечению обучения новым технологиям, цифровым технологиям, возможности школ, регионов по физкультурно-оздоровительной работе. Тогда мы не могли бы из этой методики выкидывать эти показатели, потому что каждый из этих показателей говорит о своих возможностях: компьютерные классы про цифровые, спортивные залы про спортивные, соответственно, актовый зал про художественное и коммуникативное развитие, социальное развитие обучающихся. Таким образом, математические методы и экспертные методы, логические методы, они работают на то, чтобы мы могли отобрать именно нужные, именно точные показатели. И второе правило мониторингов — показателей не должно быть слишком много. И последний критерий для отбора показателей — это последствия: какие решения спровоцируют показатели не только со стороны тех, кто заказывает данное исследование, не только со стороны вас, но и со стороны тех, кого вы в этом исследовании собираетесь оценивать. В этом отношении этот критерий реже всего используется управленцами, про него реже всего вспоминают, хотя это один из важнейших критериев для отбора показателей. Мы можем на данном примере разобрать, как это работает. Смотрите, методика построения рейтинга общеобразовательных школ, и предлагается критерий «Эффективность работы школы по обеспечению качественного массового среднего образования». Показатели перечислены, возьмем только один из них: «Количество выпускников 11-х классов, набравших 220 и более баллов на ЕГЭ». Количество выпускников. Какие решения директор школы будет принимать на основании вот таких оценок, если он знает, что его будут оценивать по количеству выпускников? Попробуйте предложить такие решения, представьте себя директором. Если вы такой опытный и очень увлеченный своей работой и вовлеченный в свою работу директор, то первое, что вы предложите, это повысить качество обучения. Но если при этом вы вспомните, что вы управленец и что рейтингуют вас раз в год, то вы поймете то, что повысить качество обучения за один год практически невозможно, это сложная и долгая работа, и, значит, нужно искать другие, более быстрые методы повышения рейтинга собственной школы. Первые два из них, которые приходят в голову уважающему себя директору, — это увеличить количество выпускников, то есть увеличить школу, или организовать отбор детей в выпускные как минимум классы. И, действительно, это работает именно так, потому что если бы мы хотели оценить школы по вкладу в имеющемся пространстве, мы бы стали смотреть долю выпускников, показавших высокие результаты. А, может быть, стали смотреть еще и разрыв, дисперсию: насколько много с высоким баллами и насколько много с низкими. И там много других показателей, которые нам позволяют более точно и более эффективно выйти на решение проблем, связанных именно с качеством. Каждый раз, подбирая показатели, нужно понимать, какое управленческое решение будет принимать руководитель. Как следствие из этого правила возникает третье правило мониторингов: оценивать любой объект можно только за то, за что он отвечает. Если воспитатель детского сада не отвечает за бассейн в детском саду, то нельзя оценивать его деятельность по наличию в детском саду бассейна. [ЗВУК] [ЗВУК]
