[МУЗЫКА] Рейтинги — достаточно популярная форма представления результатов исследований, очень часто озаглавливаемая как результаты анализа проведенной оценки. В 2013–2015 годах рейтинги были настолько популярны в системе российского образования, что эти годы можно было назвать бумом рейтингов. И нужно сказать, что свое влияние эти способы, эти форматы публикации результатов, анализа результатов исследований, результатов оценки, они оказали не только на действия управленцев, о чем мы будем говорить с вами на следующей неделе, когда будем говорить об управленческих решениях, принимаемых на основе результатов аналитики, но и на отношения потребителей образовательных услуг. И вот эта веселая картинка на слайде, которую вы видите, это действительно отражение жизненной ситуации, когда родители готовы поменять школу, если речь идет о большом городе, о ситуации, когда поменять школу возможно. В удаленном селе, в удаленном муниципальном районе такое невозможно, и там ситуация, естественно, не работает так, как в городах. Но в городах действительно родители готовы поменять школу просто потому, что она на пять позиций выше находится в официальном рейтинге, построенном по заказу и выполненном органом управления образованием, не учитывая каких-то других особенностей, в том числе потребностей и интересов собственных детей. Что такое рейтинг? Вот смотрите: у нас есть процедура оценивания, в ходе которой мы оцениваем некое большое количество объектов и получаем оценки. Эти оценки мы можем ранжировать, выстроить от лучших к худшим или от худших к лучшим, и в результате получить рейтинг. То есть рейтинг — это форма представления результата сравнительной оценки. Рейтинг как форма представления результатов исследования, результатов оценивания, результатов аналитики, очень требователен и очень специфичен. Давайте рассмотрим некоторые особенности рейтингов как формы представления результатов аналитики, потому что это позволит нам понимать не только, на какие задачи, на какие управленческие решения могут влиять рейтинги, но и то, как строить методику, специально ориентированную под рейтинги, если мы все-таки планируем, что будем использовать этот информационный формат. Итак, особенности рейтингов как формы представления результатов. Во-первых, первое, что приходит в голову, первое, с чего мы начинаем, — это результат должен быть представлен в качестве рангов, в формате рангов, то есть места, в рейтинге мы расставляем места. На первом месте такая-то школа, на втором месте следующая школа, на третьем и так далее. Места мы можем расставить только, если используем аналитическую процедуру ранжирования на основе оценок. Не просто данных, а данные должны носить оценочный характер, и это определяет жесткие требования к методике построения рейтингов. Все показатели должны иметь свой вектор: лучше — хуже, хорошо — плохо. Вектор может быть разнонаправленный, например, чем больше детей охвачено дополнительным образованием, тем лучше. Или: чем меньше детей учится во вторую смену, тем лучше. Разница вектора — чем больше, тем лучше, чем меньше, тем лучше. Но этот вектор должен быть обязательно, иначе мы не можем выстроить оценку. Я уже приводила пример с инклюзией в образовании, в школьном образовании. Как мы можем определить, хорошо или плохо, когда много или мало детей с инвалидностью учатся в обычных школах, в обычных неспециализированных классах? Мы не можем сказать, лучше это или хуже. Показатели должны обязательно быть связаны с тем, кто отвечает за этот результат, за этот показатель. Смотрите, если директор, заведующий детским садом, не принимает решения о строительстве бассейна, он не может нести за это ответственность, поэтому деятельность заведующих детских садов мы не можем оценивать по наличию бассейна. А вот как используется бассейн, если он есть в детском садике, вот за это мы можем оценивать деятельность заведующей, деятельность детского сада в целом. И еще одно очень важное требование к методике рейтингования — это требование того, чтобы все оценки, если мы используем много разных показателей при рейтинговании, они все должны быть свернуты в одну итоговую оценку, иначе как мы будем ранжирование выстраивать? Нам нужен итоговый индекс, итоговая интегральная оценка. Как она рассчитывается, мы с вами это тоже обсуждали. Ну и вот тут возникает очень серьезный вопрос — а можно ли верить рейтингам, вообще как быть с этими рейтингами, если нормы и веса определяют его результаты? Ведь возможность выглядеть лучше или хуже зависит и от тех норм, которые мы берем для вот этого вот оценивания — хорошо или плохо, и будем ли мы использовать контексты, от этого тоже будет зависеть то, в какое место мы попадем — в хорошее, в лидеры, или в отстающие, или в середняки. Использование весов, об этом мы тоже с вами говорили. Да и сам выбор показателей, он тоже во многом определяет то, какое место в итоговом рейтинге может занять оцениваемый нами объект. Мы с вами рассматривали вот этот пример показателя, используемого в рейтинге. Методика построения рейтинга общеобразовательных школ, где использовались количественные показатели количества выпускников 11-х классов или 9-х классов, имеющих то или иное количество баллов. Посмотрите, в данной методике, как мы с вами обсуждали в свое время, ранг строится по количеству: где-то десять высокобалльников, где-то их только один. И на основе этого выстраивается рейтинг. Но если мы посчитаем, чуть-чуть поменяем показатель, мы будем считать не количество, а долю выпускников, то есть мы будем считать долю, сколько высокобалльников от общего количества выпускников, то мы получим в результате совершенно другие цифры и совершенно другие ранги. У нас поменяются места, у нас поменяется распределение в рейтинге этих образовательных организаций. Вот на этой диаграмме эти изменения видно еще более наглядно. Кстати, обратите внимание: табличное представление и графическое представление для разных категорий пользователей этой информации, для разных вас, для разных слушателей, будет более наглядным, кому-то более понятно посмотреть на таблицу, кому-то на диаграмму, и это важный вопрос представления результатов аналитики, который мы будем рассматривать, когда будем говорить о визуализации. Еще одним серьезным и требующим обсуждения вопросом о том, чем отличаются рейтинги от других форматов представления результатов, является требование, что в рейтингах всегда должны быть лучшие и худшие, а определение это строится на обобщении. То, что мы с вами говорили, когда говорили о требованиях к методике рейтингования. Вот давайте посмотрим на примере достаточно известного рейтинга «Лучшие школы России», который до 2017 года публиковался на сайте социального навигатора. Сначала это было РИА «Новости», потом это «Россия сегодня». Лучшие школы России, Топ-500, Топ-100 и так далее. Вот можно ли на основе этого рейтинга, этих результатов понять, что стоит за первым местом? Какие школы попали в этот топ, в этот ранг, в этот рейтинг лучших школ? И даже по названию представленных школ мы можем увидеть, что это школы элитные, школы, которые строятся на отборе детей. И действительно ключевым фактором попадания этих школ в лидеры является отбор детей. Работа репетиторов также может влиять. Большие школы, потому что в данном рейтинге используются тоже количественные, а не долевые показатели и так далее. Но здесь нам, в общем-то, становится понятно, и мы можем даже предположить и ответ на следующий вопрос — почему последние стали последними? Потому что маленькие школы. В одном из последних этих рейтингов в топ-500 по России попала одна единственная сельская школа, все остальные школы из городов, более того, из областных центров и из крупных городов-миллионников. Но в данном случае использовалось всего два показателя при рейтинговании — это количество выокобалльников, количество детей, победивших во Всероссийской олимпиаде. Но если у нас в рейтинге, например, используется не два показателя, а десять, 15, 20, то можно ли на основе вот такого рейтинга, линейного, когда только распределены места — первое, второе, третье и так далее, можно ли ответить на этот вопрос — почему первые стали первыми, за счет чего, и почему последние стали последними — это большой вопрос. Вопрос, в общем-то, риторический. Понятно, что ответить нельзя, поэтому я даже не буду вам давать паузу на его ответ, и здесь мы можем говорить только об альтернативах рейтингованию, когда базы данных и открытые наборы данных позволяют аналитикам и людям, принимающим решения, использовать первичные данные, а не уже готовые интерпретации. Ну еще две особенности, которые целесообразно обсудить при разговоре о рейтингах — это то, что лидеры от отстающих могут отключаться несущественно. И более того, с рангами, местами, которые являются результатом рейтингования, мы не можем осуществлять математических операций. В общем-то, об этом с вами вел разговор Александр в своих блоках нашего курса. Я хочу только напомнить и вернуть к той картинке самого начала этого блока. О том, что буквально два-три места школа опередила предыдущую, и родитель готов поменять место обучения своего ребенка, если такая возможность есть. Но ведь посмотрите — места между четвертый, пятым и шестым, разница в количестве баллов, разница в оценке может оказаться совершенно несущественной, но в первую пятерку, в топ-5, попадают только пять, а шестой, который почти такой же, в этот топ не попадает. И вот это серьезное ограничение рейтингов, которое нужно понимать и учитывать. [МУЗЫКА]
