[МУЗЫКА] Сегодня мы с вами поговорим более подробно о результатах и эффектах с позиций умной аналитики. Что есть вообще результат? Обычно, если мы говорим не о системе образования, а о каких-то других системах, это понятный линейный процесс движения к параметрам поставленной цели. Но как это происходит в образовании? Здесь это происходит несколько иначе. Вот с этого мы с вами и начнем сегодня: с понимания результатов управления образованием и видов результатов. В классическом понимании, как я уже сказал, результат — это итог процесса достижения цели. Мы ставим понятную цель, мы движемся по понятным параметрам в рамках одного процесса, и мы достигаем того результата, который должен для нас совпасть с поставленной целью. Например, в рамках Указа Президента Российской Федерации от седьмого мая 2012 года № 597 была поставлена цель повысить среднюю заработную плату педагогических работников общего образования до средней по соответствующим регионам Российской Федерации. Уже к 2014 году все субъекты, то есть все регионы Российской Федерации, отчитались о достижении целевого значения показателя средней заработной платы педагогическим работникам. То есть если мы посмотрим на движение от цели к результатам, здесь все понятно: понятная цель — повысить среднюю заработную плату; понятен параметр, какой здесь был задан, — среднее по соответствующему региону; и понятен результат — если соответствует, значит, цель достигнута. Но очень часто в процессы в системе образования и вообще в социальные процессы вмешивается много незапланированных или плохо планируемых каких-то влияний, каких-то факторов. И в результате мы видим, что мы можем поставить цель и спланировать тот или иной процесс и даже идти по этому процессу, но получить разные результаты. Не только те, которые запланированы, но и те, которые не запланированы. И таким образом, для социальных процессов очень часто срабатывает другая формула: результат — это один из вероятных запланированных итогов процесса достижения цели. И здесь, опять же, что мы можем увидеть? Пример: в Соединенных Штатах в одном из штатов ввели зависимость оплаты труда педагогов от результатов учащихся. То есть понятно, что если твой ученик учится лучше или твои ученики, которых ты учишь, учатся лучше, у тебя будет и контракт, в котором тебе будут больше платить. Деньги в обмен на результат. Что получилось? Результаты учащихся действительно стали лучше, они стали получать выше отметки. А раз у них стали выше отметки, то и зарплаты у педагогов стали выше. Но когда измерили качество образования школьников, увидели, что оно стало ниже. Что произошло? Почему так? Мы спланировали один результат, а получились несколько иные результаты. Мы просто не учли некоторые факторы, которые срабатывают в социальной системе, а это фактор человеческого поведения: если у тебя есть возможность избежать каких-то сложных путей, конечно же, мы будем их избегать. Что можно сделать, чтобы получать больше денег? Можно ставить выше отметки, а можно учить лучше детей, больше на это тратить время, объяснять. Что быстрее будет? Конечно же, просто ставить выше отметки. Вот так некоторые учителя, и немало даже учителей в этом штате, и стали действовать. Этот пример был описан в одной из классических книг, книга называется «Фрикономика». И это было описано именно как пример того, как цели, которые мы ставим в социальной системе, далеко не всегда срабатывают на наш результат. И это нужно понимать и учитывать. Но есть еще одна сложность. Реально у нас в системе социальной работает сразу много целей. Мы не можем поставить только одну, изолировать ее от других и получить спектр ожидаемых результатов. Одновременно работает сразу много разных целей, идет очень много разных процессов. И каждый из этих процессов может влиять на результат другого процесса. И это может влиять на разные отклонения. И в результате мы видим, что если мы формулируем понимание результата, это один из вероятных ожидаемых итогов процесса или процесса достижения цели или цели. Мы видим, что это целый спектр, и очень сложно каждый из этих процессов предугадать. Например, один из регионов поставил задачу войти к 2018 году в число десяти лучших регионов страны по качеству общего образования. Для этого он начал целый спектр своих процессов. Он начал процесс повышения квалификации учителей, поставки оборудования для школьных библиотек, мероприятия по снижению числа школьников, обучающихся во вторую смену, потому что это очень важно: чем меньше школьников во второй смене, тем больше у них возможностей для обучения во второй половине дня в рамках программ дополнительного образования, а это, как доказано, действительно влияет положительно на результаты образования. И все было бы хорошо, но почему-то все пошло не совсем так. Вмешались разные внешние факторы. Был экономический кризис, вмешались разные демографические факторы, например, резко увеличился миграционный приток в этот регион. Изменились некоторые экономические показатели внутри самого региона. И в результате мы увидели, что качество образования не претерпело значительных изменений по сравнению с первоначальными знаниями, ничего такого не произошло. Усилился отток педагогов из школ. Все городские библиотеки региона и более 75 % сельских библиотек действительно были в регионе переоборудованы. Число детей, обучающихся во вторую смену, снизилось на 25 %, но сама сменность не была ликвидирована. То есть мы видим спектр результатов вероятных: какие-то из них совпали с ожидаемыми результатами, какие-то не совпали. Можно, в принципе, с одной стороны, провести какие-то прямые причинно-следственные действия. То есть посмотреть: мы повышали квалификацию педагогов, а в результате усилился отток педагогов из школ. Значит, нам не нужно повышать квалификацию педагогов, не будет и оттока. Вот это так называемые ложные выводы, которые можно сделать, если делать просто прямые причинно-следственные связи. В системе умной аналитики это не срабатывает. И результат рассматривается в контексте целого веера других результатов. Очень часто мы рассматриваем разные ключевые слова, характеризуя тот или иной результат: блестящий, неожиданный, печальный, неоднозначный, промежуточный, превзошедший ожидания, полезный, отрицательный. Или просто, например: 24.000 человек, 24.000 школ и так далее. Это разные характеристики одного и того же результата могут быть: одна из них качественная, другая — количественная. Количественная — выражаемая в цифрах, качественная — выражающаяся в какой-то конкретной характеристике. Эмоциональной ли или неэмоциональной, тем не менее, но для умной аналитики очень важно, чтобы за каждой качественной характеристикой стояло понятное объяснение: что есть блестящий? Что есть неоднозначный? Что есть превзошедший ожидания результат? А это основывается, с одной стороны, на данных, а с другой стороны, на целой серии качественных характеристик, которые нам необходимо дать. Мы с вами видим, что сам результат в рамках одного и того же управленческого действия может распадаться на целую серию разных результатов, ведь процесс у нас идет не непрерывно, у нас он идет последовательно. Даже если мы специально не формулируем этапы процесса, тем не менее они есть: мы планируем, мы оцениваем ресурсы, мы запускаем то или иное действие, одно, потом другое, потом третье. На каждом этапе у нас возникают промежуточные результаты. Они могут иметь два значения. С одной стороны, это целевое значение, то есть если мы планируем это, значит, мы определяем, как это должно выглядеть, в каких параметрах должно описываться: либо в качественных, либо в количественных. Например, какой-то конкретной цифрой мы его обозначаем. А кроме того, мы с вами видим еще и фактические результаты: промежуточный или итоговый фактический результат. Если они совпадают, значит, мы все спланировали правильно, и у нас действительно наши управленческие действия были эффективны. Если они различаются, причем ожидаемый фактический результат меньше, чем, например, промежуточный (ниже имеется в виду, чем промежуточный), или итоговый фактический результат хуже, чем итоговый целевой результат, значит, что-то было не так. Чем ближе эти результаты, тем точнее будут наши управленческие действия. Например, регион Y запланировал достижение полной обеспеченности местами в детских садах для детей в возрасте от трех до семи лет к 2015 году. При этом к 2014 году этот показатель должен был достичь 95 %. Получилось, что отклонение в промежуточном результате было 2,5 %: в 2014 году он был 92,5 %. А в 2015 отклонение было в 1 %, то есть 99 % вместо 100 %. Что влияет на эти отклонения? Еще один важный вопрос, который мы задаем в рамках умной аналитики. Но еще одна составляющая нам очень важна, которую мы должны учитывать при наших управленческих и аналитических действиях. Сами результаты делятся еще по временному горизонту: есть краткосрочные, среднесрочные и долгосрочные результаты. И они будут разными по своей наполненности. Временной горизонт при планировании и оценке результатов — это возможность и необходимость умного управления, особенно при реализации программ и проектов. Но и при аналитике это очень важно. Мы видим, что на краткосрочном этапе можно реализовать что-то, а что-то можно реализовать только в рамках долгосрочного горизонта. Помните, что в социальной системе, в том числе в системе образования, есть результаты отсроченные, и в этом есть специфика того, с чем мы работаем. Сегодня мы вложили в школьников знания, а результат реальный (не отметки — а реальный результат) они дадут только через определенное количество времени: через год, через три, через пять, а кто-то через десять или через 15 лет. И кроме всего прочего, на результат будет воздействовать много разных факторов, и все это будет затруднять нашу с вами задачу аналитиков. Что может рассматриваться как краткосрочный результат? Например, поставка оборудования и материалов для школьных библиотек в 35 % школ региона какого-то в течение года. Для этого же региона, если мы будем поставлять в 100 % школ региона оборудование и материалы для школьных библиотек в течение трех лет, это будет среднесрочный результат действительно на три-пять лет. А долгосрочным результатом будет повышение результатов в области математики и естественных наук, русского языка для учащихся девятых и десятых классов в рамках срезовых работ, например, на четверть, на 25 %. Посмотрите, как по-разному формулируется краткосрочный, среднесрочный, долгосрочный результаты. Это тоже важно учитывать, когда мы с вами анализируем и когда мы с вами планируем наши управленческие действия. Что такое результат в контексте управленческих действий? Это может быть либо как форма конкретного эффекта от выполненной программы, проекта, планируемые или непланируемые последствия публичного действия, это есть фактические результаты, или их еще называют outcomes. Это результат в виде социального эффекта, то есть в формате конкретных товаров и услуг, которые получают граждане, это outputs. Это может быть результативность в целом, как совокупность параметров, в соответствии с которыми можно дать оценку результативности, продуктивности или эффективности деятельности, — тогда это performance. Это может быть экономическая эффективность — соотношение полезного результата и объема истраченных для этого ресурсов, это efficiency. И наконец это техническая эффективность, efficacy, которая характеризует эффективность самой программы как способность ответственных за ее проведение или реализацию мобилизовать свои ресурсы и все выполнить в назначенный срок. По-разному можно рассматривать результаты, и мы с вами видим, что некоторые результаты выходят за рамки непосредственно самих результатов, и мы можем уже о них говорить как об эффектах. [МУЗЫКА] [МУЗЫКА]
